LineageMark: Multi-user White-box Watermarking for Contribution Tracing in Model Derivation Chains

기술 요약: LineageMark

문제 정의

개방형 대규모 언어 모델(LLM) 생태계에서, 모델은 서로 다른 기여자들이 특정 작업, 도메인 또는 애플리케이션을 위해 베이스 모델을 변형하는 다단계 파생 체인을 거치는 경우가 빈번합니다. 이는 최종 파생 모델이 여러 역사적 단계의 기여를 포함하게 되는 복잡한 계보 구조를 생성합니다. 기존의 워터마킹 방식은 이러한 맥락에서 두 가지 결정적인 한계에 직면합니다:

1. 계보 감쇠(Lineage Decay): 초기 기여자가 삽입한 역사적 워터마크는 후속 전체 파라미터 미세 조정(full-parameter fine-tuning) 및 모델 업데이트로 인한 파라미터 드리프트(parameter drift) 때문에 희석되거나 추출 불가능한 상태가 될 수 있습니다.
2. 다중 사용자 간섭(Multi-User Interference): 새로운 기여자가 이미 워터마크가 삽입된 모델에 자신의 워터마크를 삽입하려고 할 때, 기존 방식은 이전 워터마크의 무결성을 보존하지 못하거나, 새로운 삽입이 이전 기여자의 신호를 방해하는 경우가 많습니다.

기존의 화이트박스(white-box) 방식은 주로 단일 사용자의 일회성 삽입을 위해 설계되었으며, 각 기여자가 원본 모델이나 다른 사용자의 키에 접근할 필요 없이 독립적으로 자신의 존재를 검증할 수 있는 점진적, 다중 사용자 검증 메커즘이 부족합니다.

방법론: LineageMark

LineageMark는 모델 파생 체인에서의 기여를 추적하기 위해 설계된 다중 사용자 화이트박스 워터마킹 프레임워크입니다. 이는 세 가지 핵심 단계로 작동합니다:

1. 안정적 캐리어 선택 (Stable Carrier Selection)

후속 파생 과정 중 워터마크 드리프트 위험을 완화하기 위해, LineageMark는 임베딩을 위한 "안정적인" 파라미터 좌표를 선택합니다.

• 기능적 관련성(Functional Relevance): 캘리브레이션 데이터를 사용하여 경험적 은닉 공간 피셔 행렬($F_\ell$)을 계산함으로써, 비활성 파라미터 영역을 피하고 모델 동작과 강력하게 연관된 방향을 식별합니다.
• 섭동 안정성(Perturbation Stability): 섭동 연산자(무작위 투영, 가우시안 양자화 노이즈, 구조적 드롭아웃)를 사용하여 압축 제2 모멘트 행렬($C_\ell$)을 구축함으로써 일반적인 모델 수정에 대한 민감도를 측정합니다.
• 선택 기준: 안정성과 유용성 사이의 균형을 맞추기 위해 단위 섭동당 기능적 관련성을 최대화하도록 일반화된 고유값 문제($F_\ell u = \lambda(C_\ell + \epsilon I)u$)를 해결하여 안정적인 방향을 선택합니다. 스펙트럼 절단(spectral truncation) 전략은 특정 범위 내의 고유벡터를 선택합니다.
• 매핑: 이러한 안정적인 부분 공간(subspaces)을 선형 행렬의 특정 가중치 좌표로 매핑하여 후보 캐리어의 마스크($\Omega$)를 생성합니다.

2. 부호-투영 워터마크 삽입 (Sign-Projection Watermark Embedding)

개별 가중치를 특정 값으로 수정하는 대신, LineageMark는 각 워터마크 비트를 가중치 그룹에 대한 **부호-투영 통계량(sign-projection statistic)**으로 인코딩합니다.

• 키 기반 그룹화: 개인 키를 사용하여 각 기여자는 서로 겹치지 않는 좌표 그룹과 투영 계수($\phi_{ij} \in \{-1, +1\}$)를 정의하는 의사 난수 매핑을 생성합니다.
• 중복성(Redundancy): 워터마크 페이로드는 청크(chunk)로 나뉘어 여러 선형 행렬에 순환적으로 할당됩니다. 이를 통해 미세 조정이 일부 행렬의 신호를 약화시키더라도 집계된 신호는 여전히 복구 가능한 상태를 유지합니다.
• 마진 제약(Margin Constraints): 삽입 과정은 결정 마진($\mu$)을 강제합니다. 현재의 투영 통계량이 충분한 마진과 함께 목표 부호를 만족하지 않는 경우, 통계량을 목표 방향으로 밀어내기 위해 안정적인 좌표에 로컬 폐쇄형 업데이트(closed-form update)를 적용합니다. 이는 향후 파라미터 섭동에 대한 버퍼를 생성합니다.

3. 키 기반 워터마크 추출 (Key-Driven Watermark Extraction)

검증은 원본 모델, 캘리브레이션 데이터, 또는 다른 사용자의 정보 없이 각 후보 기여자에 의해 독립적으로 수행됩니다.

• 검출기 재구성: 검증자는 자신의 개인 키를 사용하여 삽입 시 사용되었던 것과 동일한 좌표 그룹 및 투영 계수를 재구성합니다.
• 가중 투표(Weighted Voting): 검증자는 현재 모델 파라미터에 대해 투영 통계량을 계산합니다. 단순 다수결 투표 대신, LineageMark는 투영의 크기를 신뢰도 가중치로 사용합니다.
• 집계: 여러 행렬로부터의 로컬 결정이 집계됩니다. 누적된 양(+) 또는 음(-)의 가중 투표가 지배적인지에 따라 비트가 디코딩됩니다. 이 메커즘을 통해 후속 파생 단계에 의해 일부 행렬이 손상되더라도 시스템은 비트를 복구할 수 있습니다.

주요 기여

1. 다중 사용자 워터마킹의 정형화: 본 논문은 모델 파생 체인의 요구 사항, 특히 계보 보존(역사적 워터마크가 추출 가능하게 유지됨), 점진적 삽입(새로운 워터마크가 기존 워터마크를 파괴하지 않음), 그리고 키 기반 독립 검증을 정의합니다.
2. 안정적 캐리어 선택: 피셔 정보와 섭동 민감도 분석을 사용하여 전체 파라미터 미세 조정 및 압축에 강한 파라미터 영역을 식별하는 새로운 방법을 제시합니다.
3. 마진 제약 부호-투영: 비트를 집계된 투영 부호로 표현하고 마진을 강제하는 삽입 전략을 통해 파라미터 드리프트 및 다중 사용자 간섭에 대한 견고성을 높입니다.
4. 포괄적 평가: OPT-125M에서 OPT-1.3B에 이르는 다양한 모델 규모와 다양한 도메인(의학, 법률, 수학적 추론)에 대해 프레임워크를 평가하여 미세 조정, 재-워터마킹, 양자화 및 가지치기(pruning)에 대한 견고함을 입증했습니다.

실험 결과

• 계보 보존: 전체 파라미터 미세 조정을 포함하는 다단계 파생 체인에서, LineageMark는 모든 단계와 도메인에서 모든 역사적 워터마크에 대해 **100% 워터마크 추출율(WER)**을 달성했습니다. 반면, 베이스라인 방법들(ELLMark, EmMark)은 상당한 감쇠(모든 단계의 WER이 ~40-60%로 하락)와 간섭 문제를 보였습니다.
• 점진적 삽입: 새로운 기여자는 기존 워터마크의 추출 가능성을 저하시키지 않고 성공적으로 워터마크를 삽입할 수 있었습니다.
• 견고성:
  • 미세 조정: 파라미터 효율적 미세 조정 공격(LoRA, Prefix-tuning 등) 및 표준 전체 파라미터 미세 조정에 대해 100% WER을 유지했습니다.
  • 양자화: 8비트 양자화 하에서 100% WER을 달성하였고, 공격적인 4비트 양자화 하에서도 >90%의 WER을 달성했습니다.
  • 가지치기: 60%의 무작위 가지치기 상황에서도 >96%의 WER을 유지했습니다.
• 오탐 저항성(False Positive Resistance): LineageMark는 올바른 키와 잘못된 키의 추출 점수 사이에서 큰 격차를 보여주었습니다. 0.75의 검증 임계값에서 **0.50%의 오탐율(FPR)**과 **0%의 미탐율(FNR)**을 달성하였으며, 이는 모호한 추출 점수로 인해 높은 FPR을 겪었던 베이스라인(예: ELLMark의 88%)을 크게 상회하는 성능입니다.
• 유용성 보존: 일반 벤치마크(PIQA, HellaSwag, WinoGrande)에 대한 제로샷 성능은 원본 모델과 비교하여 미미한 저하만을 보이며 안정적으로 유지되었습니다.

의의 및 주장

본 논문은 LineageMark가 **검증 가능한 다중 기여자 프로비넌스(provenance)**를 가능하게 함으로써 개방형 LLM 생태계의 중요한 공백을 메운다고 주장합니다. 단일 소유자 검증에 집중했던 기존 방식과 달리, LineageMark는 파생 모델이 여러 역사적 기여자의 기여를 독립적으로 감사할 수 있는 디지털 자산 역할을 할 수 있게 합니다.

저자들은 이 프레임워크가 전체 파생 토폴로지나 삽입의 연대순을 복구하는 것을 목표로 하는 것이 아니라, 다운스트림 모델 내 특정 기여자의 워터마크 존재 여부를 검증하는 것임을 강조합니다. 이 연구는 안정적 캐리어 선택과 통계적 투영 인코딩을 통해 워터마킹을 단일 사용자 시나리오에서 다중 사용자 파생 체인으로 확장하는 것이 가능하다는 것을 입증하며, 진화하는 모델 생태계에서 지식 재산 보호 및 기여 추적을 위한 실질적인 메커니즘을 제공합니다.

또한, 저자들은 전처리 비용(피셔 정보 추정)이 주요 계산 병목 현상이며, 설계된 안정성 마진을 초를과하는 매우 공격적인 미세 조정(예: 매우 높은 학습률)이나 극단적인 압축에는 면역이 없다는 점을 언급하며 한계를 겸허히 인정하고 있습니다.