MirrorMark: A Distortion-Free Multi-Bit Watermark for Large Language Models

다음은 논문 "MirrorMark: A Distortion-Free Multi-Bit Watermark for Large Language Models"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 이 콘텐츠 생성에 보편화됨에 따라, 허위 정보에 대응하고 지적 재산을 보호하기 위해 신뢰할 수 있는 콘텐츠 귀속 (출처 추적) 의 필요성이 급격히 증가했습니다. 기존 워터마킹 기술들은 근본적인 트레이드오프에 직면해 있습니다.

• 왜곡 기반 방법: 신호를 임베딩하기 위해 토큰 확률 분포를 수정합니다 (예: 로그이트 편향). 이러한 방법은 견고하지만 텍스트 품질을 저하시키고 (퍼플렉시티 증가), 종종 이진 (0 비트) 검출만 지원합니다.
• 왜곡 없는 방법: 텍스트 품질을 유지하기 위해 원래 토큰 분포를 보존합니다. 그러나 기존 왜곡 없는 접근 방식들은 종종 감지력이 약하거나, 편집 공격 (삽입/삭제) 에 대한 견고성이 부족하거나, 풍부한 메타데이터 (멀티비트 페이로드) 임베딩 능력이 결여되어 있습니다.
• 격차: 메타데이터 (모델 ID 또는 타임스탬프 등) 를 위한 멀티비트 임베딩, 텍스트 품질을 보존하는 왜곡 없는 생성, 그리고 편집 공격에 대한 높은 견고성을 동시에 제공하는 방법이 부재합니다.

2. 방법론: MirrorMark

MirrorMark 는 세 가지 핵심 구성 요소를 통해 이러한 과제를 해결합니다.

A. Mod-1 Mirroring (임베딩 메커니즘)

토큰 로그이트에 편향을 가하는 대신, MirrorMark 는 측도 보존 방식으로 샘플링 무작위성을 조작합니다.

• 메커니즘: Gumbel-max 트릭 (AA 에서 사용) 또는 토너먼트 샘플링 (SynthID 에서 사용) 을 활용합니다. 이러한 방법들은 다음 토큰을 결정하기 위해 $u \sim \text{Uniform}(0,1)$인 무작위 값을 생성합니다.
• 변환: $m$비트 메시지 $M$을 임베딩하기 위해, 시스템은 mod-1 미러링 연산을 사용하여 무작위 값 $u$를 메시지별 피벗 $\psi_M = M / 2^{m+1}$ 주위로 반사합니다:
  $$\Psi(u; \psi_M) = (2\psi_M - u) \mod 1$$
• 왜곡 없는 보장: 수학적으로 이 변환은 측도 보존 involutions 입니다. $u$가 균일하게 분포되어 있다면, 미러링된 값 $\Psi(u; \psi_M)$도 균일하게 분포된 상태로 유지됩니다. 결과적으로 토큰 선택 확률 $p(x)$는 변하지 않아 텍스트 품질에 **영향 없음 (zero distortion)**을 보장합니다.
• 가설 분리: 대칭적 가설을 생성하는 순환 시프트 방법 (예: ThreeBricks) 과 달리, 미러링은 상보적 분포를 생성합니다. 올바른 메시지의 경우 변환된 값은 1 쪽으로 치우치고, 잘못된 메시지의 경우 0 쪽으로 치우칩니다. 이는 토큰당 참 메시지와 거짓 가설 간의 통계적 분리를 극대화합니다.

B. Context-Anchored Balanced Scheduler (CABS)

편집 (삽입/삭제) 에 대해 멀티비트 페이로드를 견고하게 처리하기 위해, MirrorMark 는 토큰을 메시지 위치에 어떻게 할당할지 관리하는 CABS 를 도입합니다.

• 단순 할당의 문제: 단순한 의사난수 할당은 메시지 위치 간 토큰 분포가 불균일하게 되는 (일부 위치는 토큰을 받지 못함) 문제와 편집 시 동기화 상실을 초래할 수 있습니다.
• CABS 해결책:
  • 균형 할당: 컨텍스트 윈도우를 기반으로 토큰을 메시지 위치에 매핑하여, 각 위치가 신뢰할 수 있는 디코딩을 위해 충분한 수의 토큰을 받도록 보장합니다.
  • 컨텍스트 고정 프레임링: 시퀀스는 "프레임"으로 나뉩니다. 컨텍스트 윈도우의 해시가 특정 조건 (예: 가장 낮은 $f$비트가 0 임) 을 충족할 때 새로운 프레임이 시작됩니다.
  • 견고성: 삽입이나 삭제가 발생하더라도 현재 프레임과 다음 프레임의 경계에만 영향을 미칩니다. 이는 오류가 전체 시퀀스로 전파되는 것을 방지하여, 텍스트의 일부가 변경되더라도 디코더가 워터마크를 복구할 수 있게 합니다.

C. 디코딩 및 검출

• 디코딩: 각 메시지 위치에서 디코더는 할당된 토큰들로부터 미러링된 $u$ 값을 집계합니다. 가장 가능성 높은 기호 $M$을 결정하기 위해 점수 함수 (Gumbel-max 의 경우 LogScore, 토너먼트 샘플링의 경우 WeightedMeanScore 또는 BayesianScore) 를 사용합니다.
• 검출: 디코딩된 기호들을 사용하여 기대 분포를 재구성합니다. 전역 점수가 임계값을 초과하면 텍스트가 워터마크된 것으로 식별됩니다.

3. 주요 기여

1. 왜곡 없는 멀티비트 워터마킹: MirrorMark 는 LLM 의 출력 분포를 변경하지 않고 멀티비트 페이로드로 확장된 최초의 왜곡 없는 샘플링 패러다임 (AA, SynthID) 프레임워크입니다.
2. Mod-1 Mirroring: 샘플링 무작위성을 반사하여 정보를 임베딩하는 새로운 수학적 변환으로, 균일 분포를 보존하면서 올바른 가설과 잘못된 가설 간의 대비를 명시적으로 극대화합니다.
3. CABS 스케줄러: 메시지 위치 간 토큰 할당을 균형 있게 조정하고 편집 공격의 영향을 국소화하여 삽입 및 삭제에 대한 내구성을 크게 향상시키는 견고한 스케줄링 메커니즘입니다.
4. 이론적 분석: 저자들은 등오류율 (EER) 의 이론적 특성을 제공하며, 이를 시퀀스 엔트로피 및 토큰 수와 연결하여 실험 결과와 밀접하게 일치하도록 합니다.

4. 실험 결과

실험은 C4 및 ELI5 데이터셋에서 LLaMA-2-7B와 Gemma-7B-it을 사용하여 수행되었습니다.

• 텍스트 품질: MirrorMark 는 비워터마크 텍스트와 구분 불가능한 퍼플렉시티 및 GPT-4o 품질 점수를 달성합니다. 반면, 왜곡 기반 베이스라인 (MPAC, RSBH) 은 유의미한 퍼플렉시티 저하를 보입니다 (예: RSBH 퍼플렉시티 약 32 대 MirrorMark 약 7.2).
• 감지력:
  • 300 토큰에 54 비트를 임베딩했을 때, MirrorMark 는 최첨단 방법 대비 비트 정확도를 8–12% 향상시킵니다.
  • 1% 의 거짓 양성률 (FPR) 에서 베이스라인 대비 11% 이상 더 많은 워터마크 텍스트를 올바르게 식별합니다.
  • Gumbel-max 기반 MirrorMark는 일반적으로 비트 정확도에서 토너먼트 기반 변형보다 우수하며, 둘 다 높은 AUC (~1.0) 를 유지합니다.
• 견고성:
  • 복사 - 붙여넣기 공격: 텍스트의 40% 가 비워터마크 콘텐츠로 대체되더라도 MirrorMark 는 높은 검출률 (AUC > 0.99) 을 유지합니다.
  • 개사: 토큰 수준의 종속성으로 인해 비트 정확도가 하락하지만 (예상됨), MirrorMark 는 강력한 AUC 분리를 유지하며 검출률에서 0 비트 베이스라인을 능가합니다.
• 비교: MirrorMark 는 더 나은 가설 분리 덕분에 ThreeBricks(순환 시프트 확장) 를 비트 정확도에서 크게 능가합니다. 텍스트 품질 측면에서는 RSBH와 MPAC을 능가하면서 견고성은 일치하거나 초과합니다.

5. 의의

MirrorMark 는 AI 콘텐츠 출처 추적 분야에서 중요한 진전을 의미합니다. 감지력과 텍스트 왜곡을 분리함으로써, 생성된 텍스트의 유창성이나 자연스러움을 훼손하지 않고 풍부한 메타데이터 (멀티비트) 를 임베딩할 수 있게 합니다. 이는 고품질 텍스트 생성이 최우선인 실제 배포 환경에서 중요합니다. 또한, CABS 의 도입은 기존 워터마크가 편집 공격에 취약하다는 치명적인 약점을 해결하여, 동적이고 사용자가 편집하는 환경에서 콘텐츠를 보호하기 위한 기술의 실용성을 높입니다. EER 의 이론적 기반은 시퀀스 엔트로피와 길이에 따라 워터마크 매개변수를 조정할 수 있는 예측 가능한 프레임워크를 제공합니다.