기술 요약: 대규모 언어 모델을 위한 다수 비트 인식 워터마킹

문제 제기

대규모 언어 모델 (LLM) 의 광범위한 배포는 유해하거나 기만적인 콘텐츠 생성을 포함하여 중대한 보안 및 윤리적 문제를 야기했습니다. 생성된 텍스트의 출처를 추적하기 위해 워터마킹 기법이 제안되었으나, 기존 다비트 워터마킹 방법들은 텍스트 품질과 디코딩 정확도 사이의 근본적인 트레이드오프에 직면해 있습니다.

현재의 교란 기반 방법들 (예: MPAC, RSBH) 은 임베딩된 메시지를 디코딩하기 위해 "그린 리스트"(어휘의 부분 집합) 에 포함된 토큰의 빈도를 세는 방식에 의존합니다. 정확한 디코딩을 위한 강력한 워터마킹 신호를 보장하기 위해, 이러한 방법들은 일반적으로 그린 리스트의 크기 (그린 리스트 비율 $\gamma$) 를 제한합니다. 그러나 더 작은 $\gamma$ 는 모델이 문맥상 적합한 토큰 중 더 좁은 범위에서 선택하도록 강제하여 생성된 텍스트의 유창성과 품질을 저하시킵니다. 반대로, 텍스트 품질을 유지하기 위해 $\gamma$ 를 증가시키면 워터마킹 신호가 약화되어 디코딩 정확도가 떨어집니다. 본 논문은 이러한 경험적 트레이드오프를 현재 다비트 워터마킹의 결정적인 병목 현상으로 지목합니다.

방법론

저자들은 그린 리스트 크기의 엄격한 제약에서 워터마킹 신호 강도를 분리하는 새로운 인코딩 패러다임인 **다수 비트 인식 인코딩 (Majority Bit-Aware Encoding)**을 제안합니다.

핵심 개념: 다수 비트 인식 인코딩

특정 메시지 비트를 특정 토큰 부분 집합에 매핑하는 대신, 이 방법은 메시지의 다수 비트 (majority bit)($\lambda$) 의 통계적 특성을 활용합니다.

1. 어휘 분할: 어휘 $V$는 $b$개의 서로소인 조각 (shards) 으로 분할되며, 각 조각은 $b$비트 메시지의 특정 비트 위치에 대응합니다.
2. 그린 리스트 구성: 그린 리스트 $G$는 메시지의 다수 비트에 해당하는 모든 조각의 합집합으로 구성됩니다. 다수 비트가 1 이면, $G$는 $m_i=1$인 비트에 해당하는 모든 조각을 포함하고, 0 이면 $m_i=0$인 조각을 모두 포함합니다.
3. 신호 보존: 다수 비트는 적어도 $\lceil b/2 \rceil$번 이상 나타나므로, 이 전략은 $\gamma \ge 0.5$의 그린 리스트 비율을 보장합니다. 이는 토큰 빈도수를 세는 것에서 특정 조각이 강화되었는지 추론하는 것으로 디코딩 목표를 전환함으로써, 텍스트 품질을 유지하는 큰 그린 리스트를 사용하면서도 여전히 강력하고 탐지 가능한 신호를 유지할 수 있게 합니다.

제안된 방법

저자들은 이 패러다임을 두 가지 방법으로 구체화했습니다.

1. MajorMark:

   • 인코딩: 전체 $b$비트 메시지에 직접 다수 비트 인식 인코딩을 적용합니다. 이론적 분석에 따르면 기대되는 그린 리스트 비율은 $E_m[\gamma] \approx 0.5 + 1/\sqrt{2\pi b}$입니다.
   • 디코딩: 클러스터링 기반 디코더를 사용합니다. 각 토큰에 대한 토큰 - 조각 매핑을 재구성하고 조각별 토큰 수를 집계합니다. 클러스터링 알고리즘 (예: K-Means) 은 발생 빈도에 기반하여 조각들을 두 그룹으로 분할합니다. 평균 카운트가 더 높은 그룹은 다수 비트에 해당하므로 전체 메시지를 복원할 수 있습니다.
   • 해시 함수: 빈번한 단어로 인한 반복적인 그린 리스트를 방지하기 위해, 해시 시드는 이전 두 개의 토큰 ($x_{t-1}, x_{t-2}$) 과 다수 비트 $\lambda$를 포함합니다.

2. MajorMark+:

   • 최적화: $b \to \infty$로 갈수록 MajorMark 에서의 $\gamma$ 증가분이 감소하는 긴 메시지의 성능을 개선하도록 설계되었습니다.
   • 블록 단위 인코딩: 메시지를 $r$개의 블록으로 나눕니다. 다수 비트 인식 인코딩을 각 블록에 독립적으로 적용합니다. 이는 더 큰 기대 그린 리스트 비율을 산출합니다: $E_m[\gamma] \approx 0.5 + 1/\sqrt{2\pi(b/r)}$.
   • 결정론적 디코딩: 클러스터링 접근 방식을 결정론적 디코딩 방법으로 대체합니다. 비지도 클러스터링에 의존하는 대신, 디코더는 각 블록에 대해 다수 비트와 그 발생 횟수의 가능한 조합을 모두 열거합니다. 그리고 조각별 토큰 분포가 가장 치우친 구성을 선택합니다. 이는 클러스터링 경계에 대한 민감성을 제거하고 특히 약한 워터마킹 편향 하에서 정확도를 향상시킵니다.

주요 기여

1. 새로운 인코딩 전략: 논문은 워터마킹 탐지 가능성의 그린 리스트 크기 의존성을 완화하여 품질 - 정확도 트레이드오프를 효과적으로 깨는 다수 비트 인식 인코딩을 도입합니다.
2. 두 가지 새로운 방법: 저자들은 새로운 인코딩 전략을 활용하는 MajorMark와 **MajorMark+**를 제시합니다. MajorMark+ 는 블록 단위 처리와 결정론적 디코딩을 통해 긴 메시지에 대한 방법의 확장성을 특히 해결합니다.
3. 이론적 보장: 논문은 두 방법 모두 $\gamma \ge 0.5$의 그린 리스트 비율을 보장하며, 유한한 메시지 길이의 경우 기대 비율이 0.5 보다 엄격하게 크다는 이론적 증명을 제공합니다.
4. 종합적 평가: 다양한 작업 (텍스트 완성, 스토리 생성, 요약) 과 데이터셋 (C4, Essays, OpenGen) 에서 최첨단 LLM(예: LLaMA-2, Qwen, Gemma) 을 대상으로 한 광범위한 실험을 통해 접근 방식을 검증했습니다.

실험 결과

저자들은 비트 정확도 (BA), 퍼플렉시티 (PPL)(텍스트 품질의 대리 지표), Top-5 히트율 지표를 사용하여 최첨단 베이스라인 (DepthW, CycleShift, MPAC, RSBH) 에 대한 방법을 평가했습니다.

• 우수한 트레이드오프: MajorMark 와 MajorMark+ 는 기존 방법들보다 일관되게 높은 디코딩 정확도와 낮은 퍼플렉시티 (더 나은 텍스트 품질) 를 달성했습니다. 예를 들어, 메시지 길이 $b=64$에서 MajorMark+ 는 BA 94.82% 와 PPL 6.29 를 기록하여 RSBH(BA 89.74%, PPL 6.85) 보다 우수한 성능을 보였습니다.
• 강건성: 이 방법들은 복사 - 붙여넣기 및 문맥 재구성 (Paraphrase) 공격을 포함한 생성 후 편집 공격에 대해 강건함을 입증했습니다. 모든 방법이 문맥 재구성 공격 하에서 성능 저하를 겪었으나, MajorMark 와 MajorMark+ 는 베이스라인에 비해 경쟁력 있는 성능을 유지했습니다.
• 효율성: MajorMark+ 의 디코딩 복잡도는 블록 수 ($b/r - 1$) 에 선형적이므로, 지수 시간 열거 방법 (CycleShift 등) 보다 훨씬 효율적이며 RSBH 보다 빠릅니다.
• 일반화: 이 방법들은 다양한 모델 아키텍처 (LLaMA, Qwen, Gemma) 와 하위 작업 전반에 걸쳐 강력한 일반화 능력을 보여주었습니다.

중요성과 주장

본 논문은 제안된 다수 비트 인식 인코딩 패러다임이 LLM 을 위한 다비트 워터마킹의 실효성을 근본적으로 개선한다고 주장합니다. 토큰 빈도수 세기에서 조각 선택 추론으로 디코딩 목표를 전환함으로써, 이 방법은 디코딩 정확도를 희생하지 않고도 큰 그린 리스트를 사용할 수 있게 합니다.

저자들은 그들의 방법이 서비스 제공자가 생성된 텍스트에 사용자 식별자나 모델 버전과 같은 복잡한 메타데이터를 임베딩하면서도 높은 텍스트 유용성을 유지할 수 있게 한다고 강조합니다. 이는 고품질 텍스트 생성이 종종 강력한 워터마킹 신호의 필요성으로 인해 훼손되어 왔던 현재 워터마킹 연구의 중요한 격차를 해소합니다. 이 연구는 MajorMark 와 MajorMark+ 가 LLM-as-a-Service 시나리오에서 실제 배포를 위한 실용적인 후보이며, 출처 추적과 오용 조사를 위한 균형 잡힌 해결책을 제공한다고 시사합니다.