기술 요약: 다중 비트 LLM 워터마킹을 위한 월드컵 샘플링

문제 제기

대형 언어 모델 (LLM) 이 생성하는 텍스트가 인간의 작문과 점점 더 구별하기 어려워짐에 따라, 신뢰할 수 있는 귀속 및 추적 가능성은 중요한 과제가 되었습니다. 제로 비트 워터마킹은 기계 생성 텍스트를 효과적으로 탐지하지만, 모델 식별자나 타임스탬프와 같은 풍부한 출처 메타데이터를 임베딩할 수 있는 역량이 부족합니다. 기존 다중 비트 워터마킹 접근법은 메시지를 확률적 생성 과정에 임베딩함으로써 제로 비트 방식을 확장하려 시도합니다. 그러나 이러한 방법들은 일반적으로 정적 로그이트 (logit) 교란과 계수 기반 디코딩에 의존합니다. 이러한 설계는 두 가지 주요 한계를 겪습니다:

1. 텍스트 품질 저하: 정적 로그이트 편향은 자연스러운 생성 역학, 특히 페이로드 용량이 증가함에 따라 간섭을 일으켜 유창성을 저하시킵니다.
2. 비최적의 견고성: 계수 기반 디코딩은 토큰을 동등한 가중치를 가진 이산적 이진 결과로 취급하여, 부드러운 확률적 임베딩과 경성 집계 간의 불일치를 초래합니다. 이로 인해 메시지 용량과 디코딩 견고성 간의 균형이 특히 공격 하거나 낮은 엔트로피 토큰의 경우 불리해집니다.

방법론: 월드컵 프레임워크

저자들은 LLM 샘플링 과정을 구조화된 통신 채널로 재개념화하는 다중 비트 워터마킹 프레임워크인 **월드컵 (WorldCup)**을 제안합니다. 정적 로그이트 편향을 대신하여, 월드컵은 위계적 경쟁 메커니즘을 통해 메시지 인코딩을 토큰 선택에 직접 통합합니다.

1. 인코딩: 위계적 토너먼트 샘플링

월드컵은 단일 토큰의 생성을 다라운드 토너먼트로 모델링합니다:

• 후보 선택: 각 생성 단계 $t$에서, 모델의 분포 $P_\Theta$로부터 $N^m$개의 후보 토큰이 샘플링됩니다.
• 상보적 $g$-값 함수: 메시지 비트를 인코딩하기 위해, 프레임워크는 두 가지 계열의 의사난수 함수인 $g_0$와 $g_1$을 활용합니다. 핵심적으로, 이들은 상보적 쌍 ($g_1 = 1 - g_0$) 으로 설계됩니다. 이는 완벽한 반상관관계를 유도하여 '0'과 '1'을 인코딩하는 토큰의 통계적 분포를 반대 극단으로 밀어내어 판별력을 극대화합니다.
• 토너먼트 과정: 후보들은 선택된 $g$-값 함수 계열을 사용하여 층별로 그룹화되고 비교됩니다. 각 그룹에서 가장 높은 점수를 받은 토큰이 다음 층으로 진출하여 단일 "챔피언" 토큰이 남을 때까지 진행됩니다.
• 일반화된 다중 비트 임베딩: 용량을 증가시키기 위해, 프레임워크는 $k$개의 $g$-값 함수 계열로 일반화되어 단일 토큰이 동시에 $k$개의 비트를 인코딩할 수 있게 합니다.
• 엔트로피 인식 변조: 탐지 가능성과 텍스트 품질 사이의 균형을 맞추기 위해, 월드컵은 모델 출력 분포의 지역적 엔트로피에 기반한 동적 조정 인자 $\lambda$를 도입합니다. 고엔트로피 (불확실한) 위치는 더 강력한 워터마크 분리를 허용하는 반면, 로엔트로피 (높은 신뢰도) 위치는 유창성을 보존하기 위해 보수적인 변조를 사용합니다.

2. 디코딩: 신뢰도 인식 집계

월드컵은 전통적인 계수 기반 탐지기와는 달리 신뢰도 인식 디코딩 전략을 채택합니다:

• 소프트 집계: 토큰을 이진 결과로 이산적으로 매핑하는 대신, 디코더는 동일한 메시지 위치와 관련된 그룹 전체에 걸쳐 세분화된 토큰 수준의 점수를 집계합니다.
• 신뢰도 가중치: 이 방법은 각 토큰 그룹에 대한 경험적 평균 $g$-값을 계산합니다. 상보적 함수 ($g$ 대 $\bar{g}$) 의 점수를 비교함으로써 디코더는 임베딩된 비트를 추론합니다. 이 접근법은 통계적 신뢰도에 따라 증거에 가중치를 부여하여, 종종 계수 기반 방법을 혼란스럽게 하는 저엔트로피 토큰의 불균형적인 영향을 완화합니다.
• 가설 검정: 탐지는 누적적이고 위치 인식 통계를 기반으로 한 표준화된 $z$-점수를 사용하여 가설 검정으로 구성됩니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 월드컵 프레임워크: 샘플링을 구조화된 통신 채널로 모델링하며, 이론적 분석과 광범위한 경험적 평가를 통해 검증된 다목적 다중 비트 워터마킹 시스템.
2. 신뢰도 인식 디코딩: 경성 계수를 부드러운 신뢰도 가중치 집계로 대체하는 새로운 디코딩 패러다임으로, 디코딩 정확도와 효율성을 모두 크게 향상시킵니다.
3. 체계적 분석: 상보적 $g$-값, 엔트로피 변조, 하이퍼파라미터와 같은 설계 구성 요소에 대한 포괄적 검토로, 향후 연구를 위한 실행 가능한 통찰력을 제공합니다.

실험 결과

저자들은 다양한 작업 (번역, 요약, 질문 응답, 수학 추론) 과 메시지 길이 (16~48 비트) 에 걸쳐 LLaMA3-8B와 Gemma2-9B에서 월드컵을 평가했습니다.

• 디코딩 정확도: 월드컵은 일관되게 베이스라인 (MPAC, SegMark, StealthInk, BiMark) 을 능가했습니다. 예를 들어, 16 비트 메시지로 LLaMA3-8B에서 StealthInk 대비 비트 정확도를 3.2% 향상시켰으며, 제로 비트 탐지 시나리오에서 거의 완벽한 정확도 (99.8% AUC) 를 달성했습니다.
• 텍스트 품질: 월드컵은 대부분의 베이스라인보다 낮은 퍼플렉시티 (PPL) 를 유지하여 더 나은 유창성 보존을 나타냈습니다. 엔트로피 인식 변조가 결정적인 것으로 입증되었는데, 이를 제거하면 PPL 이 크게 증가했습니다.
• 견고성: 다양한 공격 (단어 삭제, 동의어 치환, 복사 - 붙여넣기, Dipper 를 통한 문장 재구성) 하에서 월드컵은 기존 방법보다 높은 AUROC 와 비트 정확도를 달성하며 우수한 견고성을 보여주었습니다.
• 효율성: 이 프레임워크는 매우 효율적이며, 샘플당 평균 디코딩 시간이 0.01~0.02 초로, 포괄적 검색이나 복잡한 후처리가 필요한 방법보다 훨씬 빠릅니다.

중요성과 주장

본 논문은 월드컵이 LLM 의 다중 비트 워터마킹에 대한 향후 연구를 위한 확장 가능하고 원칙적인 기반을 확립한다고 주장합니다. 샘플링 과정을 통신 채널로 취급하고 상보적 신호를 활용함으로써, 이 프레임워크는 다섯 가지 중요한 차원 전반에 걸쳐 강력한 균형을 달성합니다:

1. 메시지 용량
2. 탐지 가능성
3. 견고성
4. 텍스트 품질
5. 디코딩 효율성

저자들은 월드컵이 생성된 텍스트의 품질을 희생하지 않고 신뢰할 수 있는 콘텐츠 귀속을 가능하게 하여, 현재 다중 비트 워터마킹 기술의 주요 병목 현상을 해결한다고 주장합니다. 그들은 이 작업을 LLM 콘텐츠 무결성과 출처를 검증하기 위한 실용적 배포를 향한 한 걸음으로 위치시킵니다.

참고: 논문은 토큰 수준 정보 용량 최적성에 대한 공식적 이론적 분석의 부재와 다중 비트 설정에서의 위조 방지성에 대한 추가 연구 필요성을 인정하는 한계를 명시합니다.