기술 요약: TextSeal

문제 제기

생산 시스템에 대규모 언어 모델 (LLM) 이 빠르게 배포됨에 따라 콘텐츠 출처 추적에 대한 신뢰할 수 있는 메커니즘이 필수적입니다. 워터마킹은 생성된 텍스트에 AI 기원을 식별하고, EU AI 법안과 같은 신흥 규정을 준수하며, 모델 증류나 합성 데이터 기반 자기 학습과 같은 무단 사용을 방지하기 위해, 감지 불가능하고 알고리즘적으로 탐지 가능한 신호를 임베딩하는 것을 목표로 합니다.

기존 최첨단 방법들은 탐지 가능성과 다양성 사이의 치명적인 트레이드오프에 직면해 있습니다. Gumbel-max 샘플링과 같은 왜곡 없는 방법들은 모델의 원래 출력 분포를 보존하여 (품질 저하 없음) 완전히 결정론적입니다: 고정된 프롬프트와 비밀 키는 항상 동일한 출력을 생성합니다. 이는 생성 다양성을 제거하여 반복적인 루프와 나쁜 사용자 경험을 초래합니다. 반면, 다양성을 복원하기 위해 무작위성을 도입하는 방법들은 종종 워터마크의 통계적 강도를 훼손하거나 왜곡 (출력 분포 편향) 을 초래합니다. 또한, 기존 탐지기는 희석에 취약하여, 워터마크가 적용된 콘텐츠가 대량의 인간 작성 텍스트와 혼합되거나 문서 전체에 분산되어 있을 때 이를 식별하지 못합니다.

방법론: TextSeal

TextSeal 은 Gumbel-max 프레임워크를 기반으로 한 왜곡 없는 비결정론적 워터마킹 방식입니다. 이는 기존 기술의 한계를 해결하기 위해 세 가지 핵심 기술 혁신을 도입합니다:

1. 다양성을 위한 이중 키 생성

표준 Gumbel-max 의 결정론적 성격을 극복하기 위해 TextSeal 은 이중 키 라우팅을 사용합니다.

• 메커니즘: 각 생성 단계에서 시스템은 확률 $1-\alpha$와 $\alpha$로 두 개의 비밀 키 $k^{(1)}$ 또는 $k^{(2)}$ 중 하나를 무작위로 선택합니다. 토큰은 선택된 키에서 유도된 PRF(의사 난수 함수) 값을 사용하여 Gumbel-max 트릭을 통해 선택됩니다.
• 영향: 이는 결정론적 루프를 깨뜨려 출력 다양성을 복원하면서도 왜곡 없는 특성을 유지합니다.
• 최적화: 라우팅 확률 $\alpha$는 추측적 디코딩 승인률 (예: Multi-Token Prediction 시나리오) 에 동적으로 맞춰 조정되어, 추론 지연을 추가하지 않고 서비스 최적화와 호환성을 보장합니다.

2. 엔트로피 가중 탐지

표준 탐지 점수는 모든 토큰을 동일하게 취급하지만, 워터마크 신호는 엔트로피가 낮은 영역 (모델이 매우 확신하여 PRF 와 관계없이 상위 토큰이 지배하는 영역) 에서 본질적으로 약합니다.

• 메커니즘: TextSeal 은 경량 프록시 모델을 통해 추정된 국소 엔트로피로 각 토큰의 탐지 점수를 가중합니다. 워터마크의 영향력이 더 큰 고엔트로피 위치는 최종 통계에 더 크게 기여합니다.
• 통계적 보정: 가중 점수의 합은 가설 지수 분포를 따릅니다. 보정된 p-값을 효율적으로 계산하기 위해 TextSeal 은 가중치의 이질성과 이중 키 라우팅 분산을 처리하는 모멘트 일치 감마 근사를 사용합니다.

3. 지역화 다중 영역 탐지

전역 탐지기는 워터마크가 적용된 텍스트가 긴 문서의 작은 비율일 때 (희석) 또는 비연속적인 세그먼트에 흩어져 있을 때 (분할) 실패합니다.

• 메커니즘: TextSeal 은 워터마크가 적용된 세그먼트를 식별하기 위해 기하학적 커버 탐색을 사용합니다. 가능한 모든 구간 ($O(n^2)$) 을 테스트하는 대신, 창 길이 ($L, 2L, 4L, \dots$) 의 이분법적 격자를 탐색합니다.
• 추출: 탐욕 알고리즘이 가장 낮은 p-값을 가진 불연속 구간들을 추출하여, 가족별 오차율을 통제하기 위해 엄격한 보너페로니 보정을 적용하면서 이를 집계합니다.
• 적응형 앙상블: 시스템은 전역 전체 텍스트 테스트, 단일 최선 창, 또는 다중 영역 집계 중 세 가지 전략 중 가장 유의미한 결과를 적응적으로 선택합니다. 이는 텍스트가 순수하게 워터마크된 경우든 heavily 혼합된 경우든 견고성을 보장합니다.

주요 기여

1. 최첨단 트레이드오프: TextSeal 은 다양성 - 탐지 가능성 파레토 프론티어를 엄격하게 지배하여 SynthID-text 와 표준 Gumbel-max 를 능가합니다. 이는 다양성을 워터마크가 없는 생성과 비교 가능한 수준으로 복원하면서도 높은 탐지 가능성을 달성합니다.
2. 희석에 대한 견고성: 지역화된 탐지를 통해 TextSeal 은 워터마크가 적용된 콘텐츠가 10 배 희석되거나 긴 문서 내에서 여러 작은 영역으로 분할될 때에도 (전역 베이스라인이 실패하는 조건) 확신 있는 탐지를 유지합니다.
3. 제로 추론 오버헤드: 이 방식은 무시할 수 있는 샘플링 오버헤드 ($\le 0.3\%$) 를 추가하며, 모델 파라미터 변경이나 KV-캐시 수정 없이 추측적 디코딩 및 Multi-Token Prediction(MTP) 과 완전히 호환됩니다.
4. 증류를 통한 방사능: TextSeal 은 워터마크 신호가 "방사능"임을 보여줍니다. 워터마크가 적용된 교사 모델 출력에서 증류된 학생 모델은 탐지 가능한 토큰 편향을 상속받아, 원래 생성 컨텍스트에 접근하지 않더라도 무단 증류를 탐지할 수 있게 합니다.
5. 기능 보존: 수학, 코드, 추론, 지식 등 12 개 벤치마크와 다국어 인간 평가를 통한 광범위한 평가는 TextSeal 이 다운스트림 모델 성능을 보존하고 지각 가능한 품질 저하를 도입하지 않음을 확인했습니다.

실험 결과

• 탐지 가능성 vs 다양성: ELI5 데이터셋 평가에서 TextSeal($\alpha=0.1$) 은 동등한 Self-BLEU 다양성 점수에서 SynthID 및 Gumbel-max 보다 현저히 낮은 p-값 (더 높은 탐지 가능성) 을 달성합니다.
• 희석 저항성: TextSeal 의 적응형 앙상블은 워터마크가 적용된 400 토큰이 워터마크가 없는 12,000 토큰에 임베딩되었을 때 (워터마크 비율 3.3%) 에도 강력한 탐지 ($-\log_{10} p > 4$) 를 유지합니다. 전역 베이스라인은 훨씬 낮은 희석 수준에서 유의성 임계값 아래로 떨어집니다.
• 성능 보존: AIME, MATH, GSM8K, HumanEval 을 포함한 벤치마크에서 TextSeal 은 일반 생성과 비교하여 통계적으로 유의미한 성능 저하를 보이지 않습니다. 코드 벤치마크에서 관찰된 미미한 변동은 추론 저하가 아닌 포맷팅 노이즈로 귀결되었습니다.
• 인간 지각: 5 개 언어에 걸친 6,000 건의 A/B 비교를 통한 다국어 인간 평가는 지각 가능한 품질 차이가 없음을 발견했습니다. 동등성 테스트 (TOST) 는 워터마크가 적용된 출력과 적용되지 않은 출력 간의 선호도 차이가 $\pm 5\%$ 이내로 제한됨을 확인했습니다.
• 증류 전이: 증류 실험 (DeepSeek-R1 에서 Qwen2.5-3B 로) 에서 워터마크 흔적이 성공적으로 학생 모델에 신호를 전이했습니다. TextSeal 은 더 높은 데이터 유지율로 인해 원래 설정에서 가장 강력한 탐지 신호를 달성한 반면, Gumbel-max 는 통제된 데이터 볼륨 하에서 토큰당 더 강력한 신호를 보였습니다.

의의 및 주장

이 논문은 TextSeal 을 LLM 워터마킹을 위한 실용적이고 생산 준비가 된 솔루션으로 위치시킵니다. 그 주요 의의는 왜곡 없음을 희생하지 않으면서 다양성과 탐지 가능성 사이의 오랜 긴장을 해결하는 데 있습니다.

저자들은 TextSeal 이 오픈 가중치 모델이 점점 더 합성 데이터로 훈련됨에 따라 중요한 우려 사항인 무단 모델 증류에 대한 "방사능" 방호를 제공한다고 주장합니다. 학생 모델에서 워터마크 흔적을 탐지할 수 있게 함으로써 TextSeal 은 모델 사용을 모니터링하고 지적 재산을 보호하는 메커니즘을 제공합니다.

논문은 한계에 대해 겸손하게 서술합니다: 워터마크는 단일 생성에는 왜곡이 없으나, 다양성 감소 (이중 키 메커니즘을 통해) 가 다양한 출력을 필요로 하는 워크플로우 (예: best-of-N 재순위화) 에 영향을 미칠 수 있음을 인정합니다. 그러나 현대 추론 모델들은 종종 자연스럽게 엔트로피가 축소되어 이러한 미미한 손실을 완화할 수 있다고 지적합니다. 이 작업은 이론적으로 타당하고 경험적으로 견고하며 현대 추론 인프라와 호환되는 새로운 워터마킹 기준을 확립합니다.