Watermarking Discrete Diffusion Language Models

논문 요약: 이산 확산 언어 모델 (DDLM) 을 위한 워터마킹

1. 문제 제기 (Problem)

• 배경: 생성형 AI 의 급속한 발전으로 인해 AI 가 생성한 콘텐츠와 인간이 작성한 콘텐츠를 구분하고, 그 출처를 추적할 수 있는 기술이 필수적입니다. 특히 허위 정보 (Misinformation) 와 조작된 콘텐츠의 확산을 막기 위해 AI 생성 텍스트에 대한 워터마킹이 중요해졌습니다.
• 기존 연구의 한계: 기존의 워터마킹 연구는 주로 **자기회귀 (Autoregressive) 대형 언어 모델 (LLM)**이나 이미지 확산 모델에 집중되어 있었습니다.
• 새로운 도전: 최근 **이산 확산 언어 모델 (Discrete Diffusion Language Models, DDLM)**은 높은 추론 처리량 (Throughput) 으로 인해 급부상하고 있습니다. 그러나 DDLM 은 토큰을 순차적으로 생성하는 자기회귀 모델과 달리, 모든 토큰을 병렬적으로 생성하고 확산 과정을 거치기 때문에 기존 워터마킹 기법을 직접 적용하기 어렵습니다.
  • DDLM 에는 토큰 간의 순차적 의존성이 없어 기존 방식의 '이전 토큰을 기반으로 시드 (seed) 를 설정'하는 방식이 작동하지 않습니다.
  • 확산 단계 중 어느 단계에서 워터마킹을 적용할지 선택하는 과정에서 '검출률 (Completeness)'과 '왜곡 (Distortion)' 사이의 트레이드오프가 발생합니다.

2. 방법론 (Methodology)

저자들은 DDLM 의 특성에 맞춰 분산 보존 (Distribution-preserving) 워터마킹 기법을 제안합니다. 핵심 아이디어는 확산 과정의 모든 단계에서 편향 없이 샘플링을 수행하되, 무작위성 (Randomness) 을 시퀀스 위치 (Sequence Position) 에 따라 시드 (Seed) 하는 것입니다.

• Gumbel-Max 샘플링 트릭 적용:

  • 기존 워터마킹 (예: Green-list) 은 특정 토큰 집합을 선호하도록 확률 분포를 왜곡시킵니다. 반면, 이 논문은 Gumbel-Max 샘플링 규칙을 사용합니다.
  • 각 확산 단계에서 토큰 $i$에 대해 $r_i \sim \text{Unif}[0, 1]$을 생성하고, $S_{i,x} = \ln(r_i) / p_{i,x}$를 계산하여 가장 큰 값을 갖는 토큰을 선택합니다.
  • 핵심: 이 방식은 원래 모델의 토큰 샘플링 분포를 완전히 보존합니다. 즉, 워터마크가 적용된 텍스트의 확률 분포는 원본 모델과 동일하여 텍스트 품질 왜곡이 발생하지 않습니다.

• 위치 기반 시딩 (Position-based Seeding):

  • DDLM 은 병렬 생성을 하므로 순차적 의존성이 없습니다. 이를 해결하기 위해 난수 생성기 (RNG) 의 시드를 **토큰의 위치 (Position)**에 따라 설정합니다.
  • 검출 시에는 시드 오프셋 $s$를 $(s + i) \mod m$ 형태로 변경하여, 텍스트의 접두사 (Prefix) 가 삭제되더라도 워터마크 검출이 가능하도록 **강건성 (Robustness)**을 확보합니다.

• 검출 알고리즘:

  • 생성된 텍스트의 각 토큰 위치에서 시드된 난수를 재생성하고, $-\ln(1 - r_i)$ 값을 누적하여 정규화된 점수를 계산합니다.
  • 이 점수가 임계값 ($\tau$) 을 초과하면 워터마크가 있다고 판단합니다.

3. 주요 기여 (Key Contributions)

1. DDLM 을 위한 최초의 워터마킹 방법론 제안: 이산 확산 모델에 특화된 워터마킹 알고리즘을 개발했습니다.
2. 이론적 보장:
   • 왜곡 없음 (Distortion-freeness): Gumbel-Max 샘플링이 원본 분포를 보존함을 수학적으로 증명했습니다 (Theorem 1).
   • 검출 신뢰성: 거짓 양수 (False Positive) 확률이 시퀀스 길이에 따라 지수적으로 감소함을 증명했습니다 (Theorem 2).
3. 실용성 및 단순성:
   • 기존 Green-list 방식과 달리 복잡한 하이퍼파라미터 튜닝 (예: $\gamma, \delta$, 워터마킹 구간 $S_W$ 등) 이 필요하지 않습니다.
   • 오직 검출 임계값 ($\tau$) 하나만 조정하면 되므로 다양한 모델과 벤치마크에 쉽게 배포 및 확장 가능합니다.

4. 실험 결과 (Experimental Results)

• 모델: 최신 DDLM 인 LLaDA를 사용하여 실험했습니다.
• 데이터: WaterBench 의 오픈 엔디드 프롬프트 1,000 개를 사용했습니다.
• 성능 비교 (Green-list 방식 vs 제안된 Gumbel-max 방식):
  • 검출률 (Completeness): 제안된 방법은 약 **96.0%**의 검출률을 보였습니다. (Green-list 방식의 최적 설정인 $\beta=0.10$ 기준 94.0% 보다 우수함)
  • 정합성 (Soundness): 거짓 양수율은 **97.7%**로 매우 낮게 유지되었습니다.
  • 텍스트 품질:
    • Green-list 방식은 검출률을 높이면 ( $\beta$ 감소) 텍스트 품질 (Perplexity, GPT-4 점수) 이 급격히 저하되었습니다.
    • 반면, Gumbel-max 방식은 텍스트 품질 저하가 미미했습니다 (Perplexity 10.391 $\to$ 10.652).
  • 강건성: 접두사 삭제 (Prefix deletion) 공격에도 높은 검출률을 유지했습니다.

5. 의의 및 결론 (Significance)

• 트레이드오프 해소: 기존 워터마킹 기법들이 겪던 '검출 가능성'과 '텍스트 품질' 사이의 심각한 트레이드오프를 이론적으로 해결했습니다. 분포를 왜곡하지 않으면서도 통계적으로 검출 가능한 신호를 생성합니다.
• 배포 용이성: 복잡한 하이퍼파라미터 탐색 (Ablation study) 없이도 일관된 성능을 발휘하므로, 실제 산업 환경에서의 DDLM 배포 시 워터마킹을 적용하기 매우 용이합니다.
• 미래 방향: 확산 역학 (Reverse diffusion dynamics) 하에서 더 안정적인 영역에 워터마크 신호를 집중하거나, 편집 거리 기반 정렬 기법을 결합하여 더 높은 강건성을 확보하는 것이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 확산 기반 언어 모델의 급속한 성장에 발맞춰, 텍스트 품질을 해치지 않으면서도 강력한 검출 능력을 가진 새로운 워터마킹 프레임워크를 제시하여 AI 생성 콘텐츠의 투명성과 책임성을 확보하는 데 기여합니다.