RLSpoofer: A Lightweight Evaluator for LLM Watermark Spoofing Resilience

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 급속한 발전과 함께 생성된 텍스트의 출처를 추적하고 저작권을 보호하기 위해 텍스트 워터마킹 (Text Watermarking) 기술이 도입되었습니다. 그러나 현재 워터마킹 시스템의 블랙박스 스푸핑 (Black-box Spoofing) 에 대한 견고성이 충분히 평가되지 않았습니다.

기존의 스푸핑 공격 평가 방법들은 다음과 같은 한계를 가지고 있습니다:

• 높은 데이터 요구량: 수천에서 1 만 개 (10k) 에 달하는 대규모 학습 데이터셋이 필요합니다.
• 내부 정보 접근 필요: 워터마킹 알고리즘의 내부 구조나 검출기 (Detector) API 에 대한 접근 권한 (White-box) 이 필요합니다.
• 의미론적 일관성 부족: 워터마크를 위조하는 과정에서 원본 텍스트의 의미 (Semantic fidelity) 가 심각하게 훼손되는 경우가 많습니다.

이러한 한계로 인해 실제 환경에서 워터마킹 시스템이 얼마나 취약한지를 효율적으로 평가할 수 있는 도구가 부재했습니다.

2. 방법론 (Methodology)

저자들은 워터마크 스푸핑을 분포 (Distribution) 관점에서 접근하여, RLSpoofer라는 새로운 경량화된 블랙박스 공격 기법을 제안했습니다.

A. 이론적 기반: 로컬 용량 병목 (Local Capacity Bottleneck)

• 핵심 아이디어: 워터마크가 삽입된 텍스트와 인간이 작성한 텍스트는 통계적 분포에서 차이가 있습니다. 공격자는 이 분포를 인간 분포 ($P_h$) 에서 워터마크 분포 ($P_{wm}$) 로 이동시키려 합니다.
• KL-바운드 업데이트: 의미론적 충실도 (Semantic fidelity) 를 유지하면서 토큰 수준의 확률 질량을 재분배할 때, **KL 발산 (KL Divergence)**으로 제한된 국소적 업데이트 하에서 재분배 가능한 확률 질량의 한계를 이론적으로 규명했습니다.
• 로컬 용량 질량 ($c_t$): 특정 토큰 위치에서 인간이 작성한 텍스트의 주된 확률 분포가 얼마나 집중되어 있는지에 따라, 의미 유지가 가능한 범위 내에서 워터마크 신호를 주입할 수 있는 '여유 (Capacity)'가 결정됨을 증명했습니다. 즉, 확률이 집중된 토큰 (예: 숫자, 고유명사) 은 변경이 어렵고, 유연한 토큰 (예: 형용사, 동사) 은 변경이 쉽습니다.

B. RLSpoofer 알고리즘

• 강화학습 (RL) 기반: GRPO (Group Relative Policy Optimization) 를 활용하여 공격 모델 (Paraphraser) 을 학습시킵니다.
• 데이터 효율성: 워터마크 내부 구조나 검출기 없이, 단순히 100 개의 '인간 텍스트 - 워터마크가 적용된 재작성 텍스트' 쌍만 학습 데이터로 사용합니다.
• 보상 함수 (Reward) 설계:
  1. 의미론적 보상 (Sequence-level Semantic Reward): 생성된 재작성 텍스트가 원본 의미와 워터마크 재작성 텍스트의 의미를 모두 잘 유지하는지 평가 (P-SP 점수 기반).
  2. 용량 인식 토큰 보상 (Capacity-aware Token-level Reward): 앞서 규명된 '로컬 용량 질량 ($c_t$)'을 가중치로 사용하여, 의미 변경이 가능한 위치에서 워터마크 분포를 선호하는 토큰을 선택하도록 유도합니다.
  3. 크로스 엔트로피 앵커 (Cross-entropy Anchor): 학습 중 정책이 너무 크게 이탈하는 것을 방지하고 워터마크 분포에 안정적으로 수렴하도록 돕는 정규화 항입니다.

3. 주요 기여 (Key Contributions)

1. 이론적 증명: KL-바운드 하의 의미론적 일관성을 유지하는 국소적 업데이트에서 확률 질량 재분배의 한계를 정량화하는 **로컬 용량 병목 (Local Capacity Bottleneck)**을 제시했습니다.
2. RLSpoofer 제안: 내부 정보 접근 없이 소량의 데이터 (100 쌍) 만으로 고품질의 워터마크 스푸핑이 가능한 효율적인 블랙박스 공격 프레임워크를 개발했습니다.
3. 광범위한 실험: 5 가지 다른 아키텍처 (Qwen, Llama 등) 와 6 가지 워터마킹 방식 (로그트 기반 및 샘플링 기반 포함) 을 대상으로 실험하여, 기존 방어 체계의 취약점을 폭로했습니다.

4. 실험 결과 (Results)

• 성능 비교:
  • RLSpoofer는 10,000 개의 데이터로 학습된 기존 베이스라인 (Distill, DITTO, DPO) 을 압도적으로 능가했습니다.
  • 특히 PF-Watermark(샘플링 기반, 왜곡 없음) 에서는 기존 베이스라인이 6% 미만의 성공률을 보인 반면, RLSpoofer 는 **62.0% 의 스푸핑 성공률 (SSR)**을 기록했습니다.
  • 로그트 기반 워터마크 (EWD, SWEET 등) 에서는 50~60% 대의 높은 성공률을 유지하면서도 의미론적 유사도 (P-SP) 를 0.7 이상으로 유지했습니다.
• 데이터 효율성: 학습 데이터를 50 개로 줄여도 강력한 성능을 발휘하여, 소량의 데이터로도 워터마크 시스템의 취약성을 효과적으로 평가할 수 있음을 입증했습니다.
• 전파성 (Transferability): 한 워터마킹 방식에 학습된 모델이 다른 방식에도 부분적으로 적용 가능함을 보였으나, 분포 기반의 차이에 따라 전파 효율은 비대칭적임을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 경량화된 평가 프레임워크: RLSpoofer 는 고비용의 대규모 데이터나 내부 정보 없이도 LLM 워터마킹 시스템의 견고성을 빠르게 테스트할 수 있는 실용적인 스트레스 테스트 도구를 제공합니다.
• 현재 방어 체계의 취약성 노출: 현재 널리 사용되는 워터마킹 방식들 (심지어 왜곡이 없는 방식까지) 이 블랙박스 공격에 매우 취약하며, 기존 평가 방법론이 실제 위험을 과소평가하고 있음을 시사합니다.
• 향후 방향: 이 연구는 더 강력하고 스푸핑에 견고한 (Spoofing-resistant) 워터마킹 scheme 개발의 필요성을 강조하며, 향후 워터마킹 기술의 안전성 평가에 필수적인 벤치마크로 작용할 것입니다.

요약하자면, 이 논문은 적은 데이터와 블랙박스 환경에서도 LLM 워터마크를 쉽게 위조할 수 있음을 이론과 실험을 통해 증명함으로써, AI 생성 콘텐츠의 출처 추적 기술이 가진 근본적인 한계를 지적하고 더 강력한 방어 체계의 필요성을 제기했습니다.