On Google's SynthID-Text LLM Watermarking System: Theoretical Analysis and Empirical Validation

이 논문은 구글의 SynthID-Text 워터마킹 시스템에 대한 최초의 이론적 분석과 실증 검증을 통해 탐지 성능과 워터마크 견고성을 규명하고, 평균 점수의 취약점을 이용한 공격과 베이지안 점수의 최적화 방안 등을 제시합니다.

핵심

🍎 1. 배경: AI 가 쓴 글과 '보이지 않는 도장'

요즘 AI 가 쓴 글은 사람과 구별하기가 정말 어렵습니다. 그래서 구글은 AI 가 글을 쓸 때, 사람 눈에는 안 보이지만 나중에 확인 가능한 **'보이지 않는 도장 (워터마크)'**을 찍는 기술을 개발했습니다.

• 기존 방식: 글자 하나하나를 살짝 바꾸거나 (예: '사과' 대신 '사과과'라고 쓰기) 글의 흐름을 인위적으로 왜곡하는 방식이었는데, 이렇게 하면 글의 자연스러움이 깨지는 문제가 있었습니다.
• SynthID-Text 의 혁신: 글의 내용이나 흐름은 그대로 유지하면서, **'토너먼트 (경기) 방식'**으로 도장을 찍습니다.

🏆 2. SynthID-Text 의 핵심: '토너먼트 경기' 비유

이 시스템은 AI 가 다음 단어를 고를 때, 마치 토너먼트 경기를 시키는 것처럼 작동합니다.

1. 선수 선발: AI 가 다음에 쓸 단어 후보들 (예: '사과', '배', '포도') 을 뽑습니다.
2. 경기 (레이어): 이 단어들을 여러 번의 '경기 (레이어)'에 붙입니다.
   • 각 경기마다 무작위로 숫자 (g-value) 를 뽑아, 누가 이길지 결정합니다.
   • 도장의 역할: AI 가 원래 쓰려고 했던 단어 중, '도장'과 잘 맞는 단어는 이길 확률을 살짝 높여줍니다.
   • 결과: 최종 승자가 된 단어가 선택됩니다. 이 과정이 여러 번 (레이어) 반복되면서 글이 완성됩니다.
3. 검증: 나중에 이 글이 AI 가 쓴 건지 확인하려면, 모든 경기 기록을 모아 점수를 계산합니다. 점수가 높으면 "아, 이건 AI 가 쓴 거야 (도장이 찍혔어)"라고 판단합니다.

🔍 3. 연구의 핵심 발견: 두 가지 점수 계산법

이 논문은 이 '점수 계산법'에 따라 결과가 어떻게 달라지는지 수학적으로 증명했습니다. 두 가지 방식이 있습니다.

A. 평균 점수 방식 (Mean Score) - "단순한 평균"

• 방식: 모든 경기에서 이긴 단어들의 점수를 그냥 평균내서 봅니다.
• 문제점 (비유): 경기장이 너무 커지면 혼란이 옵니다.
  • 처음에는 경기장이 커질수록 (레이어가 늘어날수록) 도장을 찾기 쉬워집니다.
  • 하지만 경기가 너무 많아지면, 무작위적인 요소들이 너무 많이 섞여서 오히려 도장의 신호가 희미해집니다. 마치 소음 속에서 신호를 찾는 것처럼, 너무 많은 라운드가 쌓이면 신호가 사라져버립니다.
• 공격 (Layer Inflation Attack): 해커는 이 약점을 이용합니다. AI 가 도장을 찍은 글을 가져와서, 거짓으로 경기 라운드를 더 추가하는 것입니다. (예: 30 라운드였던 것을 100 라운드로 늘림). 이렇게 하면 평균 점수 방식은 도장을 못 찾게 되어, AI 가 쓴 글도 '사람이 쓴 글'로 오인하게 됩니다.

B. 베이지안 점수 방식 (Bayesian Score) - "스마트한 분석"

• 방식: 단순히 평균만 보는 게 아니라, "이 글이 AI 가 썼을 확률 vs 사람이 썼을 확률"을 통계적으로 정밀하게 계산합니다.
• 장점 (비유): 경기가 많아질수록 더 똑똑해집니다.
  • 이 방식은 경기 라운드가 늘어날수록 더 많은 증거를 수집하므로, 도장을 찾을 확률이 계속 높아집니다.
  • 하지만 계산이 매우 무겁습니다. (컴퓨터가 많은 일을 해야 함).
  • 결국 라운드가 어느 정도 쌓이면 더 이상 좋아지지 않고 '최대치'에 도달합니다 (포화 상태).

🎯 4. 중요한 결론들

1. 가장 좋은 도장 재료: 연구진은 도장을 찍을 때 사용하는 무작위 숫자 (g-value) 를 어떻게 만들지 분석했습니다. 그 결과, **50% 확률로 0 이나 1 이 나오는 방식 (Bernoulli 0.5)**이 가장 효과적이라는 것을 수학적으로 증명했습니다. 동전을 던져 앞면/뒷면이 나올 확률이 반반일 때 가장 도장을 잘 찾을 수 있다는 뜻입니다.
2. 약점 발견: 구글의 현재 시스템이 사용하는 '평균 점수 방식'은 해커가 경기 라운드를 인위적으로 늘리는 공격에 매우 취약합니다.
3. 해결책: 더 강력하고 안전한 시스템을 만들려면 **'베이지안 점수 방식'**을 사용해야 하지만, 그 대신 컴퓨터 성능을 더 많이 써야 합니다.

💡 요약: 이 논문이 우리에게 주는 메시지

이 논문은 "구글의 최신 AI 도장 기술은 훌륭하지만, 단순한 평균 계산 방식은 해커가 쉽게 무력화할 수 있다"고 경고합니다.

• 비유하자면: 구글이 만든 '보이지 않는 도장'은 처음엔 아주 강력해 보였습니다. 하지만 해커는 "도장을 찍는 과정을 너무 길게 늘려버리면, 도장의 흔적이 소음에 가려져 사라진다"는 사실을 발견했습니다.
• 미래: 따라서 앞으로는 더 똑똑한 통계 방법 (베이지안) 을 쓰거나, 도장 기술이 '레이어가 늘어날수록 더 강해지도록' 설계해야 합니다.

이 연구는 AI 가 생성한 콘텐츠를 안전하게 관리하고, 해커의 공격을 막기 위한 새로운 기준을 제시했다는 점에서 매우 중요합니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 생성한 텍스트를 인간이 작성한 텍스트와 구별하는 것은 AI 윤리 및 안전을 위해 시급한 과제입니다. SynthID-Text 는 토큰 생성 과정에 은닉된 신호 (워터마크) 를 주입하여 이를 탐지하는 방식을 도입했습니다. 그러나 이 시스템의 내부 작동 원리, 특히 **탐지 성능 **(TPR@FPR)과 워터마크 제거 공격에 대한 견고성에 대한 엄밀한 이론적 분석은 부족했습니다.

2. 방법론 (Methodology)

저자들은 SynthID-Text 의 핵심 구성 요소를 이론적으로 모델링하고 분석했습니다.

• Tournament Sampling 분석: SynthID-Text 는 어휘 내 모든 토큰에 대해 의사난수 (g-value) 를 할당하고, 이를 통해 다층 (multi-layer) 토너먼트 방식으로 다음 토큰을 선택합니다.
• **점수 함수 **(Score Function) 워터마크 탐지를 위해 두 가지 점수 함수를 분석했습니다.
  1. **평균 점수 **(Mean Score, MS) 모든 토큰과 층 (layer) 에 걸친 g-value 의 평균.
  2. **베이지안 점수 **(Bayesian Score, BS) 가설 검정 (워터마크 유무) 을 기반으로 한 사후 확률 계산.
• 통계적 도구: 중심극한정리 (CLT, Central Limit Theorem) 를 활용하여 점수 함수의 분포를 정규분포로 근사하고, 기대값과 분산을 유도하여 이론적 TPR(진양성률) 을 도출했습니다.
• 공격 시나리오: 평균 점수의 특성을 악용한 **레이어 인플레이션 공격 **(Layer Inflation Attack)을 설계하여 시스템의 취약점을 검증했습니다.

3. 주요 기여 및 이론적 발견 (Key Contributions & Theoretical Findings)

A. 평균 점수 (Mean Score) 의 취약성

• **단조성 위반 **(Unimodality) 평균 점수를 사용할 때, 고정된 FPR(위양성률) 하에서 TPR 은 토너먼트 층 (layer) 수에 대해 **단봉 함수 **(unimodal) 형태를 가집니다. 즉, 층 수가 증가하면 TPR 이 처음에는 증가하다가 특정 지점 이후로 감소합니다.
• 수렴: 층 수가 무한히 증가하면 TPR 은 결국 FPR 수준으로 떨어집니다. 이는 추가적인 층이 무작위성을 증가시켜 워터마크 신호와 무작위 신호의 분리를 어렵게 만들기 때문입니다.
• 공격 가능성: 이 특성을 악용하여 레이어 인플레이션 공격을 수행할 수 있습니다. 공격자는 워터마크가 삽입된 LLM 에 추가적인 (복제된) 토너먼트 층을 인위적으로 추가하여 층 수를 늘리면, TPR 이 감소하여 워터마크가 탐지되지 않게 만듭니다. 실험 결과, Gemma-7B 모델에서 공격 후 TPR 이 0% 로 떨어지는 것을 확인했습니다.

B. 베이지안 점수 (Bayesian Score) 의 견고성

• 단조 증가: 베이지안 점수를 사용할 경우, TPR 은 층 수가 증가함에 따라 **단조 비감소 **(monotonically non-decreasing)합니다.
• 포화 현상: 층 수가 충분히 커지면 TPR 은 이론적 최대치에 도달하여 포화되지만, 평균 점수처럼 감소하지는 않습니다.
• 원인: 베이지안 점수는 각 층의 g-value 분포를 정확히 활용하여 가설 검정을 수행하므로, 층이 추가될수록 증거가 누적되어 탐지 성능이 유지되거나 향상됩니다.

C. 최적의 g-value 분포

• 이산형 g-value 에 대해 Bernoulli(0.5) 분포가 주어진 FPR 에서 가장 높은 TPR 을 달성하는 최적의 분포임을 증명했습니다. 이는 워터마크 신호와 무작위 신호 간의 기대값 차이를 최대화하여 분포 간 거리를 극대화하기 때문입니다.

4. 실험 결과 (Empirical Results)

• 데이터셋 및 모델: ELI5 데이터셋을 사용하며, Gemma-7B, GPT-2B, Mistral-7B 모델로 실험했습니다.
• TPR 추이 검증:
  • 평균 점수: 층 수가 증가함에 따라 TPR 이 상승했다가 (예: Gemma-7B 에서 0.04 → 0.88) 감소하는 단봉 형태를 보였습니다. 이는 이론적 예측과 완벽하게 일치합니다.
  • 베이지안 점수: 층 수가 증가함에 따라 TPR 이 상승하다가 일정 수준에서 포화되는 경향을 보였습니다.
• CLT 가정 검증: Anderson-Darling 검정을 통해 평균 점수의 분포가 정규분포를 따름을 확인하여 이론적 분석의 타당성을 입증했습니다.
• 공격 성공: 레이어 인플레이션 공격을 적용한 결과, 기존에 워터마크로 탐지되던 텍스트들이 모두 무워터마크로 오분류되었습니다.

5. 의의 및 시사점 (Significance)

• 시스템 설계 원칙 제안: 이 연구는 LLM 워터마킹 시스템이 **"자기 견고성 **(self-robustness)을 가져야 함을 강조합니다. 즉, 워터마크 과정을 반복 적용 (층 추가) 했을 때 탐지 성능이 떨어지지 않고 오히려 유지되거나 향상되어야 합니다. SynthID-Text 의 평균 점수 방식은 이 원칙을 위반합니다.
• 실무적 권고:
  • 평균 점수는 계산이 간단하지만 공격에 취약하므로, 보안이 중요한 환경에서는 사용에 신중해야 합니다.
  • 베이지안 점수는 계산 비용이 더 들지만, 층 수를 늘려도 성능이 유지되므로 더 견고한 대안입니다.
  • Bernoulli(0.5) 분포가 최적의 설정임을 확인하여, 향후 시스템 설계 시 이를 기본값으로 채택할 수 있음을 시사합니다.
• 미래 연구 방향: 왜곡을 허용하는 (distortionary) 워터마킹 설정으로의 확장, 기존 방법론과의 이론적 비교, 그리고 다양한 공격 (예: 문장 재구성 등) 에 대한 견고성 강화가 필요함을 제시했습니다.

결론

이 논문은 SynthID-Text 의 혁신적인 성능 이면에는 평균 점수 방식의 근본적인 취약성이 있음을 이론적으로 증명했습니다. 동시에 베이지안 점수와 Bernoulli(0.5) 분포가 더 나은 대안임을 제시함으로써, 차세대 LLM 워터마킹 시스템의 설계에 중요한 이론적 기반과 실증적 지침을 제공했습니다.