Watermark Forensics for Generative Models: An Information-Theoretic Perspective

기술 요약: 생성 모델을 위한 워터마크 포렌식: 정보 이론적 관점

문제 정의
본 논문은 생성 모델의 워터마크가 가진 포렌식 역량을 다루며, 단순히 "이 콘텐츠가 기계에 의해 만들어졌는가?"(탐지)라는 이진 질문을 넘어, 더 복잡한 계층 구조인 귀속(Attribution, $N$명의 사용자 중 누구인지 식별), 추출(Extraction, 숨겨진 페이로드 복구), 그리고 국소화(Localization, 콘텐츠 내에서 마크를 포함하는 특정 영역 식별) 문제를 다룹니다. 저자들은 기존 문헌이 이러한 과제들을 별개의 문제로 취급하며, 임베딩 메커니즘(예: 패턴을 "임베딩"하는 것 vs 분포를 "편향"시키는 것)과 추출 가능한 정보의 근본적인 정보 이론적 한계를 혼동하고 있다고 주장합니다. 핵심 질문은 다음과 같습니다: 각 포렌식 과제를 위해 필요한 샘플 복잡도(길이 $n$)는 얼마이며, 이 비용은 워터마크의 품질 제약(충실도, 왜곡 예산 또는 엔트로피)과 어떻게 연관되는가?

방법론 및 프레임워크
저자들은 단일 객체인 정보 프로필(information profile) $\nu(t)$를 중심으로 구성된 통합 프레임워크를 도입합니다.

• 정의: $\nu(t) := I(S; X_t | X_{<t})$, 여기서 $S$는 비밀(사용자 식별자 또는 페이로드), $X$는 생성된 캐리어(토큰 시퀀스), $X_{<t}$는 이전 토큰들을 의미한다. 이는 이전 상태가 주어졌을 때 $t$번째 토큰이 $S$에 대해 드러내는 정보를 측정한다.
• 포렌식 사다리(The Forensic Ladder): 본 논문은 포렌식 과제를 통계적 문제의 사다리로 모델링한다:
  • 레벨 0 (탐지): 마크가 존재하는가? (메커니즘 불가지론적 베이스라인)
  • 레벨 1 (귀속): 어느 사용자($N$명 중)인가?
  • 레벨 2 (추출): $\ell$-비트 페이로드는 무엇인가?
  • 레벨 3 (국소화): 마크가 어디에 있는가? (크로핑에 강건함)
• 품질 모델: 이 프레임키는 문헌에 존재하는 두 가지 구별된 품질 모델을 동일한 프로필 $\nu$에 대한 "노름 캡(norm caps)"으로 통합한다:
  1. 유계 왜곡(Biasing) $B(\Delta)$: 마크가 모든 토큰에서 미미하게 작용하며, $L_\infty$ 캡($\nu(t) \le \Delta$)을 부과한다. 예: 그린 리스트(Green-list) 워터마크.
  2. 풋프린트(Embedding) $E(m)$: 마크가 작은 수의 위치에 집중되며(풋프린트 $T$, $|T| \le m$), $L_0$ 캡($t \notin T$인 경우 $\nu(t) = 0$)을 부과한다. 예: 트리 링(Tree-Ring).
• 포렌식-복구 예산: 데이터 처리 부등식에 의해, 총 복구 가능한 정보는 프로필의 질량에 의해 제한된다: $\Phi(n) = \|\nu\|_1 = I(S; X)$. 이 예산은 귀속과 추출 모두에 사용된다.

주요 기여 및 결과

1. 엔트로피 컬럼의 종결 (왜곡이 없는 영역에서의 귀속):

   • 본 논문은 통계적으로 왜곡이 없는 스킴(키 평균 출력이 자연스러운 분포와 구별 불가능한 경우)에서 다중 사용자 귀속을 위한 최초의 타이트한 샘플 복잡도 법칙을 확립한다.
   • 결과: 정체적-에르고딕(stationary-ergodic) 소스 $h$에 대해, 텍스트를 $N$명의 사용자 중 한 명에게 귀속시키는 데 드는 비용은 $n_{att} = \Theta(\log N / h)$ 토큰이다.
   • 메커니즘: 저자들은 **서프라이절 임계값 디코더(surprisal-threshold decoder)**를 제안한다. 매칭되는 키를 세는 단순한 "일관성(consistency)" 디코더(이는 "충돌 함정(collision trap)"에 빠지며 $n \approx \log N / r_2$를 요구함, 여기서 $r_2$는 Rényi-2 rate)와 달리, 서프라이절 디코더는 실제 실현된 서프라이절 $-\log p_{nat}(X)$가 임계값 $\tau = \log(N/\delta)$를 초과할 때만 키를 수락한다. 이는 샤논 레이트 $h$를 달성하며, 정확한 비점근적 per-innocent 허위 양성 보장($\delta/N$)을 제공한다.
   • 의의: 이는 컨버스(Fano bound)와 달성 가능성 사이의 간극을 해결하며, 충돌율이 아닌 샤논 엔트로피 레이트가 결정 복잡도를 지배함을 보여준다.

2. 포렌식 격차 (탐지 vs. 귀속):

   • 본 논문은 탐지와 귀속이 근본적으로 다른 비용을 가짐을 증명한다. 탐지는 $\Theta(1/\Delta)$ (또는 왜곡이 없는 경우 $\Theta(\lambda/h)$)의 비용이 드는 고정된 2점 테스트인 반면, 귀속은 $\log N$ 만큼의 identity 정보를 추출해야 한다.
   • 결과: 텍스트가 탐지는 가능하지만(오차 $\to 0$) 귀속은 불가능한(오차 $\to 1$) "포렌식 격차" 구간이 존재한다. 구체적으로, 편향(biasing) 스킴의 경우, 귀속에는 $n \approx \log N / \Delta$가 필요하지만, 탐지는 훨씬 더 일찍 포화된다.
   • 시사점: 특정 사용자를 귀속시키지 않고도 텍스트가 기계에 의해 만들어졌음을 입증할 수 있다.

3. 풋프린트를 통한 디커플링 (두 가지 품질 모델):

   • 본 논문은 "편향(biasing, 전 범위 지원)"과 "임베딩(embedding, 작은 풋프린트)" 스킴의 구분을 공식화한다.
   • 결과:
     • 편향 ($B(\Delta)$): 귀속 비용은 $\Theta(\log N / \Delta)$이다. 이 비용은 왜곡 예산과 결합되어 있으며, 마크를 더 은밀하게 만들수록($\Delta \to 0$) 귀속 비용은 무한히 커진다.
     • 임베딩 ($E(m)$): 귀속 비용은 $\Theta(\log N / \log q)$이며, 개별 토큰의 왜곡 캡과는 독립적이다. 비가시성은 풋프린트가 작아짐으로써($m/n \to 0$) 달성된다.
   • 한계: 정보 이론적 디커플링은 존재하지만, 알려진 유일한 증거(witness)인 "디지트 스탬프(digit stamp)"는 편집에 강건하지 않다. 국소화가 가능한 배포 가능한 스킴들(예: SEAL, EditGuard)은 작은 풋프린트가 아니라 미세한 판독을 통해 구현된 풀-서포트(full-support, 편향) 방식임이 밝혀졌다.

4. 국소화와 불확정성 원리:

   • 본 논문은 크로핑에 강건한 국소화를 위한 풋프린트-해상도 불확정성 원리를 도출한다.
     • 결과: 크로핑에 대해 강건하게 마크를 크기 $w$의 윈도우로 국소화하려면, 캐리어 풋프린트는 $|R| \cdot w = \Omega(n)$을 만족해야 한다.
   • 시사점: 작은 풋프린트 임베딩 스킴($m = o(n)$)은 미세한 해상도에서 크로핑에 강건할 수 없다. 미세 해상도 국소화는 마크가 풀-서포트(편향)를 갖도록 강제하며, 이는 작은 풋프린트 스킴이 강건한 국소화 과제를 수행하는 것을 사실상 불가능하게 만든다.

5. 실증적 검증:

   • 저자들은 실제 언어 모델(GPT-2, Pythia-410M, Qwen2.5)에서 "충돌 함정"을 검증한다. 그들은 모델 전반에서 $h/r_2 \approx 1.6$의 비율을 측정하여, 최적의 서프라이절 임계값 디코더와 비교했을 때 나이브한 일관성 기반 디코더가 이만큼의 비용을 과다 청구함을 확인했다.
   • 그린 리스트 워터마크 실험은 포렌식 격차를 확인시켜 준다: 탐지는 약 28개 토큰에서 포화되지만, 귀속 정확도는 $\log N$에 따라 선형적으로 증가하며 크게 뒤처진다.

의의 및 주장
본 논문은 생성 모델의 귀속 및 추출을 위한 샘플 복잡도에 대해 최초의 타이트한 양방향 정보 이론적 법칙을 제공한다고 주장한다.

• 통합: 분산된 포렌식 과제(탐지, 귀속, 추출, 국소화)와 품질 모델(편향 vs. 임베딩)을 단일 척도인 정보 프로필 $\nu(t)$ 아래에 통합한다.
• 규제적 영향: 저자들은 현재의 규제(예: EU AI Act)가 흔히 "추출 가능한 객체"(임베딩 온톨로지)를 전제한다는 점을 지적한다. 본 논문의 결과는 편향형 워터마크(실제 현장에서 지배적인 클래스)의 경우, 그러한 명령이 마크가 은밀해질수록($\Delta \to 0$) 발산하는 샘플 비용($\Theta(\log N / \Delta)$)을 동반한다는 것을 보여준다. 반면 임베딩 스킴은 고정된 비용을 제공하지만 현재 강건성 제약에 의해 제한적이다.
• 열린 문제: 본 논문은 왜곡이 없으면서도 편집에 강건한 귀속 스킴의 부재를 가장 날카로운 미해결 과제로 명시한다. 이론적 레이트 $\Theta(\log N / h)$는 해결되었으나, 기존의 증거(exact alignment)는 편집에 강건하지 않다. 편집 강건한 디코더가 이 레이트를 달 Achieve 할 수 있는지, 아니면 더 높은 Rényi-2 비용으로 돌아가야 하는지는 여전히 열린 문제로 남아 있다.

요약하자면, 본 논문은 워터마크의 포렌식 능력이 그것을 임베딩하는 메커니즘이 아니라, 그것이 복구 가능하게 만드는 정보(프로필 $\nu$)와 풋프린트의 기하학적 구조에 의해 결정된다고 상정한다. 포렌식 과제의 "가격"은 엄격하게 이러한 정보 이론적 양들에 의해 지배된다.