Global Sketch-Based Watermarking for Diffusion Language Models

기술 요약: 확산 언어 모델(Diffusion Language Models)을 위한 글로벌 스케치 기반 워터마킹

문제 정의
대규모 언어 모델(LLM)의 급격한 도입은 데이터 오염과 남용을 완화하기 위해 인간이 작성한 텍스트와 모델이 생성한 콘텐츠를 구별할 수 있는 신뢰할 수 있는 방법을 필요로 합니다. 자기회귀(Autoregressive, AR) 모델을 위한 워터마킹은 이미 잘 연구되어 있지만, 기존 방식들은 상당한 한계에 직면해 있습니다. AR 워터마크는 일반적으로 이전 토큰에 기반하여 다음 토큰 분포를 왜곡하는 로컬 컨텍스트(local-context) 방식에 의존합니다. 이러한 접근 방식은 워터마크 신호를 특정 샘플링 경로(좌-우 필터링)에 종속시켜, 생성 과정으로부터 신호를 분리하는 것을 어렵게 만듭니다. 또한, AR 워터마크는 순차적인 토큰 순서에 의존하기 때문에 보안 취약성(예: 키가 없는 사용자가 컨텍스트 조건부 규칙성을 통해 탐지 가능)과 편집(삽입, 삭제, 재정렬)에 대한 낮은 견고성 문제를 겪는 경우가 많습니다.

확산 언어 모델(DLM), 특히 마스크드 변형(masked variants)은 토큰을 순차적으로 생성하는 대신 동시에 디노이징(denoising)하는 다른 생성 패러다임을 제공합니다. 이는 모든 미결정 위치(unresolved positions)에 대한 주변 분포(marginal distributions)에 접근할 수 있게 하여, AR 모델에서는 계산적으로 불가능한 글로벌 제어 전략을 가능하게 합니다. 그러나 DLM을 위한 효과적인 워터마킹 기법은 아직 충분히 탐구되지 않았습니다.

방법론
저자들은 마스크드 확산 언어 모델을 위한 **스케치 기반 워터마크(sketch-based watermark)**를 제안합니다. 로컬 토큰 분포를 컨텍스트에 따라 편향시키는 AR 방식과 달리, 이 접근 방식은 전체 텍스트 시퀀스의 **글로벌 벡터 값 스케치 표현(global, vector-valued sketch representation)**을 제어합니다.

1. 텍스트 스케치 (Count-Sketch): 이 방법은 텍스트 시퀀스 $y$를 유한 차원의 실수 벡터 공간으로 매핑하는 Count-Sketch 함수 $H(y)$를 활용합니다. 이 스케치는 가산 통계량(additive statistic)입니다: $H(y) = \sum \phi(y_j)$. 스케치는 해시 및 부호 함수를 위한 스케치 키($k_{sk}$)와 타겟 벡터 $u_k$를 위한 방향 키($k_{dir}$)로 구성된 비밀 키 $k$를 사용하여 구축됩니다.
2. 탐지 점수 (Detection Score): 탐지기는 스케치와 타겟 방향 사이의 내적을 계산하고, 이를 스케치 노름(norm)으로 페널티를 부여합니다:
   $$S_k(y) := 2\langle u_k, h_k(y) \rangle - \lambda \|h_k(y)\|_2^2$$
   이 점수는 스케치가 타겟 방향 $u_k/\lambda$와 일치할 때 최대화됩니다.
3. 스코어-그래디언트를 통한 임베딩: DLM의 디노이징 과정 동안 모델의 마스크된 위치에 대한 주변 분포는 편향됩니다. 이 편향은 현재 기대되는 스케치($\hat{h}_{k,t}$)에서 평가된 탐지 점수의 그래디언트에 의해 결정됩니다.
   • 스케치는 가산적(additive)이기 때문에, 임의의 단계 $t$에서의 기대 스케치는 전체 결합 분포(joint distribution)를 요구하지 않고도 조건부 주변 분포로부터 추적 가능합니다.
   • 편향 방향은 잔차 그래디언트(residual gradient) $r_{k,t} = u_k - \lambda \hat{h}_{k,t}$입니다.
   • 주변 분포는 이 방향에 따라 지수적으로 기울어집니다(exponentially tilted): $\tilde{p}_i^{(t)}(v) \propto p_i^{(t)}(v) \exp\{\eta_t a_{k,t}(v)\}$, 여기서 $a_{k,t}(v)$는 토큰의 특징 맵(feature map)을 잔차 그래디언트에 투영한 값입니다.
4. 주요 속성: 이 공식은 탐지를 로컬 컨텍스트로부터 분리하여 **순서 불변 통계량(order-agnostic statistic)**을 생성합니다. 워터마킹 규칙은 단순하고 정적인 토큰 편향으로 나타나는 것이 아니라, 동적이고 상태 의존적인 조정으로 나타납니다.

주요 기여 및 이론적 결과
본 논문은 제안된 방식의 세 가지 주요 속성을 증명하며 이론적 분석을 제공합니다.

• KL 왜곡 분해 (KL Distortion Decomposition): 저자들은 디노이징 경로를 따른 쿨백-라이블러(Kullback-Leibler, KL) 왜곡에 대한 체인 룰을 증명합니다(정리 5.1). 그들은 총 왜곡이 각 단계에서의 왜곡의 합임을 보여줍니다. 나아가, 공통 슬로프 $\eta_t$를 가진 제안된 지수적 기울이 **로컬 KL 최적(locally KL-optimal)**임을 입증합니다(명제 5.2). 이는 본 방법이 최소한의 왜곡으로 원하는 점수 이득을 달성하며, 점수의 국소 분산이 높은 위치가 자연스럽게 더 많은 신호를 전달함을 의미합니다(결론 5.3).
• 키 무작위화된 건전성 (Key-Randomized Soundness): 정리 5.4는 탐지기의 건전성 경계(soundness bound)를 설정합니다. 키와 독립적인 워터마크가 없는 텍스트에 대해 거짓 양성(false positive) 확률이 지수적으로 제한됨을 증명합니다. 노름 페널티($\lambda$)는 임의로 큰 스케치가 거짓 양성을 유발하는 것을 방지하는 것으로 나타났습니다.
• 편집에 대한 견고성: 본 논문은 편집(치환, 삽입, 삭제)에 대한 점수의 민감도를 분석합니다. 레벤슈타인 거리(Levenshtein distance)에 따라 점수가 선형적으로 저하됨을 보여주는 정리 5.7과 보조정리 5.6은 이 워터마크가 편집에 대해 견고함을 시사합니다. 즉, 탐지력을 떨어뜨리기 위해서는 상당한 수의 토큰 변경이 필요합니다.

의의 및 주장
본 논문은 이 작업을 확산 모델을 위한 새로운 클래스의 워터마킹에 대한 예비적 도입으로 규정합니다. 본 연구의 의의는 다음과 같습니다:

• 로컬 컨텍스트로부터의 분리: 글로벌 스케치를 사용함으로써, 방법론은 AR 모델의 "단일 패스 제어 병목 현상(single-pass control bottleneck)"을 피하며, 토큰을 즉시 확정하지 않고도 시퀀스 수준의 제어를 가능하게 합니다.
• 순서 불과한 탐지 (Order-Agnostic Detection): 워터마크는 순차적 생성 순서에 묶여 있지 않으므로, AR 방식에 비해 재정렬 공격(reordering attacks)에 대해 잠재적으로 더 나은 견고성을 제공합니다.
• 이론적 토대: 본 연구는 DLM의 스케치 기반 접근 방식에 특화된 왜곡, 건전성 및 편집 민감도에 대한 최초의 엄밀한 분석을 제공합니다.

저자들은 이 연구를 방법론의 이론적 속성(왜곡, 건전성, 견고성)에 집중한 "예비적(preliminary)" 작업으로 성격 규정합니다. 또한, 이 방식이 자기회귀 모델에서는 불가능한 제어 전략을 가능하게 하기 위해 DLM의 고유한 기하학적 구조를 활용한다는 점을 언급합니다.