dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

기술 요약: dgMARK – 확산 언어 모델을 위한 디코딩 가이드 워터마킹

문제 정의
대규모 언어 모델(LLM)은 허위 정보, 표절 및 저작권 침해와 관련된 상당한 위험을 초래하며, 이에 따라 기계가 생성한 텍스트와 인간이 작성한 콘텐츠를 구별할 수 있는 신뢰할 수 있는 출처 증명 도구가 필요합니다. 워터마킹은 실용적인 해결책이지만, 기존 방법들은 주로 텍스트를 엄격하게 좌에서 우로 생성하는 자기회귀 모델(ARM)을 위해 설계되었습니다. 이러한 방식은 일반적으로 신호를 삽입하기 위해 토큰 확률(예: "그린/레드" 리스트 분할)에 편향을 줍니다. 그러나 이산 확산 언어 모델(dLLM)은 다르게 작동합니다. 이들은 마스킹된 시퀀스를 반복적으로 디노이징하며, 임의의 순서로 토큰을 확정할 수 있습니다. dLLM에서는 ARM이 요구하는 "이전 토큰" 컨텍스트가 디코딩 중에 정의되지 않는 경우가 많아, 전통적인 확률 편향 워터마킹은 효과가 없거나 모델의 출력 분포를 변화시키는 복잡한 적응 과정을 요구합니다. 또한, 이상적인 dLLM은 순서 불변(order-invariant)이어야 하지만, 실제 모델은 디코딩 순서에 민로성을 보이며, 이는 이론적 불변성과 실제 동작 사이의 간극을 만들어내고 이를 워터마킹에 활용하지 못한 채 남겨두게 됩니다.

방법론: dgMARK
저자들은 모델이 학습한 토큰 확률을 재가중하는 대신 디코딩 순서를 조종하여 워터마크를 삽키는 방법인 dgMARK(Decoding-Guided Watermarking)를 제안합니다. 핵심 전제는 dLLM이 각 단계에서 높은 보상을 가진 후보 토큰을 선택한다는 것입니다. dgMARK는 후보 토кен이 특정 패리티 제약 조건을 만족하는 위치의 언마스킹(unmasking)을 우선시함으로써 이를 활용합니다.

1. 패리티 제약(Parity Constraint): 비밀 키 $\xi$가 주어지면, 결정론적 해시 함수 $f(v, \xi)$는 각 토큰 $v$를 이진 값으로 매핑합니다. 디코딩 위치 $i$에 대해, "매칭 세트" $G_i$는 $f(v, \xi) \equiv i \pmod 2$를 만족하는 토큰들을 포함합니다.
2. 디코딩 전략: 디코딩 과정 중에 알고리즘은 모든 미공개 위치에 대한 후보 토큰을 식별합니다. dgMARK는 예측된 토큰 $v_j$가 매칭 세트 $G_j$에 속하는 위치 $j$를 우선순위에 둡니다. 이러한 유효한 후보들 중, 기본 디코딩 전략(예: 신뢰도, 엔트로피, 마진 등)에 기반하여 가장 높은 보상을 가진 위치를 언마스킹 대상으로 선택합니다. 만약 어떤 후보도 패리티 조건을 만족하지 못하면, 시스템은 표준 선택 프로세스로 회귀합니다.
3. 일보 앞선 탐색(One-Step Lookahead): 탐욕적 선택(greedy choices)이 미래의 패리티 매칭 기회를 고갈시키는 것을 방지하기 위해, dgMARK는 일보 앞선 탐색을 사용하는 top-$k$ 빔 서치 변형을 제공합니다. 이 변형은 특정 토큰이 확정되었을 때 얼마나 많은 미래 위치가 패리티 정렬을 유지할 수 있는지를 평가하여, 미래의 정렬을 최대화하는 경로를 선택합니다.
4. 탐지(Detection): 탐지는 패리티 매칭 비율의 통계적 검정에 의존합니다. 해시 함수는 균형 잡혀 있으므로, 워터마크가 없는 텍스트는 0.5에 가까운 매칭 비율을 보일 것입니다. 워터마크가 삽입된 텍스트는 현저히 높은 비율을 나타냅니다. 사후 편집(삽입, 삭제, 치환)에 대한 강건성을 보장하기 위해, 탐지기는 슬라이딩 윈도우 방식을 사용하여 인덱스 변화를 처리하고 중첩된 윈도우 전반에 걸쳐 $z$-통계량을 집계합니다.

주요 기여

• 순서 불변 워터마킹(Order-Agnostic Watermarking): dgMARK는 dLLM에서 디코딩 순서 자체를 주요 워터마킹 채널로 활용하는 최초의 방법이며, 토큰 확률을 직접 수정하지 않습니다.
• 플러그 앤 플레이 호환성(Plug-and-Play Compatibility): 이 방법은 기존 디코딩 전략(신뢰도, 엔트로피, 마진 기반)을 감싸는 래퍼(wrapper)로 작동하며, 모델을 재학습하거나 내부 파라미터를 변경할 필요가 없습니다.
• 강건성(Robustness): 슬라이딩 윈도우 탐지 메커니즘은 패러프레이징을 포함한 상당한 텍스트 수정 후에도 워터마크가 탐지 가능하도록 보장합니다.
• 품질 보존(Quality Preservation): 확률 분포(logits)를 명시적으로 편향시키지 않음으로써, dgMARK는 확률 이동 베이스라인 모델들에 비해 텍스트 품질 저하를 최소화하는 것을 목표로 합니다.

실험 결과
저자들은 최첨단 dLLM(LLaDA, LLaDA 1.5, LLaDA 2.0, Dream)을 사용하여 C4, Writing Prompts 벤치마크 데이터셋에서 dgMARK를 평가했습니다.

• 탐지 가능성(Detectability): dgMARK는 강력한 탐지 성능을 보여줍니다. 3-빔 서치 탐색을 사용할 경우, C4 데이터셋에서 0.01%의 허위 양성률(FPR)에서 거의 100%에 달하는 진양성률(TPR)에 도달하며, 이는 KGW(Kirchenbauer et al., 2023) 및 PATTERN-MARK와 같은 베이스라인을 능가하거나 대등한 수준입니다.
• 텍스트 품질(Text Quality): 이 방법은 텍스트 품질의 저하를 최소화합니다. 퍼플렉시티(PPL) 증가 폭은 KGW 및 PATTERN-MARK에서 관찰된 것보다 일관되게 작습니다. 다운스트림 벤치마크 성능(MMLU, GSM8K, HumanEval)에서도 미미한 하락만을 보였으며, dgMARK는 일반적으로 확률 편향 방식보다 능력을 더 잘 보존합니다.
• 강건성(Robustness): 최대 40%의 수정 예산을 가진 토큰 수준 공격(삽입, 삭제, 치환) 하에서도 dgMARK는 높은 AUC 점수를 유지합니다. 또한, 특히 빔 서치와 결합했을 때 DIPPER 및 Llama 3를 이용한 패러프레이징 공격에 대해서도 탄력성을 입증했습니다.
• 확장성(Scalability): 탐지 가능성은 시퀀스 길이가 길어질수록 향상되어, 긴 형식의 생성 작업에 특히 효과적입니다.

의의 및 주장
본 논문은 dgMARK가 디코딩 순서를 dLLM을 위한 실용적이고 상호 보완적인 워터마킹 채널로 확립한다고 주장합니다. 저자들은 이 접근 방식이 기존 패러다임과 구별되는 뚜렷한 장점을 제공한다고 강조합니다. 즉, 모델의 학습된 조건부 확률을 직접 왜곡하지 않고도 신뢰할 수 있는 출처 증명을 달성한다는 것입니다. 이 연구는 실제 dLLM의 내재적인 순서 민감성(order-sensitivity)이 종종 한계나 부수적인 효과로 간주되지만, 이를 보안을 위한 제어 노브(control knob)로 활용할 수 있음을 보여줍니다. 저자들은 이 방법의 효과가 현재 모델들의 경험적 불완전성(즉, 디코딩 순서에 대한 민감성)에 의존한다는 점을 인정하며, 완벽하게 훈련된 순서 불변 dLLM은 이론적으로 이 특정 워터마킹 접근법을 무력화할 수 있음을 겸허히 밝히고 있습니다. 그럼에도 불구하고, 현재 및 가까운 미래의 dLLM에 대해 dgMARK는 강력하고 왜곡이 적은 콘텐츠 출처 증명 솔루션을 제공합니다.