dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

技術要約：dgMARK – 拡散言語モデルのためのデコーディング誘導型ウォーターマーキング

問題提起
大規模言語モデル（LLM）は、情報の信憑性、盗作、および著作権侵害に関する重大なリスクを提示しており、機械生成テキストと人間が作成したコンテンツを区別するための信頼できるプロベナンス（由来）ツールを必要としている。ウォーターマーキングは実用的な解決策であるが、既存の手法は主に、テキストを厳密に左から右へと生成する自己回帰モデル（ARM）向けに設計されている。これらの手法は通常、信号を埋め込むためにトークン確率（例：「グリーン/レッド」リストの分割）にバイアスをかける。しかし、離散拡散言語モデル（dLLM）はこれとは異なる動作を行う。dLLMはマスクされたシーケンスを反復的にデノイズし、任意の順序でトークンを確定させることができる。dLLMにおいて、ARMが必要とする「前のトークン」のコンテキストは、デコーディング中に定義されないことが多く、従来の確率バイアス型のウォーターマークは効果的ではないか、あるいは出力分布を変化させる複雑な適応を必要とする。さらに、理想的なdLLMは順序不変（order-invariant）であるべきだが、実用的なモデルはデコーディング順序に対して敏感であり、この理論的な不変性と実用的な挙動の間のギャップが、ウォーターマーキングにおいて未利用のまま残されている。

手法：dgMARK
著者らは、トークンの学習済み確率を再重み付けするのではなく、デコーディング順序を制御することでウォーターマークを埋め込む手法であるdgMARK（Decoding-Guided Watermarking）を提案している。核心となる前提は、dLLMが各ステップで高報酬の候補トークンを選択することである。dgMARKはこの性質を利用し、候補トークンが特定のパリティ制約を満たす場合に、その位置のアンマスキング（unmasking）を優先させる。

1. パリティ制約： 秘密鍵 $\xi$ が与えられると、決定論的ハッシュ関数 $f(v, \xi)$ が各トークン $v$ をバイナリ値にマッピングする。デコーディング位置 $i$ について、「一致セット」$G_i$ は、$f(v, \xi) \equiv i \pmod 2$ を満たすトークンを含む。
2. デコーディング戦略： デコーディングプロセス中、アルゴリズムはすべての未公開位置に対する候補トークンを特定する。そして、予測されたトークン $v_j$ が一致セット $G_j$ に属する位置 $j$ を優先する。これらの有効な候補の中で、最も高い報酬（基礎となるデコーディング戦略に基づき、確信度、エントロピー、またはマージンなど）を持つ位置がアンマスキングのために選択される。もし一致する候補が存在しない場合は、標準的な選択プロセスにフォールバックする。
3. ワンステップ・ルックアヘッド： グリーディな選択によって将来のパリティ一致の機会を枯渇させることを防ぐため、dgMARKは、1ステップのルックアヘッドを備えたトップ-$k$ ビームサーチを用いるバリアントを提供する。このバリアントは、特定のトークンを確定させた場合に、将来のポジションがどれだけパリティ整合性を維持できるかを評価し、将来の整合性を最大化するパスを選択する。
4. 検出： 検出は、パリティ一致率の統計テストに依存する。ハッシュ関数はバランスが取れているため、ウォーターマークのないテキストは0.5に近い一致率を示す。ウォーターマーク付きのテキストは、著しく高い一致率を示す。後編集（挿入、削除、置換）に対する堅牢性を確保するため、検出器はスライディングウィンドウ方式を採用し、インデックスのずれを処理するために重複するウィンドウ間で$z$統計量を集計する。

主な貢献

• 順序非依存のウォーターマーキング： dgMARKは、dLLMにおける主要なウォーターマーク・チャネルとしてデコーディング順序自体を利用する初めての手法であり、トークン確率への直接的な修正を回避している。
• プラグアンドプレイの互換性： 本手法は既存のデコーディング戦略（確信度、エントロピー、マージンベース）のラッパーとして機能し、モデルの再学習や内部パラメータの変更を必要としない。
• 堅牢性： スライディングウィンドウ検出メカニズムにより、パラフレーズを含む大幅なテキスト修正が行われた後でも、ウォーターマークの検出性が維持される。
• 品質保持： 確率分布（ロジット）を明示的にバイアスさせないことで、dgMARKは確率シフト型のベースラインと比較して、テキスト品質の低下を最小限に抑えることを目的としている。

実験結果
著者らは、最先端のdLLM（LLaDA, LLaDA 1.5, LLaDA 2.0, Dream）を用い、ベンチマークデータセット（C4, Writing Prompts）でdgMARKを評価した。

• 検出可能性： dgMARKは強力な検出能を実現している。3ビームサーチのルックアヘッドを用いることで、C4データセットにおいて、偽陽性率（FPR）0.01%において真陽性率（TPR）がほぼ100%に達し、KGW (Kirchenbauer et al., 2023) や PATTERN-MARK などのベースラインを上回るか、それに匹敵する性能を示した。
• テキスト品質： 本手法によるテキスト品質の低下は極めて小さい。パープレキシティ（PPL）の上昇は、KGWやPATTERN-MARKで観察されるものよりも一貫して小さい。ダウンストリームのベンチマーク性能（MMLU, GSM8K, HumanEval）ではわずかな低下が見られるのみであり、dgMARKは一般に確率バイアス型の手法よりも能力をよく保持している。
• 堅牢性： 最大40%の修正予算を持つトークンレベルの攻撃（挿入、削除、置換）の下でも、dgMARKは高いAUCスコアを維持している。また、特にビームサーチと組み合わせた場合、DIPPERやLlama 3を用いたパラフレーズ攻撃に対しても耐性を示す。
• スケーラビリティ： 検出性はシーケンス長とともに向上し、本手法は長文生成タスクにおいて特に効果的である。

意義と主張
本論文は、dgMARKがデコーディング順序をdLLMのための実用的かつ補完的なウォーターマーキング・チャネルとして確立したと主張している。著者らは、彼らのアプローチが既存のパラダイムに対して明確な利点を提供することを強調している。すなわち、モデルの学習された条件付き確率を直接歪めることなく、信頼できるプロベナンスを実現している点である。本研究は、実用的なdLLMにおける固有の順序感受性が、しばしば制限や副作用と見なされるものの、セキュリティのための制御ノブとして活用できることを浮き彫りにしている。著者らは、本手法の有効性が現在のモデルの経験的な不完全さ（すなわち、デコーディング順序への感受性）に依存していることを謙虚に認め、完全に訓練された順序不変のdLLMは、理論的にはこの特定のウォーターマーキング手法を無効にする可能性があると述べている。それにもかかわらず、現在および近未来のdLLMにとって、dgMARKは堅牢で低歪みなコンテンツ・プロベナンスのソリューションを提供する。