Watermark Forensics for Generative Models: An Information-Theoretic Perspective

技術要約：生成モデルにおけるウォーターマーク・フォレンジック：情報理論的観点から

問題提起
本論文は、生成モデルにおけるウォーターマークのフォレンジック（鑑識）能力を取り扱う。これは、「このコンテンツは機械製か？」という二値的な問い（検出）を超え、より複雑な階層構造である：属性特定（$N$人のユーザーのうち誰が生成したかを特定する）、抽出（隠されたペイロードを復元する）、および局在化（コンテンツ内のどの領域にマークが含まれているかを特定する）という課題へと発展する。著者らは、既存の文献がこれらを個別の問題として扱い、埋め込みメカニズム（例：「パターンを埋め込む」ことと「分布を偏らせる」こと）と、回収可能な情報の根本的な情報理論的限界を混同していると主張する。中心的な問いは、各フォレンジック・タスクに必要なサンプル複雑性（長さ $n$）はいくらであり、これらのコストはウォーターマークの品質制約（忠実度、歪み予算、またはエントロピー）とどのように関連しているのか、という点にある。

手法とフレームワーク
著者らは、単一のオブジェクトである情報プロファイル $\nu(t)$ を中心に構成された統一フレームワークを導入する。

• 定義: $\nu(t) := I(S; X_t | X_{<t})$ とする。ここで、$S$ は秘密（ユーザー識別子またはペイロード）、$X$ は生成されたキャリア（トークン列）、$X_{<t}$ は直前のトークンを表す。これは、過去の条件の下で、$t$ 番目のトークンによって明らかになる $S$ に関する情報を測定するものである。
• フォレンジックの梯子（Forensic Ladder）: 本論文では、フォレンジック・タスクを統計的問題の階層としてモデル化している：
  • レベル 0 (検出): マークは存在するか？（メカニズムに依存しないベースライン）。
  • レベル 1 (属性特定): どのユーザーか？（$N$ 人のユーザー）。
  • レベル 2 (抽出): $\ell$ ビットのペイロードは何か？
  • レベル 3 (局在化): マークはどこにあるか？（クロッピングに対して頑健）。
• 品質モデル: 本フレームワークは、文献に見られる2つの異なる品質モデルを、同一のプロファイル $\nu$ に対する「ノルム上限」として統一する：
  1. 有界歪み（バイアス型） $B(\Delta)$: マークは各トークンにおいて微細であり、$L_\infty$ 上限（$\nu(t) \le \Delta$）を課す。例：グリーンリスト・ウォーターマーク。
  2. フットプリント（埋め込み型） $E(m)$: マークは少数の位置に集中しており（フットプリント $T$、ただし $|T| \le m$）、$L_0$ 上限（$t \notin T$ のとき $\nu(t) = 0$）を課す。例：Tree-Ring。
• フォレンジック・リカバリ・予算: データ処理不等式により、回収可能な総情報はプロファイルの質量によって制限される：$\Phi(n) = \|\nu\|_1 = I(S; X)$。この予算が、属性特定と抽出の両方を賄う。

主要な貢献と結果

1. エントロピー・カラムの解消（歪みのない領域における属性特定）:

   • 本論文は、統計的に歪みのないスキーム（キー平均化された出力が自然な分布と区別できないもの）におけるマルチユーザー属性特定の、初のタイトなサンプル複雑性法則を確立した。
   • 結果: エントロピー率 $h$ を持つ定常エルゴード的ソースにおいて、$N$ 人のユーザーから一人を属性特定するためのコストは、$n_{att} = \Theta(\log N / h)$ トークンである。
   • メカニズム: 著者らは**サプライザル閾値デコーダ（surprisal-threshold decoder）**を提案する。これは、一致するキーをカウントするナイーブな「一貫性（consistency）」デコーダ（「衝突の罠（collision trap）」に陥り、$n \approx \log N / r_2$、ここで $r_2$ はレニーの第2次レートを必要とする）とは異なり、実現されたサプライザル $-\log p_{nat}(X)$ が閾値 $\tau = \log(N/\delta)$ を超える場合にのみキーを受け入れる。これにより、シャノン・レート $h$ を達成し、正確かつ非漸近的な「無実の誤検知（per-innocent false-positive）」保証（$\delta/N$）を実現する。
   • 意義: これにより、コンバース（ファノの不等式）と達成可能性の間のギャップを解消し、衝突率ではなくシャノン・エントロピー率が決定の複雑さを支配することを示した。

2. フォレンジック・ギャップ（検出 vs 属性特定）:

   • 本論文は、検出と属性特定が根本的に異なるコストであることを証明している。検出は、$\Theta(1/\Delta)$（または歪みのない場合 $\Theta(\lambda/h)$）を要する固定の2点テストである。一方で、属性特定には $\log N$ ナッツのアイデンティティの抽出が必要である。
   • 結果: テキストは「機械製である」と証明可能（誤差 $\to 0$）であるが、「属性特定は不可能」である（誤差 $\to 1$）という「フォレンジック・ギャップ」の窓が存在する。具体的には、バイアス型スキームにおいて、属性特定には $n \approx \log N / \Delta$ が必要であるが、検出はそれよりもずっと早く飽和する。
   • 示唆: テキストは、特定のユーザーに帰属させることなく、機械製であることを証明できる。

3. フットプリントによるデカップリング（2つの品質モデル）:

   • 本論文は、「バイアス型（フルサポート）」と「埋め込み型（小さなフットプリント）」のスキームの区別を定式化している。
   • 結果:
     • バイアス型 ($B(\Delta)$): 属性特定のコストは $\Theta(\log N / \Delta)$ である。このコストは歪み予算と結合しており、マークをより隠密にする（$\Delta \to 0$）ほど、属性特定のコストは無限大に増大する。
     • 埋め込み型 ($E(m)$): 属性特定のコストは $\Theta(\log N / \log q)$ であり、トークンごとの歪み上限には依存しない。不可知性は、パー・トークンの微細な歪みではなく、消失するフットプリント（$m/n \to 0$）によって達成される。
   • 限界: 著者らは、情報理論的なデカップリングは存在するものの、既知の証拠（「ディジット・スタンプ」）は編集に対して頑健ではないと指摘している。SEALやEditGuardのような、局在化が可能な展開可能なスキームは、小さなフットプリントではなく、きめ細かな読み出しを通じてフルサポート（バイアス型）であることが判明している。

4. 局在化と不確定性原理:

   • 本論文は、クロップ（切り抜き）に対して頑健な局在化のための、フットプリント・解像度の不確定性原理を導出している。
   • 結果: クロップに対して頑健にウィンドウサイズ $w$ 内にマークを局在化するためには、キャリアのフットプリントは $|R| \cdot w = \Omega(n)$ を満たさなければならない。
     • 示唆: 小さなフットプリントを持つ埋め込みスキーム（$m = o(n)$）は、細かい解像度でのクロップ耐性を持ち得ない。細かい解像度の局在化は、マークがフルサポート（バイアス型）であることを強制し、事実上、小さなフットプリントを持つスキームを頑健な局在化タスクから排除する。

5. 実証的検証:

   • 著者らは、実際の言語モデル（GPT-2, Pythia-410M, Qwen2.5）における「衝突の罠」を検証している。彼らはモデル全体で $h/r_2 \approx 1.6$ という比率を測定し、ナイーブな一貫性デコーダが、最適なサプライザル閾値デコーダと比較して、この係数分だけ過剰なコストを課していることを確認した。
   • グリーンリスト・ウォーターマークの実験は、フォレンジック・ギャップを裏付けている。すなわち、検出は $\approx 28$ トークンで飽和するが、属性精度の向上は大幅に遅れ、$\log N$ に比例して線形に成長する。

意義と主張
本論文は、生成モデルにおける属性特定および抽出のサンプル複雑性に関する、初のタイトで両方向の（two-sided）情報理論的法則を提供すると主張している。

• 統一: 分散しているフォレンジック・タスク（検出、属性特定、抽出、局在化）と品質モデル（バイアス型 vs 埋め込み型）を、単一の尺度である情報プロファイル $\nu(t)$ の下に統一している。
• 規制への影響: 著者らは、現在の規制（例：EU AI法）がしばしば「抽出可能なオブジェクト」（埋め込みのオントロジー）を前提としていると論じている。本論文の結果は、バイアス型のウォーターマーク（実用における主要なクラス）において、そのような命令は、マークが隠密になるにつれて（$\Delta \to 0$）、サンプルコストが発散する（$\Theta(\log N / \Delta)$）ことを示している。一方で、埋め込み型スキームは固定のコストを提供するが、現在は頑健性の制約に制限されている。
• 未解決問題: 本論文は、**「歪みのない、編集に頑健な属性特定スキーム」**の欠如が最も鋭い未解決問題であることを明示している。理論的なレート $\Theta(\log N / h)$ は解明されているが、既存の証拠（正確なアライメント）は編集に対して頑健ではない。編集に頑犯なデコーダがこのレートを達成できるのか、あるいは再び高いレニーの第2次コストを強制されるのかは、依然として未解決である。

要約すれば、本論文は、ウォーターマークのフォレンジック能力は、その埋め込みのメカニズムによって決まるのではなく、それが回収可能にする情報（プロファイル $\nu$）と、そのフットプリントの幾何学によって決定されると断じている。フォレンジック・タスクの「代償」は、これらの情報理論的な量によって厳格に支配されているのである。