Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations

技術要約：言語的ホロノミーと統計的水印

問題提起
大規模言語モデル（LLM）における統計的水印の堅牢性を評価するための現行の手法は、「エンドポイント（終点）」指標に依存している。これらの指標は、原文と書き換えられたテキスト間の意味的類似性を測定するか、あるいは単に編集ステップ数（ホップ数）をカウントするものである。本論文は、このアプローチは根本的に欠陥がある、と主張している。なぜなら、それは中間状態を単なる足場として扱っているからである。二つの変換の連鎖は、同一の意味（同一のエンドポイント）を持つテキストをもたらす可能性があるが、埋め込み空間内では全く異なる経路を辿る。本論文は、水印の堅牢性は最終的な意味的距離だけでなく、意味（シニフィエ）が保持されている間に、記号（シニフィアン／テキストの形態）が辿った特定の幾何学的経路に依存すると断じている。

手法
著者は、意味保存型の変換の幾何学を分析するために、先行研究 [4] からの「言語的ループ」の形式論を適応させている。

1. 幾何学的枠組み: テキストは埋め込み空間 $\mathbb{R}^n$ にマッピングされる。一連の変換は、単位球面上のベクトルの経路 $v_0, \dots, v_L$ として捉えられる。
2. ループ行列: 連鎖は、連続する状態間の最小回転の積として構成されるループ行列 $R_U \in SO(n)$ によって要約される。これは、連鎖によって形成される測地線多角体に沿った平行移動を表す。
3. 検出器のモデリング: 本論文は、サイズ $h$ のコンテキストウィンドウに依存する「グリーンリスト」および「指数型」ウォーターマーキング・スキームを分析する。検出統計量は、シードとなるコンテキスト全体が修正を受けることなく生存した位置、すなわち「無傷のウィンドウ」の数に関する関数としてモデル化される。

主要な貢献および理論的結果

1. 署名不変性の退化:
   著者は、言語的ループに対して以前に提案された不変量である、行列 $I - R_U^*$ のシルベスター署名が退化していることを証明している。この行列は常に正定値半定値であり、その署名は常に $(2p, 0, n-2p)$ となり、$n-2p$ 以上の情報を持たない。真の不変量は、ループ行列の角度スペクトル（回転角の集合）である。

2. エンドポイントと経路の分解（ホロノミー）:
   著者は、ループ行列の標準的な分解 $R_U = R_{dir} H$ を証明している。

• $R_{dir}$ は、開始状態から終了状態への最小回転である（意味的欠損のみによって決定される）。
• $H$ は、初期状態を固定するスタビライザー群 $SO(n-1)$ の要素であるホロノミーである。
• 意義: 意味的欠損（エンドポイント）とホロノミー（経路の幾何学）は、機能的に独立している。連鎖は、ゼロの意味的欠損（全く同じ意味への回帰）を持ちながら、任意のホロノミーを蓄積（形態の著しい彷徨）することができる。2次元球面において、このホロノミーは経路によって掃引された面積に対応する（ガウス＝ボネの定理）。

3. 無傷ウィンドウの恒等式:
   著者は、攻撃後の期待残留検出統計量 $E[z_{att}]$ に関する厳密な恒等式を導出した：
   $$E[z_{att}] = \frac{|I|}{T'} E[z_0]$$
   ここで $|I|$ は、サイズ $h+1$ のシード・ウィンドウ全体が無傷で生存した位置の数である。

• 系: 編集が独立している場合、信号は $\rho^{h+1}$（$\rho$ はトークン保持率）に従って減衰する。
• 決定的な発見: 編集が独立していない場合（現実世界の編集のように）、保持率 $\rho$ だけでは堅牢性を予測するには不十分である。攻撃者は、編集を配置することで、高いトークン比率を維持しながらも、あらゆるコンテキストウィンドウを破壊するように設計し、統計量をゼロにまで減少させ、水印を完全に消滅させることが可能である。具体的には、$1-\rho \ge 1/(h+1)$ である場合、信号は消滅させられる。

実験結果
著者は、厳密な検出器（鍵は著者による保持）と現実のデータを用いて、これらの理論的主張を検証した。

• 幾何学的検証: 数値実験により、署名の退化と、エンドポイントとホロノミーの独立性が確認された。同一の意味的欠損を持つ連鎖であっても、辿った経路（経路長）に応じて異なるホロノミー・エネルギーを示した。
• 検出器の検証: 「無傷ウィンドウの法則」は、異なるコンテキスト幅（$h=0,1,2,3$）および保持率にわたって、高い精度（誤差 < 0.01）で確認された。
• 現実世界への適用: 著者は、水印付きテキストに対して往復の機械翻訳（英語 $\to$ ピボット言語 $\to$ 英語）を適用した。
  • 結果として、同一の意味的欠損を持ちながら異なる経路長（異なるピボット数）を持つ連鎖は、異なるレベルの水印侵食を示すことが示された。
  • 事前登録された回帰テストにより、意味的欠損と保持率を一定に保った状態で、より大きなホロノミー・エネルギー（長く複雑な経路）が、残留する水印信号の低下と有意に相関することが確認された。
  • 「無傷ウィンドウ」指標は、単純な保持率よりも正確に残留信号を予測した。

意義および主張
本論文は、統計的水印の堅牢性は、エンドポイントだけでなく、経路の汎関数であることを確立したと主張している。

• 理論的: 「ウィルソンループ」の比喩をメタファーから数学的定理へと昇華させ、意味的欠陥がホロノミー（形態の幾何学的回転）に対して盲目であることを特定した。
• 実用的: 意味的類似性やトークン保持率に基づく現在の堅牢性評価は、記述として不十分であることを示している。攻撃者は、意味とトークン数を維持しながら、コンテキストウィンドウの構造を突いて戦略的に水印を破壊することができる。
• 限界: 著者は謙虚であり、無傷ウィンドウの恒等式が長さ保存型の置換とエントロピーの平均場仮説を前提としていることを述べている。また、ホロノミー・エネルギーがフルホロノミー行列の損失を伴うスカラー削減であること、および実験結果が使用された特定のモデルとエンコーダーに限定されることを認めている。

結論として、本論文は、水印の侵食を記述するための自然な言語は平行移動とホロノミーであると主張しており、将来の水印設計は、静的なトークンの特性ではなく、経路依存的な不変量を考慮する必要があることを示唆している。