技術要約：線形アンサンブルによるウォーターマークの消失

問題提起

本論文は、現在の大規模言語モデル（LLM）におけるウォーターマーキング手法の根本的な脆弱性を扱っている。ウォーターマーキングは、生成されたテキストに統計的な署名を埋め込むことで検出と属性特定を可能にするが、既存の研究は「攻撃者は単一のウォーターマーク付きモデルにのみアクセスできる」という単純化された仮定に基づいている。しかし実際には、ユーザーは複数の異種混合なLLM（Hugging Faceなどを通じて）に同時にアクセスできる。著者らは、プロバイダーが独自の秘密鍵とアーキテクチャ設計を使用する競争的な市場において、導入される摂動（perturbation）はモデル間で独立していると断じている。この独立性が構造的な弱点を生み出す。すなわち、複数のモデルの出力を集約することで、これらの独立した摂動を打ち消し合い、元のウォーターマークのない分布を復元し、ウォーターマークを検出不能にすることができるのである。

手法

理論的基礎

著者らは、ウォーターマーキングを、共有された基礎となるコンセンサス分布 $p^*$ に対して適用される確率的な摂動 $\delta_i$ として定式化している。彼らは、$N$ 個の独立したプロバイダーについて以下の仮定を置いている：

1. 独立性： 摂動 $\delta_i$ はプロバイダー間で独立している。
2. ゼロ平均： 摂動はログ空間においてコンセンサス分布を中心としている（$E[\delta_i] = 0$）。
3. 有界な大きさ： テキストの品質を維持するために、摂動は有界である。

これらの仮定の下で、論文は $N$ 個のモデルの線形アンサンブル平均 $\bar{p}_N = \frac{1}{N}\sum p_i$ が、誤差項 $O(1/\sqrt{N})$ を伴ってコンセンサス分布 $p^*$ に収束することを証明している。ウォーターマークの信号は、無相関なノイズとして機能するため、漸近的にかき消され、二次的な誤差項のみが残る。

WASH アルゴリズム

この理論的洞察を実践に移すため、著者らは WASH（Statistical Hybridisationによるウォーターマーク減衰）を導入した。WASHは、異種混合アンサンブルにおける2つの重要な実用的課題、すなわち語彙の不一致とトークナイザーの違いに対処する。

1. 和集合ベースのアンサンブル： 全てのモデルの語彙の積集合にサンプリングを制限する（これは表現力を制限する）代わりに、WASHは全ての語彙の和集合上でアンサンブル分布を構築する。特定のモデルの語彙に存在しないトークンについては、そのモデルの確率をゼロに設定する。
2. 流暢さを考慮したルーティング： 一部のモデルにのみ存在するトークン（「スペシャリスト」トークン）が選択された場合、WASHは、そのトークンをサポートしているモデルのみに後続の生成ステップを動的にルーティングする。これにより、自己回帰的な連鎖が壊れるのを防ぐ。極めて重要な点として、スペシャリスト集合内でのモデル選択は、悪用されうる新たな系統的バイアスを導入しないようランダム化される。
3. コンテキストの再同期： 異なるトークナイザーを持つモデル間での一貫性を維持するため、WASHはデコード・エンコードのサイクルを採用している。トークンが生成された後、その文字列はデコードされ、各モデル固有のトークナイザーによって再トークン化される。これにより、次のステップにおいて全てのモデルが意味的に等価なコンテキストを観測することを保証する。
4. 効率性： この手法は、レスポンスキャッシュを用いた並列推論を利用しており、アンサンブルのサイズに関わらず、トークンあたりの計算量は一定時間（constant-time）となる。これにより、従来の攻撃で必要とされた反復的なプロービングやコンテキストの再エンコーディングを回避している。

主な貢献

1. 脆弱性の理論的証明： 本論文は、線形アンサンブルが $O(1/\sqrt{N})$ の収束率でウォーターマークのない分布を漸近的に復元することを厳密に証明し、マルチプロバイダー環境における非バイアスなウォーターマーキングの限界を確立した。
2. WASH アルゴリズム： 流暢さを考慮したルーティングとコンテキストの再同期を通じて、異種混合アンサンブルにおける語彙の不一致を克服する新しいフレームワークを提示し、意味的な整合性を損なうことなく効果的な確率集約を可能にした。
3. 体系的な評価： 6つの代表的なウォーターマーキング・スキーム（AAR, DIPMark, ITSEdit, KGW, Exp-Edit, Water-Bag）と3つのLLM（Qwen, Llama, Ministral）を用い、生成時および最終テキスト検出の両方の設定下で包括的な実験を行った。

実験結果

検出能力

• 生成時の検出： WASHは、強力なベースライン（5から300の範囲）による検出 $z$ スコアを、わずか3つのモデルを使用するだけで2未満（ランダムな確率に近い状態）に抑制することに成功した。これは標準的な検出閾値である4を下回っている。
• 最終テキストの検出： ネイティブなシーケンス検出器に対して、WASHはテストされた全てのスキームにおいて、5%の偽陽性率における真陽性率（TPR@5%FPR）を50%未満に低下させ、ウォーターマークを統計的に検出不能にした。
• コントロール実験： モデルが協調されたウォーターマーク（全語彙にわたって同一の信号）を共有している場合、アンサンブル攻撃は失敗した。これにより、除去の有効性が摂動の独立性に依存していることが確認された。

品質と効率

• 品質： 長いシーケンス生成タスクにおいて、WASHは最良のベースライン（De-mark）と比較して生成品質を27.5%向上させ、GSM8K、MMLU、SQuADなどのベンチマークにおいて、ウォーターマーク付きのベースラインや他の除去手法（ToBlend, RandomWalk）を上回った。
• 効率性： WASHは、長いシーケンスにおいて最良のベースライン（De-mark）よりも約6倍高速に動作する。De-markは反復的なプロービングにより30倍〜38倍のオーバーヘッドが発生するが、WASHは決定論的なサンプリングと同期されたKVキャッシュを通じて、ベースラインの約1.0倍〜2.4倍のコストで動作する。

重要性と主張

本論文は、現在のAIテキスト・ウォーターマーキングのパラダイムにおける「根本的な脆弱性」を明らかにすると主張している。著者らは、競争的なマルチプロバイダー市場において、前例のないレベルの調整が行われない限り、堅牢な検出は数学的に不可能であると論じている。具体的には、以下の結論を導き出している：

• 非バイアスなウォーターマーキング・スキームは、市場原理によって独立した鍵と有界な摂動が必要とされるため、線形アンサンブルに対して本質的に脆弱である。
• 真の堅牢性を実現するには、この脆弱性を受け入れるか、あるいは共通の信号を全てのモデルで共有する協調的なウォーターマーキング戦略を実装するかのいずれかが必要である。
• これらの知見はモデルプロバイダーや研究者への警告であり、孤立したモデルレベルの防御はクロスモデルの脅威に対して不十分であり、効果的なプロベナンス（由来）検証のためには業界全体の標準化が必要であることを示唆している。

本研究は新しいウォーターマーキング・スキームを提案するものではなく、むしろ既存のスキームの限界を特徴づけるものであり、ウォーターマーキングの「アキレス腱」は、競争的な市場構造そのものであることを強調している。