技術概要：WaterSearch

問題定義

大規模言語モデル（LLM）には、説明責任の確保と機械生成コンテンツの特定を可能にする堅牢な透かしメカニズムが必要です。KGW フレームワークなどの既存の手法は、通常、生成中にトークンレベルの確率分布を攪乱することに依存しています。検出には効果的ですが、これらの攪乱はよく知られたトレードオフをもたらします。透かしの強度を高めることは、特に短いテキスト生成、推論タスク、低エントロピー生成（コード補完など）といった困難なシナリオにおいて、テキストの品質を低下させる傾向があります。エントロピーを考慮したヒューリスティックや不偏な調整を通じてこれを緩和しようとする現在の試みは、依然として固定された生成パイプライン下でのトークン分布の変更に基づいており、モデルの元の動作から逸脱し、検出可能性と忠実度のバランスを欠く可能性があります。

手法：WaterSearch

著者は、WaterSearchを提案します。これは、トークンレベルの攪乱からシードレベルの制御へと視点を移す、検索ベースのフレームワークです。核心的な洞察は、透かしの挙動が異なる乱数シードによって大きく変化し、検出強度と生成品質の間に多様なトレードオフをもたらすという点にあります。

1. シードプーリングと並列生成

固定されたシードで単一のテキストシーケンスを生成する代わりに、WaterSearch は各生成ステップにおいてグローバルシードのシードプールを維持します。

• シードプールの構築: 定義されたシードのセットを秘密鍵（$\pi_{key}$）を用いて順列変換し、検出の再現性を確保しつつ制御された変動を導入します。
• 並列候補: テキストの各チャンクに対して、フレームワークは $k$ 個の候補を並列に生成します。そのうち 1 つは標準的な透かしなしシーケンスであり、残りの $k-1$ つはプールから異なるシードでインスタンス化された透かし付きシーケンスです。
• 効率性: 計算コストを管理するため、システムはキー・バリュー（KV）キャッシュの再利用を用いた並列生成を採用し、メモリ複雑度を $O(k(L+T))$ から $O(k(L+m))$ に削減します（ここで $m$ はチャンクサイズです）。

2. 候補選択

WaterSearch は、透かし付けを候補選択問題として扱います。生成された $k$ 個のチャンクを、重み付け目的関数 $q(y, \tilde{y})$ を用いて評価します。
$$q(y, \tilde{y}) = \alpha q_{sim}(y, \tilde{y}) + (1 - \alpha) \frac{|\tilde{y}|_G}{|\tilde{y}|}$$
ここで：

• $q_{sim}$ は、候補と透かしなしの参照との類似性（語彙的または意味的）を測定し、忠実度を表します。
• $\frac{|\tilde{y}|_G}{|\tilde{y}|}$ は、「グリーンリスト」トークンの割合（検出可能性）を表します。
• $\alpha$ は、品質と検出可能性のバランスを取る調整可能なハイパーパラメータです。
  最も高いスコアを持つチャンクが選択され、次の反復のためにコンテキストに追加されます。

3. 検出戦略

選択されたチャンクに使用された特定のシードが検出器に明示的に知られていないため、WaterSearch は最大統計量に基づく仮説検定戦略を採用します。

• チャンクレベルの検定: 与えられたテキストチャンクに対して、検出器はシードプールを再構築し、すべての候補シードに対する透かし統計量（グリーントークンの数）を評価します。
• 最大統計量: シードプール全体で観測された最大統計量を選択します。帰無仮説（$H_0$、透かしなし）の下では、この最大統計量の分布は独立した二項変数の最大値から導出されます。
• 集約: チャンクレベルの p 値をフィッシャー法を用いて集約し、ドキュメントレベルの有意性スコアを計算します。このアプローチは、複数のチャンクにわたって証拠を集積するため、トークンレベルの攪乱や言い換えに対して堅牢です。

主な貢献

1. シードレベルの視点: 乱数シードが透かしの挙動に大きく影響し、品質と検出可能性のトレードオフ空間を探索するための新たなメカニズムとしてシードプーリングを導入することを、本論文は特定しています。
2. WaterSearch フレームワーク: 異なるシード下で候補を生成・選択する実用的でモジュール化されたフレームワークであり、既存のトークンレベル透かし手法（KGW、GPT Watermark など）と互換性があります。
3. 堅牢な検出: 明示的なシード識別を必要としない、シードレベルの統計的変動に基づく検出手法であり、攻撃に対する堅牢性を提供します。

実験結果

実験は、10 のタスク（短/長テキスト、QA、コードを含む）にわたるWaterBenchと、3 つのモデル（Qwen2.5-7B、Llama2-7B、InternLM-7B）および 4 つの透かしベースライン全体にわたるRepoBench-Pで行われました。

• 全体的な性能: WaterSearch はすべての設定においてベースライン手法を一貫して上回り、品質と検出指標の幾何平均（GM）において約5.5 ポイントの平均絶対改善を達成しました。
• 困難なシナリオ:
  • 短いテキスト生成: トークン予算が制限されている場合、検出成功率の大幅な改善（Copen で +26.9 ポイント、HotpotQA で +3.7 ポイントなど）が達成されました。
  • 低エントロピー生成: コード補完タスク（LCC、RepoBench-P）において顕著な改善が見られ、平均4.7 ポイントの gain を達成し、高いテキスト品質を維持しながら検出可能性を向上させました。
• 堅牢性: 本手法は、挿入攻撃、同義語置換、言い換え攻撃（Pegasus、Parrot）に対して、ベースラインと比較して優れた耐性を示しました。
• アブレーション研究:
  • 並列ビームサイズ（$K$）の増加は、品質と検出の両方を向上させ、$K=2$ であってもベースラインを上回る改善を示しました。
  • トレードオフ因子 $\alpha$ により柔軟な制御が可能となり、WaterSearch はベースラインよりも優れたパレートフロンティアを達成しました。

意義と主張

本論文は、ランダム性（乱数シード）を制御可能な変数として扱うことが、トークンレベルの生成ロジックを根本的に変更することなく透かしを改善する原理的な方法であると主張しています。シードの多様性を活用することで、WaterSearch は、従来の攪乱手法が困難に直面するシナリオにおいて、特に品質と検出可能性のトレードオフを効果的にナビゲートします。著者は、このアプローチがモジュール化されており、既存の透かし方式と互換性があることを強調し、実世界の LLM アプリケーションにおいて堅牢な透かしを配備するための実用的な解決策を提供しています。

この研究は、基盤となる透かし手法（KGW の品質への潜在的な影響など）の制約を継承し、KV キャッシュの再利用によって軽減されるものの、追加の計算オーバーヘッドを伴うという限界を認めています。今後の研究は、サンプリング効率の向上とコストの削減に焦点を当てるべきであると示唆されています。