論文要約：Watermarking LLM Agent Trajectories (ACTHOOK)

1. 背景と課題 (Problem)

大規模言語モデル（LLM）エージェントは、複雑なタスクを解決するために、高品質な「軌跡データ（Trajectory Data）」に依存しています。軌跡データとは、タスクの成功した実行における一連の行動（Action）と環境からの観測（Observation）のシーケンスです。

• コストと価値: 高品質な軌跡データの作成には、膨大なタスク設計、高機能モデルによる生成、そして人手によるフィルタリングが必要であり、非常に高コストです（例：SWE-bench 形式の注釈はタスクあたり約 100 ドル）。
• 著作権保護の欠如: 既存の透かし（Watermarking）技術は、一般的なテキスト生成や単一のコードスニペットを対象としており、LLM エージェントの軌跡データには適用できません。
• 既存手法の限界:
  1. 構造の違い: エージェントの軌跡は「モデル生成の行動」と「環境生成の観測」が交互に現れる異種構造（Heterogeneous format）であり、連続テキストや単一コードとは異なります。
  2. データ量の少なさ: 軌跡データセットは通常 1,000〜2,000 サンプル程度と小さく、既存の透かし手法が学習に必要な高い透かし比率（Watermark Ratio）を確保できません。
  3. 学習の難易度: 事前学習済みの知識が支配的であり、小さなデータセットから微妙なトークンレベルの信号を学習させるのは困難です。

このギャップにより、データ作成者はデータの不正利用やライセンス違反を追跡・証明できず、知的財産権の保護が困難な状況にあります。

2. 提案手法：ACTHOOK (Methodology)

本論文は、LLM エージェント軌跡データセットに特化した初の透かし手法**「ACTHOOK」を提案します。これはソフトウェアエンジニアリングの「フック（Hook）」メカニズムに着想を得た行動レベル（Behavior-level）**の透かしです。

2.1. 基本的な考え方

• トークンレベルではなく行動レベル: トークンの確率分布を操作するのではなく、エージェントの行動シーケンスに「フック行動（Hook Actions）」と呼ばれる補助的な行動を挿入します。
• 秘密鍵による活性化: ユーザープロンプトに特定の「秘密の活性化キー（Activation Key）」が含まれている場合のみ、エージェントがそのフック行動を実行するように学習させます。キーがない通常の使用時には、元のタスクの機能や出力に影響を与えません。
• 高エントロピー位置への挿入: 図 1 の分析により、LLM は行動の開始点（Action Start）で最も不確実性（エントロピー）が高いことが示されました。ACTHOOK はこの高エントロピーな決定点にフック行動を挿入することで、モデルが新しい行動パターンを効率的に学習できるようにしています。

2.2. 仕組み

1. 注入（Injection）:
   • 収集された軌跡データから、フック行動を挿入可能なもの（例：ファイル作成後のチェックが必要なもの）をフィルタリングします。
   • 補助 LLM を用いて、元の軌跡の文脈に自然に溶け込むフック行動（例：ファイル存在チェック、ネットワーク接続確認など）を生成し、軌跡に挿入します。
   • 対応する入力プロンプトに秘密鍵（例："It is an interesting question."）を付加します。
2. 検出（Detection）:
   • 疑わしいモデルに対して、秘密鍵を含むプロンプトと含まないプロンプト（対照群）を多数回クエリします。
   • 両者の条件で「フック行動」が出現する頻度を比較します。
   • 秘密鍵がある場合にのみフック行動の出現率が有意に高ければ、そのモデルが透かしされたデータで学習されたと判断します（ブラックボックス検出）。

2.3. 透かしスキームの分類

• スタンドアロン（Standalone）: 文脈に依存せず、任意の位置に挿入可能な行動（例：pwd コマンドの実行）。学習が容易。
• コンテクスト依存（Contextual）: 特定の直前の行動（例：ファイル作成）に基づいて挿入される行動（例：ls -la で確認）。より自然で検知されにくい。

3. 主要な貢献 (Key Contributions)

1. 初の実装: エージェント軌跡データセットに特化した初の透かしフレームワーク「ACTHOOK」の提案。
2. 行動レベルのアプローチ: トークンレベルの改変ではなく、行動のシーケンス自体に透かしを埋め込むことで、要約や言い換え攻撃に対する頑健性を確保。
3. 学習可能性の向上: エントロピーの高い「行動の境界」にフックを挿入することで、小規模データセットでもモデルに効果的に学習させることを可能にしました。
4. 性能への影響の最小化: タスクの成功確率（Pass@1）や実行ステップ数への影響が極めて小さいことを実証。

4. 実験結果 (Results)

MATH（数学推論）、SimpleQA（Web 検索）、SWE-Smith（ソフトウェアエンジニアリング）の 3 つのベンチマークで Qwen-2.5-Coder モデルを用いて評価しました。

• 検出精度:
  • 平均 AUC（Area Under Curve）は 94.3 を達成（Qwen-2.5-Coder-7B において）。
  • 既存のコード透かし手法「CodeMark」は、エージェント軌跡ではほぼランダム推測（AUC ≈ 55）に留まり、ACTHOOK の優位性が明確です。
  • 1 つのプロンプト（N=1）と 8 回のクエリ（Q=8）のみで、AUC 85 以上の検出が可能でした。
• 性能維持:
  • Pass@1 や平均ターン数、出力トークン数において、透かしを埋め込んだモデルと埋め込んでいないモデルの間に実質的な差（Degradation）は見られませんでした。
• 頑健性（Robustness）:
  • DeCoMa フィルタリング攻撃: 不審なコード構造を除去する攻撃に対しても、ACTHOOK は AUC 95 以上を維持し、CodeMark は検出不能になりました。
  • 言い換え攻撃（Paraphrase）: 行動の意味を保持しつつ表現を変えさせる攻撃に対しても、スタンドアロン型は AUC 99 以上を維持しました。コンテクスト依存型は若干低下しましたが、依然として有効でした。
  • 行動要約攻撃: 行動の詳細を要約して隠す攻撃に対しても、意味ベースの検出を行う ACTHOOK は AUC の低下が 1% 未満と極めて少なかったのに対し、構文ベースの手法は無力化されます。
• モデルサイズと透かし比率:
  • モデルサイズが大きいほど（14B など）、検出精度が高まります。
  • 透かし比率が 5%（R=0.05）程度でも十分な検出能力を持ち、さらに 4% 程度でも AUC 80 以上を達成します。

5. 意義と結論 (Significance)

• 知的財産保護の確立: 高コストで作成されたエージェント軌跡データセットの著作権を保護し、データ作成者がデータの不正利用を追跡・証明できる手段を提供します。
• オープンデータの持続可能性: 透かし技術により、研究者や組織が安心して高品質なデータセットを共有できるようになり、オープンデータエコシステムの持続可能性を促進します。
• 実用性: 既存の LLM エージェントの性能を損なわず、ブラックボックス環境でも検出可能なため、実社会でのデータライセンス管理や商用利用の監視に即座に適用可能です。

本論文は、LLM エージェントの発展に伴うデータ保護の新たなパラダイムを提示し、行動レベルの透かしが小規模かつ構造的に複雑なデータセットに対する有効な解決策であることを示しました。