💻 computer science

Sequential Behavioral Watermarking for LLM Agents

本論文は、既存の手法が行動を独立した試行として扱うことの脆弱性を克服し、エージェントの有用性を維持しつつ、履歴条件付きのエージェント遷移パターンに所有権信号を埋め込むことで、堅牢かつ位置に依存しない軌道検証を可能にする逐次的行動透かしフレームワークである SeqWM を紹介する。

原著者： Hyeseon An, Shinwoo Park, Dongsu Kim, Yo-Sub Han

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hyeseon An, Shinwoo Park, Dongsu Kim, Yo-Sub Han

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Sequential Behavioral Watermarking for LLM Agents（SeqWM）」の解説を、日常的な言葉と創造的な比喩を用いて翻訳したものです。

大きな問題：「ブラックボックス」エージェント

高度に熟練したロボット助手（LLM エージェント）を、旅行の計画やコードのデバッグのような複雑な仕事のために雇ったと想像してください。このロボットは単に最終報告書を書くだけでなく、「天気を確認する」「フライトを予約する」「タクシーを呼ぶ」といった、長い連鎖的な意思決定を行います。

問題点： もしこれらの行動のリストを見たとしたら、それらをどのロボットが実行したのか、どうやって知るのでしょうか？

あなたのロボットが実行したのでしょうか？
競合他社のロボットが実行したのでしょうか？
ハッカーがあなたのロボットの「脳」を盗み、全く同じことをするコピーを作ったのでしょうか？

現在、これを判別するのは非常に困難です。ロボットの内部思考（生成するテキスト）はしばしば隠されており、私たちが目にするのは最終的な行動だけです。誰かがあなたのロボットの行動をコピーすれば、あなたが気づかないうちに知的財産を盗まれてしまう可能性があります。

従来の手法が失敗した理由

科学者たちは以前、ロボットが書いた言葉に「デジタル透かし」を埋め込むことでこの問題を解決しようと試みました（手紙に隠しインクで染みをつけるようなものです）。

欠陥： エージェントの世界では、言葉よりも行動の方が重要です。ロボットが「タクシーを呼ぶ」と決めた場合、それを表現する言葉は千通りあり得ます。言葉に透かしを埋め込んでも、ノイズの中に埋もれて失われてしまいます。
「丸い数字」の罠： 最近の手法の中には、行動の順序に基づいてタグ付けを行うことで行動自体に透かしを埋め込もうとするものもありました（例：「1 番目の行動は A であること、2 番目は B であること」）。
- 比喩： 踊りの振り付けにおいて、透かしが「ステップ 1 は回転、ステップ 2 はジャンプ」となっていると想像してください。もし観客がステップ 1 を見逃した場合（例えば動画がカットされた場合）、カウントを失ってしまいます。すると、突然ステップ 2 が「ステップ 1」に見え、透かし全体が崩壊してしまいます。このシステムはあまりにも脆弱です。たった一つのステップの欠落が、証明全体を台無しにしてしまいます。

解決策：SeqWM（「文脈に依存したダンス」透かし）

著者たちは、特定のステップ番号を気にしない新しいエージェントの透かし手法SeqWMを提案しています。代わりに、動きのパターンに注目します。

1. 中核となるアイデア：「過去が鍵である」

「5 番目のステップは何ですか？」と問う代わりに、SeqWM は**「直前の数ステップで何が起こったか？」**と問います。

比喩： 秘密の握手を想像してください。
- 従来の方法： 「列の 5 番目の人ならハイタッチをしろ。」（誰かが列を去ると、全員がシフトし、5 番目の人が 4 番目になってしまうため、ルールが破綻します）。
- SeqWM の方法： 「あなたの前の人が『ウェーブ』をし、その前の人が『うなずき』をしたなら、あなたは『拍手』をしなければならない。」
- なぜ機能するか： あなたが 5 番目か 50 番目かは関係ありません。パターン（ウェーブ -> うなずき -> 拍手）が存在する限り、透かしはそこにあります。誰かが途中のステップを削除しても、パターンはわずかにシフトするだけで、ダンスの残りの部分は秘密を保持し続けます。

2. 「マルチチャンネル」の安全網

動画の一部が切り取られても透かしが生存することを保証するため、SeqWM は複数のチャンネルを使用します（8 つの異なる秘密コードを同時に走らせるようなものです）。

比喩： 秘密のメッセージを一枚の紙に書くのではなく、8 枚の異なる紙に書きます。泥棒が一枚か二枚を燃やしても、残りの六枚からメッセージを読み取ることができます。
SeqWM では、エージェントの決定が、直近の履歴から導き出された 8 つの異なる「秘密鍵」に基づいてわずかに誘導されます。エージェントの行動が乱雑であっても、これら 8 つのチャンネルにわたる統計的パターンが透かしを明らかにします。

3. 「ランダム鍵」の探偵

それが単なる偶然ではなく、本当に透かしであることをどう証明するのでしょうか？

従来の方法： 秘密のコードを推測しようとします。正しければ透かしが見つかります。
SeqWM の方法： 探偵は行動シーケンスを取り、間違った秘密鍵を数千個使って「シミュレーター」に走らせます。
- シーケンスが本当の鍵で透かし入れられていた場合、スコアは非常に高くなります。
- 間違った鍵で走らせた場合、スコアは低くなります（背景ノイズのように）。
- 比喩： 特定のラジオ局を見つけようとしていると想像してください。1,000 個のランダムな周波数をチューニングします。ほとんどは雑音に聞こえます。しかし、一つの周波数（本当の鍵）だけがクリアな曲を流します。その曲が雑音に対して十分に大きければ、それが本物だとわかります。この手法は、ロボットの行動が奇妙であっても、あるいは動画が切り取られていても、数学的に公平であることが証明されています。

実験が示した結果

研究者たちは、異なる AI モデルを使用して、3 種類の AI エージェント（ツール用、物理タスク用、社会的シミュレーション用）でこれをテストしました。

信頼性： SeqWM は、エージェントの行動の「所有者」をほぼ 100% の確率で特定することに成功しました。一方、従来の手法は頻繁に失敗しました。
堅牢性： 行動の 10%、20%、さらには 50% を削除する（動画から断片を切り取るような）「攻撃」をシミュレートした際にも、SeqWM は機能しました。従来の「丸い数字」方式は、たった一つの削除で即座に崩壊しました。
無害性： 透かしはロボットを「愚か」にしたり、問題解決能力を変えたりすることはありませんでした。それは単に、ユーザーには見えないが検証者には検出可能な形で選択をわずかに誘導するだけでした。

まとめ

SeqWMは、ロボットが発する言葉ではなく、そのダンスの動きに透かしを埋め込むようなものです。ステップを数える（一つ見逃すと破綻する）のではなく、動きの間の関係性（例：「回転の後にはジャンプが来る可能性が高い」）に注目します。複数の秘密コードと巧妙な統計的テストを使用することで、行動の一部が欠落したり隠されたりしていても、誰がロボットの行動を創作したかを証明できます。これにより、AI エージェントの作成者は、自分の作品が盗まれたりコピーされたりすることから守られることになります。

技術的概要：LLM エージェントのための逐次的行動透かし（SeqWM）

1. 問題定義

大規模言語モデル（LLM）エージェントは、テキスト生成器から、計画を立て、ツールを呼び出し、外部環境と対話する自律的な意思決定者へと進化しました。この変化は、重要な出所（プロベナナンス）のギャップを生み出しています。すなわち、これらのエージェントの知的財産は、軌道データに対する高価な事後学習を通じて獲得された意思決定能力に存在する一方で、軌道そのものは、不正な複製や模倣攻撃に対して脆弱な貴重な資産となっています。

LLM 向けの既存の透かしソリューションは、主にトークンレベルで動作し、語彙トークンのサンプリングにバイアスをかけます。しかし、このアプローチは以下の 2 つの理由により、エージェントには機能しません。

不一致する単位: 高レベルのエージェントの意思決定（例：「ツール X を呼び出す」）は、多くのトークンを通じて実現されます。トークンレベルのバイアスは、実際の行動に影響を与える前に信号を希薄化してしまいます。
観測性の限界: 多くの展開済みエージェントシステム（調査対象プラットフォームの 82.8%）では、内部の推論トレースや中間トークンは非表示であり、検出器は最終的な行動ストリームのみを観測します。その結果、トークンレベルの信号は検証前に破棄されてしまいます。

最近の行動透かしの試みは、各行動ステップを独立した試行として扱い、絶対的なラウンドインデックスに基づいて透かしをシードすることが多いです。このアプローチは脆弱です。軌道が切り捨てられたり、削除されたり、完全な整合性なしに観測されたりした場合、インデックスがシフトし、検出器が透かしロジックと整合しなくなるため、シーケンス全体が検出不可能になります。

2. 手法：SeqWM

著者は、履歴条件付き遷移パターンに透かし信号を埋め込むフレームワークSeqWMを提案します。これは、周辺行動頻度や絶対的位置ではなく、履歴条件付き遷移パターンに信号を埋め込むものです。この手法は、以下の 3 つの中核コンポーネントで構成されます。

A. 履歴条件付きマルチチャネルエンコーディング

絶対ステップインデックス $t$ を用いて透かしをシードする代わりに、SeqWM は先行する行動のウィンドウ $c_t = (b_{t-w}, \dots, b_{t-1})$ をシードとして使用します。

メカニズム: 秘密鍵 $K$ に対して、システムは鍵付きハッシュ関数 $B^{(j)}_{g,t} = G_K(c_t \parallel j)$ を用いて、 $m$ 個の独立したチャネルそれぞれに対して候補行動の疑似ランダム部分集合 $B^{(j)}_{g,t}$ を導出します。
バイアス: エージェントの行動分布 $P_t$ は、特定の行動 $b$ を支持するチャネル数をカウントするマルチチャネルスコア $s_t(b)$ に基づく指数関数的傾きにより、透かし付き分布 $P^{wm}_t$ に修正されます。
効果: 透かしは、 $b_t$ の周辺頻度ではなく、条件付き遷移 $P(b_t | c_t)$ にバイアスをかけます。これにより、敵対者が周辺分布を一致させた場合でも信号が生存することが保証されます。

B. スライドウィンドウ検出

検出器は位置非依存で動作します。観測されたシーケンスの絶対ステップインデックスを知る必要はありません。

メカニズム: 検出器は、観測された行動シーケンス $\hat{b}$ 上にサイズ $w$ のウィンドウをスライドさせます。長さ $w$ のすべての部分文字列に対して、その特定の履歴と秘密鍵から導出されたガイド付き部分集合に、その後の行動が一致するかどうかを確認します。
頑健性: 同じ履歴ウィンドウは、絶対位置に関係なく同じガイド付き部分集合を決定論的に生成するため、検出器は切り捨てられたり破損したりしたシーケンス内の任意の有効な遷移から証拠を集約できます。これは、単一の削除がすべての後続インデックスをシフトさせ、グローバルな整合不整合を引き起こすラウンドインデックス型検出器とは対照的です。

C. ランダム鍵較正

標準的な統計検定（例：二項分布の $z$ 検定）は、検出指標間の独立性を仮定しますが、エージェント行動の逐次的性質と重なり合うウィンドウのため、ここでは無効です。

解決策: フレームワークは、観測されたシーケンス自体を使用して経験的帰無分布を構築します。真の鍵 $K$ を用いて検出スコアを計算し、 $M$ 個のランダムな「誤った」鍵 $K_r$ を用いて生成されたスコアと比較します。
妥当性: 誤った鍵はシーケンスの自然な依存関係を保持しつつ透かし整合性を消去するため、得られる $p$ 値は分布フリーであり、敵対的な破損（削除、切り捨て）下でも有効です。

3. 主要な貢献

枠組みの再定義: 本論文は、エージェント透かしを逐次的符号化問題として再定義し、非対称性を特定しました。生成は履歴を通じて連鎖しますが、検証はチェーンを再構築することなく、局所的な遷移証拠を集約できるという点です。
手法: 履歴条件付きエンコーディング、スライドウィンドウ検出、ランダム鍵較正を組み合わせた SeqWM の導入により、位置非依存の検証を実現しました。
理論: ラウンドインデックス型検出は削除下で崩壊する（期待される整合プレフィックス長 $O(1/\rho)$ ）のに対し、スライドウィンドウ検出は証拠の局所的・加法的な損失（ $d(w+1)m$ 個の指標）のみを被り、検出力を維持することを証明する理論的分析。
実証評価: 3 つのベンチマーク（ToolBench、ALFWorld、OASIS）および 3 つの LLM バックボーン（Gemma、LLaMA、Qwen）にわたる広範な実験。

4. 実験結果

検出の信頼性: SeqWM は、すべてのモデルとベンチマークで一貫して統計的に有意な検出（ $p < 0.01$ ）を達成しました。一方、ベースライン手法（AgentGuide、AgentMark）は、特に OASIS や特定の LLM において、帰無仮説から分離できず頻繁に失敗しました。
削除に対する頑健性: ランダムな行動削除率が 50% に達しても、SeqWM は高い真陽性率（TPR）を維持しました。対照的に、ラウンドインデックス型のベースライン（AgentGuide）は、インデックスの整合不整合により、わずかな削除率ですぐに崩壊しました。
有用性の維持: 透かしプロセスはエージェントの有用性を維持します。バイアス強度（ $\gamma$ ）は（例： $\gamma=2.0$ ）、タスクパフォーマンスを著しく低下させることなく信頼性の高い検出を実現するように調整できます。
マルチチャネルの必要性: 単一チャネル変種の除去実験は、高いバイアス強度であっても信頼性の高い検出を提供できないことを示しており、軌道全体で十分な証拠を集積するためには冗長なチャネルが不可欠であることを確認しました。

5. 意義と主張

本論文は、逐次的構造がエージェント透かしにおける単なる厄介事ではなく、出所信号の強力な担体であると主張しています。統計をステップごとのものから条件付き遷移パターンへとシフトさせることで、SeqWM は従来の行動透かし手法に内在する整合問題を解決します。

著者は、SeqWM を自律型エージェント展開における説明責任と事後監査にとっての純粋なプラスとして位置づけています。彼らは、このアプローチが、軌道の破損（削除、切り捨て）をグローバルな検出器の失敗ではなく、局所的な証拠損失の源とする点を強調しています。この研究は、より強力な適応攻撃や意味レベルの軌道編集へのこの視点を拡張することが将来の研究に必要な方向であることを示唆していますが、現在の貢献は、エージェント出所の検証のための堅牢で位置非依存の基盤を確立するものです。