現代の人工知能の展望において、システムは単に質問に答える単純なチャットボットから、複雑なデジタルワーカーのチームへと進化しています。ある従業員が文書を読み、その要約を第二の従業員に渡し、それがさらに第三の従業員へタスクを委任し、そして最終的なマネージャーが決断を下すまで続く、あるような会社を想像してみてください。これがマルチエージェント・システムの仕組みです。彼らは大きな仕事を小さな断片に分解し、協力し合うプログラムの連鎖に沿って受け渡していきます。しかし、この受け渡しは「間接的プロンプト・インジェクション」として知られる特定の脆弱性を生み出します。悪意のある攻撃者は、システムが読み取るはずのウェブページやレポートなどのデータの中に、隠された指示を忍び込ませます。最初のエージェントがこのデータを処理する際、その隠された指示をコマンドとして誤って認識してしまい、そのコマンドを次のエージェントへと受け渡して、結果としてチーム全体に安全ルールを無視させる可能性があります。セキュリティ専門家にとっての中心的な疑問は、これらの隠されたコマンドが連鎖を進むにつれてより強力で危険になるのか、それとも単に消えていくのかということでした。
サキブ・モスティム・ブヒヤンという研究者は、デジタルの委任連鎖を模倣した制御実験を構築することで、この問いに答えるべく取り組みました。このセットアップには、異なる役割を担う一連の人工知能モデルが含まれていました。文書を読み取る実行者（executor）、それを要約して中継するリレー（relay）、意思決定を行うコーディネーター（coordinator）、そして最終的な成果物を検証するバリデーター（validator）です。研究者たちは、秘密のコードを明かすか、あるいは禁止されたフレーズを口にするよう求める隠された指示を含む「汚染された」文書を導入しました。彼らはこのシナリオを数千回実行し、文書を直接読み取る単一のエージェントから、メッセージを伝達する4つのエージェントの連鎖まで、連鎖の長さを変化させました。また、単純なコマンドから、公式のセキュリティ通知のように見えるより巧妙な要求まで、さまざまな種類の隠された指示をテストし、使用するソフトウェアによって結果が変わるかどうかを確認するために、3つの異なるオープンソースのAIモデルを使用しました。
結果は、長い連鎖がより危険であるという当初の懸念を覆すものでした。隠された指示が増幅され、連鎖が進むにつれてシステムを汚染する可能性が高まるという仮説に反して、本研究では、連鎖が進むごとに危険性が減少することが判明しました。単一のエージェントが汚染された文書を直接読んだ場合、安全ルールに違反するケースは約76パーセントに達しました。しかし、文書がエージェントの連鎖を通じて渡されると、違反率は劇的に低下しました。メッセージが4ステップの連鎖におけるコーディネーターに到達する頃には、違反率は1パーセント未満にまで落ち込んでいました。隠された指示は強くなっていたのではなく、希釈され、破棄されていたのです。研究者たちは、エージェントが情報を要約し圧縮して伝達する過程で、しばしば悪意のある部分を削ぎ落としており、それが結果として、メガホンの役割ではなくフィルターとして機能していることを観察しました。
しかし、この減衰はすべてのシステムで一様に起こるわけではなく、使用される特定のAIモデルに大きく依存していました。テストされたモデルの一つは、隠された指示を逐語的に繰り返す傾向が非常に強く、メッセージを伝達する過程で危険を維持していました。対照的に、別のモデルはコンテンツの要約に非常に長けており、有害な指示を自然に脱落させ、リスクを急速に消失させていました。研究では、「ゼロトラスト」防御策もテストされました。これは、信頼できないデータを特別なマーカーで包み、次のエージェントに渡す前にクリーニングする手法です。この防御策は、隠された指示が伝達される回数を減らすことには成功しましたが、長い連鎖においてはすでにリスクが極めて低かったため、最終的な結果を大きく変えることはありませんでした。最も効果的な安全策となったのは、作業をリリースする前に内容をチェックする専用のチェッカーである、最終バリデーター・エージェントでした。この最終的なガードは、単一エージェントのシナリオにおける違反の91パーセントを、マルチエージェントの連鎖における違反の3分の2を捕捉しました。
本研究は、連鎖の長さ自体がリスクの主要な要因ではなく、リスクは各エージェントがいかに忠実に信頼できないテキストをコピーするかによって決まると結論付けています。もしエージェントがメッセージを要約し圧縮するように指示されていれば、隠された指示は消え去る傾向にあり、この特定の文脈においては長い連鎖の方が短い連鎖よりも安全になります。しかし、研究者たちは、これらの知見はテストされた小規模なモデルと要約タスクに適用されるものであると注意を促しています。もしシステムが要約することなくテキストを逐語的に転送するように設計されていたり、あるいは隠された指示が要約を生き延びるように設計されていたりすれば、結果は大きく変わる可能性があります。現時点では、エージェントが要約を行うシステムにおいては、メッセージがすり抜けた場合に備えた最終チェックがある限り、隠された指示が長い連鎖を通じて広がる危険性は、以前想定されていたよりもはるかに低いことが証拠によって示唆されています。
技術要約：マルチエージェントLLM委譲チェーンにおける増幅ではなく減衰
問題提起
大規模言語モデル（LLM）アプリケーションが、単一のアシスタントから、複数のエージェント（実行者、リレー、コーディネーター、バリデーターなど）が協力して連鎖するマルチエージェントシステムへと進化するにつれ、重要なセキュリティ上の問いが生じている。それは、「間接的なプロンプトインジェクションは、これらの委譲チェーンを通じてどのように伝播するのか？」という問いである。
有力な仮説は、エージェントの連鎖が長くなるほど攻撃対象領域（アタックサーフェス）が拡大し、外部データに隠された悪意のあるペイロードがコアとなるコーディネーターに到達し、それを汚染する可能性が高まるというものである。逆に、メッセージの要約や言い換えを担うエージェントは、処理の過程で悪意のある指示を意図せず破棄してしまい、インジェクションが拡大するのではなく消失（フェードアウト）させる可能性がある。本研究では、インジェクションのリスクがチェーンの深さに比例して拡大するのか、あるいはエージェントの処理特性によって減少するのかを調査する。
メソドロジー
本研究では、異なる深さと条件下でのインジェクションの動態を測定するために、制御された実験パイプラインを用いた。
- パイプライン・アーキテクチャ: システムは、Executor（実行者）（汚染されたデータを摂取）、一連のRelay（リレー）エージェント、Coordinator（コーディネーター）（安全ポリシーの下で最終回答を生成）、およびValidator（バリデーター）（出力をレビュー）で構成される。
- 深度レベル: 実験は、単一エージェントのベースライン（深さ0）、および2、3、4ホップのチェーン（深さ2〜4）の4つのレベルで行われた。
- モデル: 3つのオープンウェイト命令チューニング済みモデル（Qwen2.5-3B、Phi-3.5-mini (3.8B)、SmolLM2-1.7B）をテストした。
- ペイロード: 構造的な巧妙さが増していく3種類の間接的プロンプトインジェクションを使用した。
- Basic（基本）: 前のルールを無視するように指示するプレーンテキスト。
- Policy-Format（ポリシー形式）: XML形式のオーバーライド・ブロック。
- Authority（権威）: 「プラットフォーム・セキュリティ・チームによる監査」を模倣した通知。
- 安全ポリシー: 「カナリア」ポリシーを適用し、秘密のアクセスコードの開示および「ACCESS GRANTED」というフレーズの出力を禁止した。
- 防御メカニズム: 各ホップにおける、信頼できないデータのデリミタ（区切り文字）、指示の階層に関する注記、およびルールに基づくサニタイズ（浄化）からなる「ゼロトラスト」防御をテストした。
- 規模: 本研究は、モデル、深度、ペイロード、および防御状態のすべての組み合わせを網羅する2,520回のパイプライン実行（各条件につき30試行）で構成されている。
主な貢献
- メトリック・フレームワーク: ペイロード伝播率（PPR）、コーディネーター違反率（CVR）、最終違反率（FVR）、およびホップごとの保持確率を含む、マルチエージェント・セキュリティのための再現可能な一連の指標を確立した。
- 減衰の経験的証拠: 「連鎖的な増幅」という仮説に反し、小規模なオープンウェイトモデルにおいては、チェーンの深さが増すにつれてインジェクションの伝播が**減衰（attenuate）**することを示すデータを提供した。
- モデルの異質性: リスクは特定のモデルの挙動に強く依存することを示した（例：Phi-3.5-miniはQwen2.5-3Bよりも大幅に多くペイロードを保持した）。
- 防御の評価: **Validator（バリデーター）**エージェントが主要な封じ込めレイヤーであることを定量化し、軽量な「ゼロトラスト」防御がエンドツーエンドの違反を減少させる上での限界を評価した。
主な結果
1. 伝播は深さとともに減衰する
連鎖が長くなるとリスクが高まるという仮説に反し、本研究ではホップ数が増えるにつれてペイロードの伝播が減少することを発見した。
- 伝播率 (PPR): 2ホップでの31.1%から、3ホップでは14.8%、4ホップでは**8.9%**へと低下した。
- オッズ比: 追加のホップごとに、伝播のオッズは0.45の係数（95% CI 0.35–0.57）で減少した。
- コーディネーターの違反: マルチエージェント・チェーンにおけるコーディネーターレベルの違反は、単一エージェントのベースライン（75.6%）と比較して極めて稀であった（3.8%）。
2. バリデーターの支配性
**Validator（バリデーター）**エージェントが最も効果的な封じ込めレイヤーであることが証明された。
- 単一エージェントのベースラインにおいて、バリデーターはコーディネーターの違反の**91.3%**を阻止した。
- マルチエージェント・チェーンにおいては、イベントの少なさや特定のモデルの挙動に影響を受けるものの、違反の**67.6%**を阻止した。
3. ゼロトラスト防御の影響
「ゼロトラスト」防御パッケージ（デリミタ、階層注記、サニタイズ）は、伝播とコーディネーターの違反を大幅に減少させたが、マルチエージェント設定における最終的なエンドツーエンドの結果に対しては限定的な影響しか示さなかった。
- 伝播: 18.3%から5.1%へ減少（防御によるオッズ比は4.2）。
- コーディネーターの違反: 3.8%から0.7%へ減少。
- 最終的な違反: マルチエージェント・チェーンにおいて、防御ありと防御なしの条件間で統計的に有意な差は検出されなかった（0.86% 対 0.74%）。これは、もともとの失敗の発生率が非常に低かったことに起因する。
4. モデルとペイロードの異質性
- Phi-3.5-miniは最も脆弱であり、リレー段階でペイロードのマーカーを**64.7%**の割合で保持し、マルチエージェントの違反の大部分を占めた。
- Qwen2.5-3Bは非常に高い耐性を持ち、リレー段階でマーカーを保持したのはわずか**8.6%**であり、マルチエージェントの違反は実質的に発生しなかった。
- ペイロードの種類: 「Authority（権威）」通知は違反を誘発するのに最も効果的であった一方、「Policy-Format（ポリシー形式）」ブロックはこの特定の文脈では最も効果が低かった（これは他のレポートにおける大型モデルの知見とは対照的である）。
意義と主張
本論文は、ホップごとのペイロード保持こそが、チェーンの深さそのものではなく、マルチエージェント・インジェクション・リスクを支配する要因であると結論付けている。この知見は、要約や圧縮を行うよう指示された小型モデルにとって、深さは増幅器ではなくフィルターとして機能することを示唆している。
意義:
- 監査戦略の再構築: 本研究は、セキュリティ監査において、単にホップ数を数えるのではなく、特定のエージェントの役割における保持確率（ρ）を測定することに焦点を当てるべきであると主張している。
- 防御の階層化: バリデーターエージェントが重要かつ影響力の高い封じ込めレイヤーであることを強調する一方で、軽量な防御策（デリミタなど）は主に伝播を抑制するものの、既にバリデーターが存在する場合、エンドツーエンドの結果を根本的に変えることはできない可能性を示唆している。
- 一般化への慎重な姿勢: 著者は、これらの知見をフロンティアモデル、自己複製型ペイロード、またはテキストをそのまま転送するシステムにまで拡張することに対して明確に注意を促している。観察された減衰は、本研究の設計（要約指示および小型モデルの使用）に起因するものであり、結果はあらゆるマルチエージェント・システムの安全性に対する保証ではなく、要約チェーンにおける下限値としての特性として捉えられるべきである。
毎週最高の computer science 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録