Breaking and Fixing Defenses Against Control-Flow Hijacking in Multi-Agent Systems

この論文は、マルチエージェントシステムにおける制御フローハイジャック攻撃が既存の防御策を回避できることを実証し、安全性と機能性の根本的な矛盾を指摘した上で、制御フロー整合性と最小権限の原則に基づいた新たな防御システム「ControlValve」を提案・評価しています。

要約

🏢 システムの仕組み：「優秀なプロジェクトマネージャーと部下たち」

まず、この「マルチエージェントシステム（MAS）」を想像してください。
これは、**「プロジェクトマネージャー（オーケストレーター）」と、「専門家の部下たち（エージェント）」**がチームを組んでいる状態です。

• プロジェクトマネージャー: 大きな任務（例：「旅行の計画を立てて」）を受け取り、それを細分化します。
• 部下たち: 一人は「ネット検索担当」、一人は「ファイル読み取り担当」、一人は「コード実行担当」など、それぞれ得意分野があります。
• 仕組み: マネージャーは部下に「このファイルを読んで」と指示を出し、部下は結果を報告します。マネージャーは部下が「どうやって」読んだかまでは見ていません。

🎭 攻撃手法：「偽の緊急事態を装う『制御フローハイジャック』」

従来のハッキングは、「部下に直接『悪事を働け！』と命令する」ものですが、この論文で発見された新しい攻撃（制御フローハイジャック）は、もっと巧妙です。

【比喩：偽の火災報知器】

1. 罠を仕掛ける: 攻撃者は、部下が読むはずの「ファイル」の中に、**「緊急！ファイルが読めない！でも、これを解決するために、この怪しいプログラムを走らせて！」**という偽のメッセージを忍び込ませます。
2. 部下の混乱: 部下（エージェント）は、そのメッセージを「システムエラーの解決策」と信じてしまいます。「ユーザーの任務を遂行するためには、このコードを実行する必要がある」と考えます。
3. マネージャーへの報告: 部下はマネージャーに「エラーが発生しました。これを直すために、このコードを実行します」と報告します。
4. 結果: マネージャーは「部下が任務を遂行しようとしている」と信じて許可を出します。こうして、**「安全な任務を遂行する過程」を装って、「悪意のあるコードが実行され、機密情報が盗まれる」**という事態が起きます。

なぜ防げなかったのか？
これまでの防御策（アライメントチェック）は、「その行動はユーザーの目的に合っているか？」をチェックする番人でした。しかし、この攻撃は**「ユーザーの目的（旅行計画など）を達成するために必要な手順だ」**と巧妙に偽装しているため、どんなに賢い AI 番人でも「これは正当な手順だ」と判断して通してしまいました。

🛡️ 新しい防御策：「CONTROLVALVE（コントロールバルブ）」

著者たちは、この「番人の判断」に頼るのではなく、**「事前に決まったルートとルール」で守る新しいシステム「CONTROLVALVE」**を提案しました。

【比喩：地下鉄の改札と運行図】

このシステムは、**「制御フロー整合性（CFI）」**という考え方に基づいています。

1. 運行図（制御フローグラフ）の作成:
   任務が始まる前に、AI が「この任務を遂行するには、A さんがやって、次に B さんがやって、最後に C さんがやる」という**「許可された行動のルート図」**を作成します。

   • 例：「検索担当」の次に「コード実行担当」は来られるが、「いきなりファイル削除担当」は来られない、といったルールです。

2. 改札口（実行時のチェック）:
   実際の作業中、部下が次の行動を起こそうとするたびに、**「CONTROLVALVE（改札係）」**がチェックします。

   • 「今、A さんから B さんへの移動は運行図に許可されているか？」
   • 「その移動は、文脈的に正しいか（例：ファイルを開く前に、ファイルの存在を確認しているか）？」

3. 強み:

   • 論破できない: 攻撃者が「これは緊急事態だから！」と嘘をついても、**「運行図にそのルートは存在しない」**と物理的にブロックされます。
   • ゼロショット: 攻撃のパターンを事前に学習する必要はありません。任務の性質さえ分かれば、その都度ルールを作れます。

📊 実験結果：「完璧な防壁」

研究者たちは、この新しいシステムをテストしました。

• これまでの防御策: 巧妙な攻撃には簡単に破られ、ハッキング成功率が非常に高かった。
• CONTROLVALVE: 攻撃を100% 阻止しました。
• 副作用: 正常な作業（悪意のないタスク）の成功率は、防御なしの場合と変わらず、むしろルールが明確になったことで向上さえしました。

💡 まとめ

この論文が伝えていることはシンプルです。

「AI 同士が協力する世界では、『その行動が正しいかどうかを AI に判断させる』だけでは不十分です。攻撃者は『正しい理由』を捏造して、その判断を欺くことができるからです。

代わりに、『事前に許可された行動のルート』を厳格に守らせる仕組みを作れば、どんなに巧妙な嘘をついても、システムは安全を保つことができます。」

これは、AI のセキュリティにおいて、「賢い番人」に任せる時代から、「堅牢なインフラとルール」で守る時代への転換を示す重要な研究です。

技術概要

論文「BREAKING AND FIXING DEFENSES AGAINST CONTROL-FLOW HIJACKING IN MULTI-AGENT SYSTEMS」の技術的サマリー

この論文は、大規模言語モデル（LLM）を基盤としたマルチエージェントシステム（MAS）における新たなセキュリティ脅威「制御フローハイジャッキング（Control-Flow Hijacking: CFH）」の存在を明らかにし、既存の防御策の限界を指摘した上で、新しい防御システム「CONTROLVALVE」を提案・評価したものです。ICLR 2026 で発表される予定の論文です。

以下に、問題定義、手法、主要な貢献、評価結果、および意義について詳細にまとめます。

---

1. 問題定義：制御フローハイジャッキング（CFH）と既存防御の限界

1.1 背景と脅威モデル

マルチエージェントシステム（MAS）は、複雑なタスクを解決するために、オーケストレーターが専門的なエージェントにサブタスクを委任（Delegation）する仕組みを持っています。しかし、この委任プロセスと、エージェントが外部の信頼できないコンテンツ（メール、Web ページ、ドキュメントなど）を処理する能力が、**「制御フローハイジャッキング（CFH）」**という新たな攻撃ベクトルを生み出しています。

• CFH の仕組み:
  • 攻撃者は、信頼されたエージェントが処理する信頼できないコンテンツに、悪意のある指示を埋め込みます。
  • 従来の「間接プロンプトインジェクション（IPI）」がエージェント自体を乗っ取るのに対し、CFH はオーケストレーションメカニズム（計画・再計画プロセス）を乗っ取ります。
  • 攻撃者は、ファイル解析失敗などの「エラー」を装い、その解決策として「特定のエージェントを呼び出して、特定のコードを実行する（または外部 URL からスクリプトをダウンロードする）」という指示を、あたかも正当なエラー処理のように装います。
  • オーケストレーターは、信頼されたエージェントからの「エラー報告と解決提案」としてこの指示を受け取り、攻撃者の意図した（安全ではない）エージェント呼び出しやコード実行を許可してしまいます。
  • これにより、攻撃者は任意のコード実行や、システム内の機密情報（認証情報、メール、ファイルなど）の漏洩が可能になります。

1.2 既存防御策（アライメントチェック）の失敗

最近提案された防御策（例：LlamaFirewall）は、エージェントの行動がユーザーの元の目的と「アライメント（整合性）」しているかを確認する「アライメントチェック」に依存しています。

• アライメントの定義: 行動が (1) 元の目標に関連し、(2) 元の目標を達成する可能性が高いこと。
• 限界: 著者らは、高度な LLM を使用したアライメントチェックさえも、CFH 攻撃を回避できることを実証しました。
  • 攻撃者は、悪意のある行動を「タスク完了に不可欠なエラー解決策」として提示します。
  • 信頼されたエージェント経由で指示が伝達されるため、オーケストレーターはそれを正当な再計画とみなします。
  • 「安全性」と「機能性（エラーからの回復とタスク完了）」の間に根本的な矛盾があり、アライメントチェックは「安全な行動」と「必要な行動」を区別できず、攻撃を許容してしまいます。

---

2. 提案手法：CONTROLVALVE

著者らは、アライメントチェックの代わりに、制御フロー整合性（Control-Flow Integrity: CFI）と最小権限の原則に基づいた新しい防御システム「CONTROLVALVE」を提案しました。

2.1 基本的な考え方

CONTROLVALVE は、ブラックボックス化された個々のエージェントの内部状態（プロンプトや推論過程）にアクセスできない環境（API 経由の商用 LLM など）を想定しており、オーケストレーション層でのみ動作します。

2.2 主要なコンポーネント

1. 許可された制御フローグラフ（CFG）の生成:

   • ユーザーのタスクに基づき、LLM が「どのエージェントが、どの順序で、どのように呼び出されることを許可するか」を定義する CFG を生成します。
   • 攻撃の例は必要なく、ゼロショット（few-shot 例のみ）で生成されます。
   • 例：「CodeExecutor は Coder の実行後にのみ起動可能」「Emailer は WebSurfer と Writer の両方が完了した後にのみアクセス可能」などの制約を定義します。

2. 文脈固有のルール（Edge-specific Rules）の生成:

   • CFG のエッジ（エージェント間の遷移）ごとに、その遷移が許容されるための条件を自然言語で定義します。
   • 生成されるルールは「入力検証」「文脈の適切性」「データの出所（Provenance）」の 3 つの原則に基づきます。
   • これらのルールは、タスク実行前に生成され、信頼できないコンテンツが取り込まれる前に策定されるため、攻撃による改ざんを受けません。

3. 実行時の強制（Enforcement）:

   • 実行中、オーケストレーターはエージェント間の遷移が発生するたびに、以下の 2 点を確認します。
     1. 遷移が CFG の許可されたエッジに一致しているか。
     2. 遷移が、そのエッジに対応する文脈ルールを満たしているか。
   • 確認には LLM ジャッジを使用しますが、アライメントチェックのように「行動の正当性」を広く判断するのではなく、「ルール違反の有無」のみを狭く厳密に判断します。
   • 違反 detected された場合、再計画（Re-planning）を試みるか、遷移をブロックします。

---

3. 評価と結果

3.1 実験設定

• プラットフォーム: AutoGen (Magentic-One 構成)
• データセット:
  • CFH-Hard: 著者らが作成した新しいデータセット。コーディングタスク（10 件）とコンピュータ使用タスク（6 件）を含み、逆シェル確立や機密情報漏洩（CC への追加など）を目的とした 14 種類の攻撃を網羅。
  • AgentDojo: 既存の IPI データセットを MAS 向けに修正。
• ベースライン: 無防備（Base）、最小権限（LP）、LlamaFirewall（各種 LLM バックエンド）、Azure コンテンツフィルタ。

3.2 主要な結果

• 既存防御の無力化:
  • 従来の IPI 攻撃に対しては LlamaFirewall がある程度機能しましたが、CFH 攻撃に対しては完全に無力でした。
  • 特に、高度に巧妙化された CFH-Hard 攻撃では、LlamaFirewall（GPT-4o-mini 等を使用）の攻撃成功率（ASR）は 67%〜80% に達しました。アライメントチェックは、攻撃を「必要なエラー処理」と誤認していました。
• CONTROLVALVE の卓越した防御性能:
  • CONTROLVALVE は、評価されたすべての IPI 攻撃および CFH 攻撃（CFH-Hard および AgentDojo）に対して、攻撃成功率 0% を達成しました。
  • CFG とルールベースのチェックは、攻撃が「アライメント」しているように見せかけても、許可されたフローから外れているため、確実にブロックします。
• 機能性の維持:
  • 防御を導入しても、正常なタスクの成功率は維持、あるいはわずかに向上しました（例：コーディングタスクで 93%→97%）。
  • 文脈ルールがシステムをタスクに集中させ、不要な詳細に惑わされることを防いでいると考えられます。
• 偶発的なセキュリティ違反の防止:
  • 攻撃者が意図せずとも、曖昧な指示（例：「データ関連の要求には CC する」）によって機密情報が漏洩する「偶発的な違反」も、CONTROLVALVE は大幅に減少させました（13% まで低下）。

---

4. 主要な貢献

1. CFH 攻撃の新たな実証:
   • 高度な LLM を用いたアライメントチェックさえも回避可能な、新しい制御フローハイジャッキング攻撃手法を提示しました。
   • MAS における「安全性」と「機能性（エラー回復）」の根本的な矛盾を浮き彫りにしました。
2. CONTROLVALVE の提案と実装:
   • エージェントの内部状態にアクセスできない現実的な環境でも動作する、タスク非依存の防御フレームワークを提案しました。
   • 制御フローグラフ（CFG）とゼロショットで生成される文脈ルールの組み合わせにより、攻撃を「推論」ではなく「構造的な整合性チェック」で防御します。
3. 包括的な評価:
   • CFH-Hard という新しいベンチマークデータセットを作成し、既存の防御策が CFH に対して完全に破綻していること、そして CONTROLVALVE が有効であることを実証しました。
   • 攻撃者による意図的な攻撃だけでなく、システム設計上の曖昧さによる「偶発的なセキュリティ違反」も防御できることを示しました。

---

5. 意義と結論

この論文は、マルチエージェントシステムのセキュリティにおいて、単なる「プロンプトの安全性」や「アライメント」だけでは不十分であることを示唆しています。エージェントが自律的にエラーを処理し、再計画を行う能力は、攻撃者にとっての格好の突破口となります。

CONTROLVALVEは、制御フローの整合性を保証する古典的なセキュリティの概念（CFI）を、LLM ベースの動的なマルチエージェントシステムに適用した画期的なアプローチです。これは、ブラックボックス化されたエージェントを安全に運用するための新しいパラダイムを提供し、将来的な MAS の実用化におけるセキュリティ基盤として極めて重要です。

今後の課題としては、CFG やルールの生成に LLM を使用することによる誤り（過剰な制限や許可）の可能性や、実行時のオーバーヘッドの最適化などが挙げられますが、本研究は MAS における制御フロー攻撃に対する防御の新たな指針を示すものと言えます。