技術概要：ハルシネーションを悪用として：証拠搬送型マルチモーダルエージェント

1. 問題定義

現在のマルチモーダルエージェントの評価では、ハルシネーションは回答の品質エラー（例えば、誤ったキャプション）として、またプロンプトインジェクションは指示追従の失敗として扱われることが多い。しかし、マルチモーダルエージェントがツール（クリック、メール送信、資金送金など）を制御する場合、ハルシネーションは承認の失敗となり得る。モデルがボタンの位置、受信者のメールアドレス、またはドキュメントのフィールドといった事前条件を誤って認識した場合、根拠のない視覚的主張に基づいて特権的なツール呼び出しをトリガーする可能性がある。

既存の防御策は失敗する。なぜなら、それらは観察、解釈、指示、および許可を、単一の自由形式のモデルテキストに縮小してしまうからだ。その結果、プロンプトフィルタリングは、悪意のあるインジェクションとモデル自身の誤った信念との区別がつかない。本論文は、**ハルシネーションからアクションへの転換（H2AC）**を重要な失敗モードとして特定している。これは、根拠のない知覚的主張が、必要なアクションの事前条件を満たすことで、実行判断を「ブロック」から「許可」へと変更するメカニズムである。

2. 手法：証拠搬送型マルチモーダルエージェント（ECA）

著者らは、タスクの解釈とアクションの承認を分離するアーキテクチャである**証拠搬送型マルチモーダルエージェント（ECA）**を提案する。ECA は、自由形式のモデルテキストを、高信頼性述語に対する証拠として認めない。

コアアーキテクチャ

1. アクションスキーマ（$G_a$）: 各ツール呼び出しは、アクションに不可欠な特定の述語（例：ui_element、ocr_text、safe_source）に分解される。これらのスキーマは、アクションを安全にするために必要な正確な条件を定義する。
2. 制約付き検証器: 多モーダル大規模言語モデル（MLLM）に事実の検証を依存させるのではなく、ECA は、型付き証拠証明書を生成するために、個別の制約付き検証器（DOMパーサー、OCRエンジン、アクセシビリティツリーパーサーなど）を採用する。
   • 証明書は、型、値、領域、ソース、検証器、信頼度、時刻、および信頼ラベルを含む構造化レコード $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$ である。
   • 重要なのは、アクションを提案するコンポーネント（MLLM）自身が、それを承認する事実を証明できない点である。
3. 決定論的ポリシーゲート（$\Pi$）: ゲートは、提案されたアクションをアクションスキーマに対して評価する。スキーマ内のすべての必要な述語が、適切な型、スコープ、信頼ラベル、および信頼度を持つ証明書によって一致している場合のみ、許可を付与する。
   • 許可: すべての述語が信頼できる証明書によって支持されている。
   • 確認: 証拠は不完全だが、アクションは取り消し可能である。
   • ブロック: 証拠がアクションと矛盾するか、必要な出所が欠落している。

理論的基盤

このシステムは、情報フロー制御の原則に依存している。システムの安全性は、以下の残留リスクに分解される。

• $\epsilon_p$: 検証器の偽陽性率（偽の述語を証明すること）。
• $\delta_{schema}$: アクションスキーマが重要な述語を省略する確率。
• $\delta_{impl}$: 実装のバイパスが発生する確率。
  不安全なアクションが発生する確率は、モデルがハルシネーションを起こす確率ではなく、これらの残留リスクの合計によって上限が定められる。

3. 主な貢献

1. H2AC の形式化: 本論文は、根拠のない知覚的主張がアクションの権限となるメカニズムとして、ハルシネーションからアクションへの転換（H2AC）を定義する。
2. ECA アーキテクチャ: アクションに不可欠な述語に対してモデルテキストに依存するのではなく、型付き証拠を要求する「証明書ゲート」を強制する新しい設計。
3. 多段階評価:
   • 敵対的レッドチームング: DOM、OCR、およびアクセシビリティツリー検証器を標的とした、19 カテゴリにわたる 1,900 件の攻撃。
   • コンテンツ派生実行: 実際の DOM、OCR、AX 抽出を使用した、エンドツーエンド（E2E）およびブラウザの概念実証（PoC）評価。
   • オラクル証明書再生: ゲートロジックを検証器のエラーから分離するために、仮に正しいとみなされる証明書を使用した 7,488 件のトレース。
4. 構造的防御対ニューラル防御: この脅威モデル下では、構造的ゲーティング（ECA）がニューラル判断（LLM ジャッジ）を上回ることを実証。
5. 標的型強化: バイパス率を大幅に削減する 4 つの具体的な修正（DOM 出所の相互参照、UTS #39 混淆文字検出、AX-DOM 整合性検証、知覚的ハッシュ OCR 強化）。

4. 実験結果

本論文は、3 つの証拠レベルにわたる結果を報告しており、「ゲートレベルのゼロ」は検証器の正確性に条件付けられた設計特性であることを強調している。

• 敵対的検証器レッドチームング:
  • 初期ゲートバイパス率:15%。
  • 4 つの標的型強化ステップ後:1.3%（ボンフェローニ補正済み上限 2.3%）。
• エンドツーエンド（E2E）およびブラウザ PoC:
  • 200 タスク E2E パイプライン: 0% 不安全アクション率（UAR）（ウィルソン 95% 上限 2.67%）。
  • 120 タスクブラウザ PoC: 0% UAR（ウィルソン 95% 上限 4.3%）。
  • 500 アセット実パーサー再生: 0% UAR。
• 直接 HACR 監査:
  • 層化された 500 タスクのサブセットにおいて、無防備なエージェントでは根拠のないアクション重要主張の**100%が実行に至り、プロンプトのみの防御では49.6%**であった。
  • ECA は、証明書ゲートにおいて根拠のないアクション重要主張の 100%（1,103 件中 0 件）をブロックした。
• ニューラルジャッジとの比較:
  • GPT-5.4 ジャッジ変種は、不安全タスクにおいて**79% から 99%**の UAR を達成した。
  • Progent 型の敵対的プローブでは、ジャッジで23.3% の UARに対し、ECA では**0%**であった。
  • ニューラルジャッジは、信頼できる指示とハルシネーションされた事前条件との区別を効果的に行えなかった。

5. 意義と主張

本論文は、ハルシネーションされたドキュメントまたは UI 事実がアクションスキーマを満たし得る場合、モデルの安全性に関する独白を磨くことは弱いレバーであると主張する。主な貢献は、マルチモーダルコンテキストからの主張がツール特権に影響を与える前に、型付き述語として表現されることを要求する言語からアクションへの承認境界である。

• 控えめな主張: 著者らは明示的に、ECA がハルシネーションやエージェントのすべての誤用を解決するものではないと述べている。安全性の主張は条件付きである。スキーマが重要な述語を省略する場合、実装がゲートをバイパスする場合、または検証器が偽の述語を証明する場合、ECA は失敗し得る。
• 監査可能な残留リスク: ECA の利点は、失敗が不透明なモデルの信念に隠されるのではなく、測定可能な残留リスク（$\epsilon_p, \delta_{schema}, \delta_{impl}$）として露呈することにある。
• 範囲: この研究は、指示分類器をバイパスする「偽の事前条件」攻撃経路に焦点を当てている。新しい検証器攻撃、大規模なライブ多ターン展開、またはスキーマ修正なしの任意のツールエコシステムに対する堅牢性を主張するものではない。

要約すると、ECA は信頼の境界をプランナー（MLLM）から証拠層（検証器）へとシフトさせ、不透明なモデルの信念を監査可能な残留リスクに変換し、根拠のない視覚的主張が静かに特権的なアクションを承認するのを防ぐ。