技術要約: DiffuseAgent-MI

1. 問題提起

ツール統合型視覚言語エージェント（VLM）は、構成的かつ多段階の視覚的推論において大きく進歩してきた。しかし、決定的な信頼性の問題、すなわち**不誠実性（unfaithfulness）**が依然として存在する。医療画像や科学的図表の解釈といった高リスクな領域において、エージェントは数値的に正しい回答を生成する一方で、その回答を実際に生成した内部計算と、提示された推論経路が乖離してしまうことがある。

現在の手法は、概して以下の2つの独立したサイロに分かれている：

1. メカニスティックな解釈可能性（Mechanistic Interpretability）: 予測を因果的に支持する疎な特徴ユニット（潜在空間における方向）の特定に焦点を当てる。これには、忠実なサンプルを定義するために分布的観点（例：KL最小制約）を用いることが多い。
2. 自己進化型エージェント（Self-Evolving Agents）: 出力を振り返り、報酬を通じてポリシーを更新することで性能を向上させる。しかし、これらの報酬は通常、回答レベルのものであり、「正解だが不誠実な軌跡」と「真に誠実な軌跡」を区別できていない。

解決すべき核心的な問題は、エージェントの説明が、予測を実際に駆動している特定の機能ユニットを明示することを保証する統一されたフレームワークが欠如しており、それによって内部表現と外部説明の間のギャップが埋められていないことである。

2. 手法: DiffuseAgent-MI

DiffuseAgent-MIは、分布に基づいたエネルギーモデル、ツール統合型推論、および検証・修復ループを統合した自己進化型エージェントである。このアーキテクチャは、以下の3つの相乗的なコンポーネントを通じて動作する。

A. KL最小エネルギーモデル（分布的接地）

エージェントは、知覚的接地を制御するために、特徴ユニット空間上で定義されたエネルギーモデル $E_\phi$ を採用する。

• 原理: 忠実性の分布的観点に基づき、忠実なサンプルとは、ターゲットとなる特徴ユニットの制約を満たしつつ、ネイティブな事前分布への摂動を最小限に抑える（KLダイバージェンスを最小化する）ものである。
• 定式化:
  $$E_\phi(x; c) = -\log p_0(x) + \lambda \ell(\langle \Phi(x), c \rangle, \alpha)$$
  ここで、$p_0$ は画像の事前分布、$\Phi(x)$ は特徴ユニットの活性化、$c$ は選択された解釈可能なユニット、$\ell$ はソフト制約である。
• 機能: 拡散モデルから $\exp(-E_\phi)$ の下でサンプリングすることにより、選択されたユニット $c$ に基づいてアンカーされたネイティブな事前分布へと生成を再条件付けする。これにより、忠実性のための具体的な最適化対象が提供され、サンプルが選択されたユニットに条件付けられた事前分布の近傍に位置することを保証する。

B. 忠実性を考慮した報酬を用いたツール統合型自己進化

ソルバーは、外部ツール（視覚的QA、ローカライゼーション、キャプション生成）と推論を交互に行い、自己報酬を通じてポリシーを更新する。

• 報酬構造: 報酬関数には明示的にエネルギー項が含まれる：
  $$\pi_{t+1} = \arg \max_\pi \mathbb{E}_{z \sim A_\pi} [r(z) - \beta E_\phi(x^\star; c)]$$
  ここで、$r(z)$ はタスク報酬であり、$\beta$ は忠実性と回答精度の間の重み付けを行う。
• メカニズム: 弱いユニットに拘束されながらも事前分布から大きく逸脱するサンプルにペナルティを与えることで、もっともらしいが根拠のない根拠（rationale）を生成することを抑制する。改善は単なる精度の向上ではなく、忠実な振る舞いへと導かれる。

C. 検証器および修復ループ（軌跡レベルの接地）

検証器 $V$ は、推論の各ステップが指定された特徴ユニットに基づいているかどうかを評価する。

• プロセス: 検証器は忠実度スコアとバイナリフラグ $f$ を出力する。
• 修復ブランチ: $f$ が不誠実なステップを示した場合、修復ブランチは特徴ユニットの強調を強め（$c \leftarrow c + \eta \nabla_c E_\phi$）、再サンプリングを行う。
• 相補性: エネルギーモデルは分布的忠実性（サンプルが $c$ に条件付けられた事前分布に近いこと）を保証し、検証器は軌跡の忠実性（推論が実際に使用されたユニットを明示していること）を保証する。

3. 主な貢献

1. 分布に基づいたエネルギー: 特徴ユニット上のKL最小エネルギーモデルを導入し、拡散生成を再条件付けすることで、「忠実性」を抽象的な願望から、確率測度上の明確に定義された最適化問題へと変換した。
2. ツール統合型自己進化: 自己改善ループが明示的にエネルギー項によって導かれ、ポリシーの更新が回答の正しさとともに忠実な振る舞いを優先することを保証するフレームワーク。
3. 検証器＋修復ループ: 軌跡レベルのフィードバックを提供するメカニズム。ステップが不誠実であると判定された場合、システムはエネルギーを再条件付けして再サンプリングを行い、分布的制約と明示的な推論検証の間のループを効果的に閉じる。
4. 理論的相補性: エネルギーモデルまたは検証器のいずれか一方だけでは不十分であることを示す理論的証明（定理3.1）。エネルギーは分布の変化を防ぎ、検証器は記述された推論を監視する。両者の組み合わせのみが、分布的忠実性と軌跡の忠実性の両方を保証する。

4. 実験結果

本手法は、GeoQA、SciVis、VQA-v2、および独自の**マルチモーダル推論（MMR）**セットを用いて評価された。

• 精度: DiffuseAgent-MIは従来の自己進化型エージェントを上回り、GeoQAで最大5.1ポイント（最強のベースラインの78.3%に対し83.4%）、MMRで4.1ポイントの精度向上を実現した。利得は、多段階の空間的・因果的推論を必要とするタスクで最も顕著であった。
• 忠実度指標:
  • MI-Faith (アライメントAUROC): 75.4% (Agent0-VL) から 94.7% へ向上。
  • MI-Interp (人間による解釈可能性の一致度): 70.5% から 88.9% へ向上し、ReActベースラインの解釈可能性を2倍以上に高めた。
• 効率性: エネルギー項は軽量なスコア補正として機能し、検証器も小さな分類器であるため、プレーンなエージェントに対する相対的な計算量の増加は最小限（1.12倍）であった。
• アブレーション研究:
  • エネルギー項を除去すると、忠実度指標が崩壊し（MI-Faithが71.6%に低下）、精度はほぼ維持されたままとなった。
  • 検証器または修復ブランチを除去すると、軌跡レベルの接地が低下し、分布的制約だけでは記述された推論を監視できないことが確認された。

5. 意義と主張

論文は、DiffuseAgent-MIがメカニスティックな解釈可能性とエージェントの自己改善を統合することで、信頼性と説明可能な視覚エージェントに向けた重要な一歩であると主張している。

• ギャップの解消: 正解が不誠実な内部プロセスから導き出されるという「不誠実性」の問題に対処しており、これは安全性が重視されるアプリケーションにおいて極めて重要な問題である。
• 忠実性の運用化: 忠実性を事後的な説明としてではなく、分布的最適化問題（KL最小ソフト制約）として扱うことで、内部表現を外部の説明に整合させるための原理的な方法を提供している。
• 相補性: 本研究は、分布的接地（エネルギーによる）と軌跡の検証が相補的であることを示している。一方はサンプルが事前分布に対して妥当であることを保証し、もう一方は推論のナラティブが実際の計算と一致していることを保証する。

著者らは制限事項についても言及しており、具体的には、保証は選択された特徴ユニット空間および有効なユニットの定義に依存することである。基礎となる特徴抽出器が誤っている場合、保証はそのエラーを継承する。今後の展望として、これを連続的に学習されるタスク固有のユニットや、自己回帰生成モデルへと拡張することが示唆されている。