技術概要：VIHD - 視覚的介入に基づく幻覚検出

問題提起

医療マルチモーダル大規模言語モデル（MLLM）は、視覚的質問応答（VQA）および自動レポート生成を通じて臨床診断を支援する上で、顕著な可能性を示しています。しかし、重大な限界が残されています：これらのモデルは頻繁に幻覚的な応答（視覚的証拠と矛盾するが、言語的に整合性のある出力）を生成します。このような誤りは、臨床的意思決定に実質的なリスクをもたらします。

既存の幻覚検出手法は一般的に 3 つのカテゴリーに分類されます：

1. 教師あり検出: 労力を要する注釈付きデータセットを必要とし、新しいドメインやアーキテクチャへの汎化が困難です。
2. 外部検証: 補助モデルや知識ベースに依存しており、大きな計算オーバーヘッドと外部ツールへの依存性を導入します。
3. 内省的検出: 追加のトレーニングなしで不確実性や論理的整合性を推定する自己完結型の手法です。効率的である一方で、現在の内省的アプローチはしばしばヒューリスティックで文脈を無視した外部摂動に依存しています。これらは MLLM をブラックボックスとして扱い、デコーディング過程において生成されたトークンと特定の視覚的証拠との間の内部的因果依存関係を探求できていません。

手法：VIHD フレームワーク

著者は、**VIHD（視覚的介入に基づく幻覚検出）**を提案します。これは、ターゲットを絞った微細な視覚的介入を通じて、クロスモーダル推論の忠実度を探求するために設計されたトレーニング不要のフレームワークです。この手法は 3 つの明確な段階で動作します：

1. 視覚的依存性の探査（VDP）

モデルが視覚的証拠に最も強く依存する箇所を特定するために、VIHD は LLM デコーダ内の注意機構を分析します。

• メカニズム: 生成されたトークンと入力視覚トークンの間の注意重みを、すべてのデコーダ層および注意ヘッドにわたって計算します。
• 局所化: これらの重みを集約して、層ごとの視覚的依存度（$s^{(l)}$）を定量化します。その後、累積的な視覚的依存度が最も強い連続する $w$ 層のウィンドウ $[l^*, l^*+w-1]$ を特定します。これにより、クロスモーダル注意が最も顕著な箇所に介入が適用されます。

2. 視覚的介入デコーディング（VID）

視覚的に支配的な層が特定されると、VIHD は特定の視覚的証拠が抑制されたときにモデルの出力がどのように変化するかを観察するために、ターゲットを絞った介入を実行します。

• メカニズム: 特定されたウィンドウ内のデコーディング過程において、アルゴリズムは現在の生成されたトークンに対して最も高い注意重みを持つ視覚トークンの上位 $\rho$ 割合をマスクします。
• 結果: これにより、摂動された視覚表現に条件付けられた「介入応答」（$r'$）が生成されます。元の応答（$r$）と介入応答（$r'$）を比較することで、この手法はモデルが特定の視覚トークンにどの程度依存しているかを明らかにします。

3. 較正された意味エントロピー（CSE）

幻覚の重大度を定量化するために、VIHD は応答の意味分布に基づいた指標を計算します。

• サンプリング: モデルは $M$ 回の独立したサンプリング実行を行い、通常の応答 $\{r^{(i)}\}$ と視覚介入応答 $\{r'^{(i)}\}$ の 2 つのセットを生成します。
• クラスタリング: これらの応答は、事前学習済みモデル（DeBERTa-Large-MNLI）を使用して意味等価クラスにクラスタリングされ、通常の意味分布 $P(s)$ と介入分布 $P(s')$ が得られます。
• 適応的融合: 介入の影響はクエリの粒度によって異なることを認識し、VIHD は適応的融合戦略を採用します：
  • 分布が密接に一致する場合（コサイン類似度 $\ge \tau$）、共有された意味を強化するために相補的融合を使用します。
  • 分布が乖離する場合、マスク誘発の幻覚を抑制するために対照的融合を使用します。
• 指標: 最終的な**較正された意味エントロピー（CSE）**は、この融合分布から計算されます。高い CSE は、元の出力と介入出力の間の意味的な分散が大きいことを示し、幻覚の強力なシグナルとして機能します。

主要な貢献

1. VIHD フレームワーク: 微細な視覚的介入を利用して内部的因果依存性を探求するトレーニング不要な手法の導入。ブラックボックス的なヒューリスティック摂動を超えたアプローチ。
2. 適応的パイプライン: 重要な層を特定するための視覚的依存性の探査（VDP）、高注意トークンをマスクするための視覚的介入デコーディング（VID）、適応的分布融合を通じて重大度を定量化する較正された意味エントロピー（CSE）からなる 3 段階のパイプラインの設計。
3. 実証的優位性: 多様な医療 VQA ベンチマークおよびモデルアーキテクチャ全体で、最先端の内省的手法を VIHD が一貫して上回ることを示す広範な検証。

実験結果

著者は、2 つの医療 MLLM（Hulu-4BおよびLingshu-7B）を使用して、3 つの医療 VQA ベンチマーク（VQA-RAD、SLAKE、およびVQA-Med-2019）で VIHD を評価しました。幻覚ラベルは GREEN モデルを使用して生成され、パフォーマンスは AUC（ROC 曲線下面積）および AUG（GREEN 曲線下面積）で測定されました。

• パフォーマンス向上: VIHD は、トークン不確実性、一貫性ベース、および意味的不確実性のベースラインを含む 7 つの競合手法を一貫して上回りました。
  • Hulu-4Bにおいて、VIHD はすべての質問で平均 AUC を8.57%向上させ、VQA-RAD データセットでは実質的な12% の AUC 増加を達成しました。
  • Lingshu-7Bにおいて、全体で平均 AUC が**3.22%**向上するという優位性を維持しました。
• 効率性: VIHD の推論時間はサンプルあたり約11.59 秒であり、主要なベースラインである VASE（11.55 秒/サンプル）と同等でした。これは、追加の計算コストなしにパフォーマンス向上が達成されたことを示しています。
• アブレーション研究:
  • 任意のコンポーネント（VDP、VID、または CSE）を除去するとパフォーマンスが低下し、完全なパイプラインの必要性が検証されました。
  • 高注意マスクは、ランダムまたは低注意マスクよりも優れていることが判明し、顕著な視覚トークンをターゲットにすることが効果的な較正にとって重要であることを確認しました。
  • スライディングウィンドウの幅 $w = L/2$ とマスク比率 $\rho = 10\%$ が最適なハイパーパラメータとして特定されました。

意義と主張

本論文は、VIHD が幻覚検出における微細な視覚的依存性の重要性を強調していると主張しています。外部のヒューリスティック摂動から、モデル自身の注意機構に基づく内部的でターゲットを絞った介入へと移行することで、VIHD はモデルが幻覚を起こしているかどうかを検出するためのより信頼性の高いシグナルを提供します。

著者は、VIHD を注釈付き幻覚データセットや外部検証ツールを必要としない、展開に優しく、トレーニング不要なソリューションとして位置付けています。異なるモデル容量およびデータセット特性全体での一貫した改善は、この手法が言語的に妥当だが視覚的根拠のない医療主張を生成するという MLLM の核心的な問題に効果的に対処していることを示唆しています。コードは公開され、この分野におけるさらなる研究を促進するために利用可能です。