🤖 AI

Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference

本論文は、外部の視覚的エビデンスを活用して予測の信頼性を推定し、選択的な意思決定ゲーティングを実装することで、モデルの再学習を必要とせずにマルチモーダル大規模言語モデルの精度を大幅に向上させ、ハルシネーションを低減させる、検索拡張型信頼性考慮推論フレームワークを提案する。

原著者： Pratheswaran Hariharan, Haiping Xu, Donghui Yan

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pratheswaran Hariharan, Haiping Xu, Donghui Yan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、自信満々なロボットの助手がいると想像してみてください。その助手は写真を見て、何が見えるかを正確に伝えることができます。描写は得意なのですが、100%確信が持てない時でも、つい推測してしまい、まるで確信があるかのように話してしまうことがあります。これは、数学の問題の答えを知らないのに、自信たっぷりに推測を叫んでしまう生徒のようなものです。AIの世界では、これを「視覚的ハルシネーション（幻覚）」と呼びます。システムが、実際には存在しないものを見たり、助けになりたいがために事実を捏造したりすることを指します。

この論文は、ロボットがすべきでない時に自信満々に推測することを防ぐための、新しい「安全確認」システムを紹介しています。仕組みを分かりやすくするために、比喩を用いて説明します。

問題点：自信過剰な推測

現在のAIモデルは、多くの事実を暗記しているものの、自分の回答をチェックする方法を持たない生徒のようなものです。例えば、ぼやけた鳥の画像を見たとき、実際には「凧（カイト）」であるにもかかわらず、自信たっぷりに「これはタカだ！」と言ってしまうかもしれません。ロボットは非常に流暢かつ自信を持って話すため、たとえ間違っていたとしても、人間はそれを信じてしまいがちです。

解決策：「エビデンス・ライブラリアン（証拠の司書）」

著者らは、ロボットが最終的な回答を出す前に、2つ目のステップを追加することを提案しています。この新しいシステムは、ロボットの脳とユーザーの間に座る**「司書（ライブラリアン）」**だと考えてください。

検索（リトリーバル）： ロボットは新しい画像を見ると、単に推測するのではなく、司書にリクエストを送ります。司書は、数百万枚のリファレンス写真（データベース）を持つ巨大な図書室を持っています。司書は、その新しい画像に最も似ている上位5枚の写真をライブラリから探し出します。
事実確認（信頼性推定）： 司書はただ写真を見るだけではありません。探偵のようにそれらを分析します。司書は以下の4つの重要な問いを投げかけます。
- 類似性： リファレンス写真は、新しい画像と本当に似ているか？
- 一致度： すべてのリファレンス写真は、その物体について一致した意見を持っているか？（例：4枚が「サメ」と言い、1枚が「イルカ」と言っている場合は、意見の食い違いがある）。
- 確信度の差： 「サメ」という答えは「イルカ」という答えよりも明らかに優れているのか、それとも僅差なのか？
- 混乱度： エビデンスは散漫で乱雑か、それとも明確で集中しているか？

決定ゲート：信号機

この事実確認に基づき、司書はロボットの回答に信号機を付けます。

🟢 青信号（承認）： エビデンスが強力で明確であり、全員の意見が一致しています。ロボットは自信を持って回答できます。「これはホオジロザメです。」
🟡 黄信号（注意）： エビデンスはまずまずですが、少し不安定だったり、意見が混在したりしています。ロボットは回答してもよいですが、「慎重な言葉」を使わなければなりません。「これは凧かもしれませんが、完全には自信がありません。」
🔴 赤信号（棄権／フォールバック）： エビデンスが弱い、あるいは混乱しており、対象物がライブラリ内に存在しません。ロボットは推測することを禁じられます。「自信を持って識別できません」または「回答するための十分な情報がありません」と言わなければなりません。

実験では何が起きたのか？

研究者たちは、標準的な100種類の画像セット（学校の試験のようなもの）を使用して、このシステムをテストしました。

安全確認の前： ロボットはすべての質問に回答しました。正解率は86%でしたが、14%の確率で自信満々に間違っていました。
安全確認の後： ロボットは、自身が確信を持てなかった約11%の質問への回答を停止しました。回答した質問については、**89%**の確率で正解していました。
結果： ロボットが自信満々に間違った回答をしてしまう回数は、大幅に減少しました（14%から11%へ）。

大きな教訓

このシステムは、巨大で複雑なロボットの脳を再学習させる必要はありません。ただ、ロボットが話す前に、外部のエビデンスを確認する「現実チェック」の層を追加するだけです。

エビデンスが強い場合： ロボットは自信を持って話します。
エビデンスが弱い場合： ロボットは沈黙するか、慎重に話します。

これにより、AIは嘘を自信満々に付くのではなく、分からないことを「分からない」と言えるようになるため、より信頼できるものになります。それは、間違いに気づかれないよう願いながら適当に推測する友人ではなく、「確信が持てないので、調べてみます」と言ってくれる友人のようなものです。

技術要約：検索拡張型信頼性認識推論によるマルチモーダルシステムにおける視覚的ハルシネーションの軽減

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚と言語の理解において進歩を遂げているが、決定的な信頼性の問題、すなわち**視覚的ハルシネーション（幻覚）**に直面している。これらのシステムは、基礎となる視覚的証拠が弱い、曖昧である、あるいは意味的に不整合である場合でも、流暢で自信に満ちた自然言語の応答を生成してしまうことが多い。既存のアプローチは主に表現の整列（アライメント）や検索拡張生成の改善に焦点を当てているが、インスタンスレベルの予測信頼性を定量化するメカニズムが欠けている。

信頼できるマルチモーダル推論には大きなギャップが存在する。現在のシステムは、証拠の質に関わらず、あらゆる入力に対して回答を提供することを強制されがちである。標準的な信頼度スコア（例：ソフトマックス確率）は、しばしば較正（キャリブレーション）が不十分であり、実際の正解率を反映していない。これが、誤った出力であるにもかかわらず自信満々に提示される「過剰に自信を持った」エラーを引き起こし、ユーザーを誤導する原因となっている。本論文は、信頼できるシステムとは単に答えを予測するだけでなく、その答えを信頼すべきかどうかを評価し、強い証拠と不十分または矛盾するデータとを区別できなければならないと主張している。

2. 手法

著者らは、検索拡張型信頼性認識推論フレームワークを提案している。これは、基礎となる大規模マルチモーダルモデルを再学習させることなく、視覚的予測を検証するために外部の視覚的証拠を用いる、視覚的予測と最終的な応答生成の間に挿入されるポストホック（事後的）なレイヤーである。

2.1 フレームワークのアーキテクチャ

パイプラインは、以下の4つの主要なステージで構成される。

入力エンコーディングと証拠の検索:
- 入力画像は、分類層を除去した学習済みResNet-50特徴抽出器を用いて処理され、2048次元の埋め込み（エンベディング）が生成される。
- コサイン類似度に基づく検索を確実にするため、埋め込みはL2正規化される。
- 参照証拠データベースは、ImageNet-100の訓練セット（約13万枚の画像）から構築される。
- クエリ画像に対し、システムはFAISSを用いてデータベースから上位 $k$ 個（ここでは $k=5$ ）の最近傍探索を行う。
クラス支持推定（Class-Support Estimation）:
- 単一の最近傍のみに依存するのではなく、本フレームワークは検索された集合全体にわたって証拠を集約する。
- 類似度重み付きソフトマックス関数を用い、検索された近傍にその類似度スコア（ $s_j$ ）に基づいた重みを割り当てる。
- クラス支持スコア（ $S(c)$ ）は、各クラスに属する近傍の重みの合計によって算出される。予測されるクラスは、集計された支持が最も高いクラスである。
信頼性信号の計算:
システムは、信頼性を推定するために複数の指標を計算する。
- 類似度の強さ（Similarity Strength）: 検索された集合のトップ類似度（ $s_{top}$ ）および平均類似度（ $s_{mean}$ ）。
- クラス支持の一致（Class-Support Agreement）: 予測クラスに対する主要な支持（ $E_1$ ）と、強力な競合クラスに対する二次的な支持（ $E_2$ ）の比較。
- 証拠マージン（Evidence Margin, $M$ ）: $E_1 - E_2$ の差であり、クラス間の分離度を示す。
- エントロピー（ $H$ ）: 検索された証拠のクラス分布における不確実性を測定する。
- 集約信頼性スコア（Aggregate Reliability Score, $R$ ）: 主要な支持と正規化された類似度の強さの加重結合（ $R = 0.6E_1 + 0.4Q$ ）。
選択的決定ゲーティング（Selective Decision Gating）:
計算された信号に基づき、決定ゲートは入力を以下の3つの状態のいずれかに割り当てる。
- ACCEPT（受理）: 証拠が強く、一貫しており、不確実性が低い場合（例： $R \ge 0.85, H \le 0.30, M \ge 0.50$ ）。システムは自信を持った応答を提供する。
- ANSWER WITH CAUTION（注意付き回答）: 証拠は部分的に支持しているが、不確実性がある場合（例： $R \ge 0.70, M \ge 0.25$ ）。応答は慎重な表現へと和らげられる。
- ABSTAIN/FALLBACK（棄却/フォールバック）: 証拠が弱い、または矛盾している、あるいは類似度の閾値を下回る場合（例： $s_{top} < \tau_{sim}$ または $s_{mean} < \tau_{mean}$ ）。システムは決定的な主張を避ける。

2.2 応答生成

マルチモーダル応答レイヤー（実験ではLLaVAを使用）が最終的な出力を生成する。極めて重要な点は、言語生成が信頼性の決定に条件付けられていることである。ゲートが「ABSTAIN（棄却）」を選択した場合、システムは無理にラベルを押し付けるのではなく、証拠が不十分であることを説明する。

3. 主な貢献

検索拡張型信頼性フレームワーク: 視覚的予測を最終的な応答生成の前に外部の証拠データベースに対して検証する、新しい推論パイプライン。これは予測生成と予測の受理を分離している。
マルチシグナル信頼性推定: 類似度の強さ、クラス支持の一貫性、証拠マージン、およびエントロピーに基づく不確実性を組み合わせ、生の信頼度スコア単体よりも堅牢な信頼推定を実現する戦略。
選択的決定メカニズム: 3ウェイの決定ゲート（受理、注意、棄却）の実装により、カバー率（回答率）と信頼性のトレードオフを管理し、過剰に自信を持ったエラーを効果的に削減する。
ポストホックの適用可能性: これらの改善が大規模マルチモーダルモデルの再学習を必要とせず、既存のシステムへの実用的なアドオンとして実現可能であることを示した。

4. 実験結果

フレームワークは、ImageNet-100データセット（データベース用に13万枚の訓練画像、テスト用に5千枚の検証画像）を用いて評価された。

精度の向上: ベースラインの検索システム（常に回答する方式）は**85.84%**の精度であった。提案された信頼性認識フレームワークは、受理された予測の精度を、**89.04%のカバー率において88.88%**へと向上させた。
ハルシネーションの減少: 「受理された誤答率（誤った予測が受理され、ユーザーに返されるケース）」は、ベースラインの**14.16%から、提案手法の11.12%へと減少し、相対的に21.48%**の減少となった。
較正（キャリブレーション）: 期待較正誤差（ECE）は**7.40%から5.87%**へと改善し、予測された信頼性と実際の正解率との間の整合性が高まったことを示した。
自信のある誤答: 「自信のある誤ったケース（信頼度 $\ge 0.85$ の誤った予測）」の数は、263件から226件へと減少した。
証拠の質の分析: 受理されたサンプルは、棄却されたサンプルと比較して、有意に高い信頼性スコア、類似度マージン、および低いエントロピーを示しており、ゲートが曖昧または弱い証拠のケースを効果的にフィルタリングしていることが確認された。

5. 意義と主張

本論文は、検索による証拠、信頼性推定、および選択的決定ゲーティングを統合することで、マルチモーダルな視覚推論の信頼性を向上させるための実用的なポストホック・メカニズムを提供すると主張している。

過剰な自信の抑制: 本フレームワークは、視覚的証拠が不十分なケースを特定することで、システムが自信満々に誤った出力を生成するリスクを減少させることに成功している。
再学習不要: アーキテクチャの変更や追加の学習を必要とする手法とは異なり、このアプローチは学習済みのエンコーダーと既存のMLLMと共に動作する。
解釈可能性: 検索された最近傍の例に依存することで、システムは予測を支持または拒否するための解釈可能な証拠（視覚的な例）を提供し、透明性を高める。
トレードオフの管理: システムは、カバー率（すべての質問に答えること）と信頼性（自信がある場合にのみ答えること）の間のトレードオフを明示的に管理し、高リスクなアプリケーションにおけるユーザーの信頼を優先する。

著者らは、現在の実装は制御された分類設定（ImageNet-100）および特定のエンコーダー（ResNet-50）に限定されているものの、このアプローチは、証拠が決定的な回答を正当化しない場合に、システムが回答を控えることができる、より安全で信頼性の高いマルチモーダルAIシステムへの実行可能な道筋を示すものであると結論付けている。