🤖 AI

DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models

本論文は、視覚的グラウンディングが理想的な粗から密への推論プロセスから逸脱した際に、視覚的アテンション・エントロピーと出力画像相関を監視して標的化された対照的アライメントをトリガーすることで、マルチモーダル大規模言語モデルにおけるハルシネーションを軽減する新しい手法であるDICAを提案する。

原著者： Hao Yang, Jin Wang, Xuejie Zhang

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Yang, Jin Wang, Xuejie Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、一枚の混み合った写真を見てミステリーを解こうとしている探偵だと想像してみてください。人間の探偵は、永遠に写真全体をぼんやりと眺め続けることはありません。まず、シーンの「雰囲気」を掴むために広いスキャンを行い、それから、赤い靴、割れた窓、怪しい影といった特定のヒントへと視線を絞り込み、答えを組み立てていきます。これが、私たちの脳が自然に行っている働き方です。つまり、広範な概観から鋭く焦点の合った詳細へと向かう旅なのです。

では、この動きをスーパーインテリジェントなロボットに教える場面を想像してください。私たちは、画像を見てそれについて話すことができる、つまり写真に関する質問に答えることができる「マルチモーダル大規模言語モデル（MLLM）」を構築してきました。しかし、ここに落とし穴があります。時として、これらのロボットは少し目眩を起こすことがあります。彼らは写真の的外れな部分を凝視し始めたり、あるいは、以前に聞いた情報に基づいて推測してしまうだけで、写真を見るのを完全にやめてしまったりすることがあります。このようなことが起きると、彼らは「ハルシネーション（幻覚）」を起こします。例えば、犬が大好きだからという理由だけで、猫の写真の中に犬がいると主張するように、そこに存在しない事実をでっち上げてしまうのです。科学者たちは、これらのロボットが空想にふけるのを防ぎ、現実世界で信頼できる助手にする方法を見つけ出そうとしています。

この論文では、これらのAI探偵たちの「抜き打ち検査」の監督役として機能する、DICA（Dual-Indicator Guided Contrastive Alignment）と呼ばれる巧妙な新システムを紹介しています。研究者たちは、モデルがハルシネーションを起こし始める際、通常は2つの特定のミスを犯していることに気づきました。第一に、彼らの注意が「漂流（ドリフト）」している、つまり、重要な手がかりを見失い、神経質なリスのように焦点が画像のあちこちに散らばってしまう状態です。第二に、彼らが視覚的な証拠を「過小利用」している、つまり、写真を見るのをやめて、自身の内部メモリや推測に頼りすぎている状態です。

これらのミスを捕まえるために、DICAはロボットが思考している間、その脳内を監視する2つの内部「ゲージ（指標）」を使用します。最初のゲージである**視覚的注意エントロピー（Visual Attention Entropy）は、ロボットの焦点がいかに散漫であるかを測定します。もしこの数値が急上昇すれば、それはロボットがパニックに陥り、あらゆるところを同時に見ていることを意味します。第二のゲージである出力・画像相関（Output-Image Correlation）**は、ロボットの回答が、自身のテキスト予測に対して、実際にどれだけ画像に依存しているかをチェックします。もしこの数値が低下すれば、ロボットは写真を無視して、作り話を始めているということです。

DICAは、これらのゲージがレッドゾーンに入ったとき、ロボットに推測を続けさせることはしません。代わりに、「補正モード」を作動させます。もしロボットの焦点が漂流しているなら、DICAは現在の混乱した思考を、同じ質問の「落ち着いた」バージョンと比較することで、正しい場所へと導きます。もしロボットが写真を無視しているなら、DICAは、以前に見つけた視覚的な手がかりを再び見るよう強制します。いわば、「おい、写真の中で見たことを思い出せ！それを使え！」と言い渡すのです。

著者らは、ロボットが画像に関する質問に答えたり、画像を説明したりするいくつかの標準的なテストを用いて、この手法を検証しました。その結果、DICAはモデルがより多くの正解を導き出し、作り話による主張を減らすことに一貫して貢献したことが分かりました。例えば、POPEと呼ばれるテストでは、この手法はモデルの精度を大幅に向上させ、実際に存在する物体を正しく識別し、存在しない物体を無視するのを助けました。また、ロボットが説明の中でどれだけ物体を捏造するかを測定するCHAIRという別のテストでは、DICAは偽の物体に言及する回数を減少させました。

この論文は、このアプローチが特に効果的である理由として、単なる一般的な「推測をやめろ」というルールを適用しているのではないからだと示唆しています。そうではなく、なぜその特定の瞬間に失敗しているのか――注意が散漫なのか、それとも証拠を無視しているのか？――を診断し、それに対して必要な正確な修正を適用しているのです。この手法は、思考プロセスにわずかな追加時間（単語あたり約0.04〜0.08秒）を加えますが、研究者たちは、ロボットが自信満々に嘘をつくのを防ぐためには、この小さなコストは支払う価値があると考えています。最終的に、この研究は、これら2つの単純な指標を監視し、必要な時にのみ介入することで、これらの強力なAIツールをより信頼でき、現実に即したものにできることを示しています。

技術要約：マルチモーダル大規模言語モデルにおける二重指標による対照的アライメント（DICA）

問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚的な証拠から逸脱した応答を生成する「ハルシネーション（幻覚）」に頻繁に直面します。人間の視覚的推論は、通常、グローバルなシーン理解から始まり、徐々に質問に関連する領域へと焦点を絞っていく「粗から密へ（coarse-to-fine）」のパラダイムに従いますが、MLLMの推論時には以下の2つの特定の失敗モードがしばしば観察されます。

注意の漂流（Attention Drift）： モデルの視覚的注意が予期せず分散したり、クエリに対して意味的に無関係な領域へとシフトしたりすることで、グローバルからローカルへの焦点形成が崩れる現象。
視覚的証拠の活用不足（Underuse of Visual Evidence）： ネットワークが深くなるにつれて視覚的な手がかりへの依存度が低下し、生成が画像の内容ではなく、内部の言語的事前知識によって駆動されてしまう現象。

既存の緩和戦略は、学習ベースであれ学習フリーであれ、ハルシネーションを単一の現象として扱う傾向があります。これらは、具体的な根本原因（漂流か、活用不足か）を診断するメカニメントを備えておらず、実際の失敗モードと一致しない一律の修正戦略を適用してしまうため、パフォーマンスの低下や正しい予測の劣化を招くことがあります。

手法：DICA

著者らは、2つの情報理論的指標を用いてこれらの異なる失敗モードを明示的に診断・対処する、学習フリーの推論時フレームワークであるDual-Indicator Guided Contrastive Alignment (DICA) を提案しています。

1. 診断指標

DICAはデコーディングプロセス中に以下の2つのメトリクスを追跡します。

視覚的注意エントロピー（Visual Attention Entropy: VAE）： 画像トークンに対する視覚的注意の集中度を測定します。高いエントロピーは注意の分散（漂流の可能性）を示し、低いエントロピーは注意の集中を示します。
出力・画像相関（Output-Image Correlation: OIC）： 生成された出力分布が、テキストのみの事前知識と比較して、視覚的入力にどの程度依存しているかを定量化します。OICの低下は、モデルが視覚的証拠を無視し、言語的事前知識に依存していることを示します。

2. 二成分構成の修正メカニズム

DICAはこれらの指標をリアルタイムで監視します。指標が規定の閾値を超えた場合、ターゲットを絞った対照的アライメントがトリガーされます。

VAE誘導型ドリフト補正（VAE-GDC）：
- トリガー： VAEの急激な上昇（注意の漂流を示す）。
- メカニズム： モデルは、「ノーマル（Normal）」パス（標準的な推論）の隠れ状態と、「記述的（Descriptive）」パス（画像を一般的に記述するようプロンプトされた状態）の隠れ状態を比較します。記述的パスは本質的に、より一様な注意分布を維持します。DICAは、記述的パスを用いてノーマルパスのノイズが多く高エントロピーな状態を校正（キャリブレーション）するために、隠れ状態に対して対照的デコーディングを行い、関連領域への焦点を回復させます。
OIC誘導型グラウンディング回復（OIC-GGR）：
- トリガー： OICの大幅な減少（視覚的証拠の活用不足を示す）。
- メカニズム： システムは、視覚的注意分布が最終層から最も大きく乖離する中間層 $l^*$ を特定します。その後、最終層の予測と選択された中間層の予測との間で対照的デコーディングを実行します。これにより、出力分布を、より初期の、よりグラウンディングされた層で捉えられた視覚的証拠に沿った状態へと強制的に引き戻します。

主な貢献

ボトルネックの経験的特定： 本研究は、MLLMにおける2つの異なるハルシネーション源、すなわち「注意の漂流」と「視覚的証拠の活用不足」を体系的に明らかにし、これらがVAEおよびOICの軌跡における特定のアノマリーに対応することを検証しました。
ターゲットを絞った推論時介入： DICAは、モデルの再学習やアーキテクチャの変更を必要とせずに、推論時に分布補正を行う手法を導入しています。これは、失敗モードを区別して特定の適応的補正を適用するという点でユニークです。
包括的な評価： 複数のベンチマーク（POPE, MME, CHAIR）およびモデルバックボーン（LLaVA-1.5, Qwen-VL）にわたる広範な実験により、DICAが既存のベースラインを一貫して上回り、ハルシネーションを大幅に削減しつつ、高い推論精度を維持していることを実証しました。

実験結果

POPEベンチマーク： DICAは、Random、Popular、Adversarialの各サンプリング設定において、最先端（SOTA）の性能を達成しました。LLaVA-1.5 (AOKVQA/Popular) においては、F1スコア85.99に達し、すべてのベースラインを上回りました。
CHAIRベンチマーク： DICAは、画像キャプション生成におけるオブジェクト・ハルシネーションを大幅に削減しました。LLaVA-1.5において、文レベルのCHAIRスコアを41.8に、インスタンスレベルのスコアを11.5に下げつつ、高い再現率を維持しました。
MMEベンチマーク： DICAは、LLaVA-1.5 (661.5) および Qwen-VL (648.3) の両方で最高スコアを記録し、特にオブジェクトのカウントおよび位置特定タスクにおいて強みを示しました。
アブレーション研究： VAE-GDCまたはOIC-GGRのいずれか一方のコンポーネントを除去すると、顕著な性能低下が見られ、両モジュールが不可欠であることが確認されました。研究では、注意の漂流（VAE-GDCによって対処される）は、視覚的証拠の活用不足よりも頻繁に発生するため、ドリフト補正が基礎的なコンポーネントであると述べています。
効率性： DICAは、並列ストリームにより標準的な貪欲デコーディングと比較して中程度の計算オーバーヘッド（推論コストは約2.5倍）を導入しますが、教師あり微調整やRLHFに伴う高いデータ準備コストや学習コストを排除します。

意義と主張

本論文は、マルチモーダル推論の信頼性を向上させる上で、指標駆動型の介入が有効であることを実証していると主張しています。ハルシネーションが注意の漂流によるものか、あるいは視覚的グラウンディングの欠如によるものかを明示的に診断することで、DICAは従来の研究のような「ワンサイズ・フィッツ・オール（一律の）」補正戦略を回避しています。著者らは、彼らのアプローチがモデルの視覚的証拠への依存を効果的に強化し、生成の流暢性を損なったりアーキテクチャを変更したりすることなく、ハルシネーションを軽減できると断言しています。

本研究は、その限界についても謙虚に提示しています。標準的なデコーディングと比較してレイテンシ（遅延）が生じること、異なるアーキテクチャに対してチューニングが必要となる固定された閾値に依存していること、そしてベースとなるビジョンエンコーダや言語モデルに固有の知覚的な盲点を補完することはできないことを認めています。