🤖 AI

Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

この論文は、大規模視覚言語モデルの言語バイアスに起因するハルシネーションを抑制し、視覚的根拠付けを改善するために、トレーニング不要で履歴情報を活用する「Residual Decoding（ResDec）」という新しいデコーディング手法を提案し、その有効性を示したものです。

原著者： Xinrong Chen, Xu Chu, Yingmin Qiu, Hengyuan Zhang, Jing Xiong, Shiyu Tang, Shuai Liu, Shaokang Yang, Cheng Yang, Hayden Kwok-Hay So, Ngai Wong

公開日 2026-03-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xinrong Chen, Xu Chu, Yingmin Qiu, Hengyuan Zhang, Jing Xiong, Shiyu Tang, Shuai Liu, Shaokang Yang, Cheng Yang, Hayden Kwok-Hay So, Ngai Wong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

画像と言葉を結びつける「賢い AI」の嘘を直す方法

～「残差デコーディング（ResDec）」という新しいアプローチ～

この論文は、最近話題の**「大規模視覚言語モデル（LVLM）」という AI について書かれています。
この AI は、写真を見て「これは何？」と答えたり、画像の内容を文章で説明したりするのが得意です。しかし、「幻覚（ハルシネーション）」**という大きな弱点を持っています。

🎭 問題：AI が「見えないもの」を見てしまう

AI が画像を見て「リンゴが 3 つあります」と答えるべきところを、実は画像に**「リンゴは 1 つしかない」のに、「3 つある」と自信満々に答えてしまうことがあります。
これは、AI が「画像」をちゃんと見ていないのではなく、「言葉の癖（言語的バイアス）」**に流されてしまっているからです。

例え話：
Imagine you are at a party. Someone asks, "How many bananas are in this photo?"
Even if you can't see the photo clearly, your brain might jump to the answer "3" because you've heard that phrase so many times in similar situations. You're guessing based on what usually happens, not what is actually there.
AI も同じで、「リンゴ」という言葉が出ると、脳（モデル）が「あ、次は『3 つ』かな？」と**過去の経験（言語的バイアス）**で勝手に推測してしまい、実際の画像を無視してしまうのです。

💡 解決策：歴史を振り返る「残差デコーディング（ResDec）」

この論文の著者たちは、AI に**「一度立ち止まって、過去の思考過程を振り返らせる」**という新しい方法（ResDec）を考え出しました。これは特別な学習（トレーニング）が不要で、既存の AI にすぐに使える「プラグ＆プレイ」な方法です。

🕰️ 創造的な比喩：「迷子になった子供を助ける」

AI が文章を生成する過程を、**「子供が迷路を歩いている」**と想像してください。

通常の AI（Regular Decoding）：
子供は迷路を歩きながら、**「前の人が言ったこと」や「よくあるパターン」**だけを頼りに進みます。
「あ、ここは『3 つ』って言うのが一般的だ！」と思い込み、実際には壁（画像）があるのに、それを無視して「3 つ」と叫んでしまうのです。これが「幻覚」です。
ResDec のアプローチ：
ResDec は、子供に**「ちょっと待て！さっきの 10 歩前まで戻って、自分が何を『確信』していたか思い出せ！」**と伝えます。
- 発見された事実：
  研究者たちは、AI が「答え」を言い出す直前の数ステップ前には、「正解の信号」がすでに静かに潜んでいることに気づきました。
  しかし、AI が「答えは〜」と言いだす瞬間、「嘘（幻覚）」の信号が急に大きくなって、正解の信号を飲み込んでしまうのです。
ResDec の仕組み：
- U 字型の谷を見つける：
  AI の思考プロセスをグラフにすると、最初は混乱して波打っていますが、あるポイントで**「U 字型の谷」のように落ち着く瞬間があります。ここが「意味が固まって、最も確信が高い状態」**です。
- 過去の「確信」を再利用する：
  ResDec は、この「谷」の近くにある、**最も確信が高かった過去の思考（ログ）**を集めてきます。
- 現在の答えを補正する：
  「今、AI が『3 つ』と言おうとしているけど、さっきの『確信が高い過去の自分』は『1 つ』を信じていたぞ！」と、過去の正しい記憶（残差）を現在の答えに混ぜて補正します。
これにより、AI は「言葉の癖」に流されず、**「画像に実際に写っているもの」**に立ち返って答えを出すことができるようになります。

🚀 なぜこれがすごいのか？

コストがかからない：
特別な学習や追加のハードウェアが不要です。既存の AI を「少しだけ賢くする」だけで済みます。
速い：
複雑な計算を何回も繰り返すのではなく、一度の計算で過去の情報を活用するため、処理速度はほとんど変わりません。
どこでも使える：
さまざまな種類の AI モデルや、さまざまなタスク（質問に答える、画像の説明をするなど）で効果が出ることが実験で証明されました。

🌟 まとめ

この論文が提案する**「ResDec（残差デコーディング）」は、AI に「自分の過去の『確かな直感』を思い出させて、現在の『言葉の癖』による勘違いを直す」**という、とてもシンプルで効果的な方法です。

まるで、**「迷子になった子供に、地図（過去の確信）を見せて、正しい道（画像の事実）に戻らせる」**ようなものです。これにより、AI はより信頼でき、人間にとって使いやすい存在になるでしょう。

論文「Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance」の技術的サマリー

本論文は、大規模視覚言語モデル（LVLMs）において発生する「幻覚（Hallucination）」、特に言語的バイアスに起因する幻覚を抑制するための、トレーニング不要（Training-free）かつ効率的なデコーディング戦略「Residual Decoding（ResDec）」を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義：言語的バイアスに起因する幻覚

LVLM は画像とテキストを入力として推論を行いますが、生成された内容が文法的に整合性を持ちつつも、視覚入力と矛盾したり無関係だったりする「幻覚」に悩まされています。

原因: 統計的な事前学習バイアス、視覚と言語の弱いアライメント、最適化バイアスなどが挙げられますが、特に**「言語的バイアス（Language Priors）」**が大きな要因です。モデルは生成が進むにつれて視覚的文脈を忘れ、言語的なパターン（例：「The answer is...」というテンプレートや、共起頻度の高い単語）に引きずられ、視覚的に根拠のない内容を生成してしまいます。
既存手法の限界:
- トレーニングベース: 追加データや注釈が必要で、スケーラビリティに欠ける。
- トレーニングフリー（対照的デコーディング等）: 推論時間の 2 倍以上の計算コストや、モデル内部構造の変更が必要であり、実用性や効率性に課題がある。

2. 手法：Residual Decoding (ResDec)

ResDec は、モデルの内部推論メカニズムとトークンログオットの進化を利用し、追加のモデルや対照的推論なしに幻覚を抑制するプラグアンドプレイ方式です。

2.1. 核心的な洞察

モデルが正解を明示的にデコードする前（過去のトークンを生成している間）であっても、正しい答えのシグナルは過去のトークンのログオット分布にすでに埋め込まれていることを発見しました。

現象: 正解のトークン（例：「D」）のログオット値は、文脈が進むにつれて過去のトークン生成段階で既に高い値を示します。しかし、言語的バイアスにより、ある時点（例：「:」の生成時）で幻覚トークン（例：「C」）の確率が急上昇し、最終的に正解を覆してしまうことがあります。

2.2. 手法のステップ

履歴情報の分析と JSD の U 字型パターン:
- 過去のトークンのログオット分布の時間的変化を分析するため、隣接する時間ステップ間の確率分布の**ジェンセン・シャノンダイバージェンス（JSD）**を計算します。
- JSD の推移はU 字型を示すことが観察されました。
  - PSAP (Pre-Semantic Clarity Phase): 分布が不安定で「混沌」から「収束」へ移行する段階。
  - SAP (Semantic Anchoring Phase): JSD が最小値（谷）に達し、分布が安定し、意味が明確に固定される段階。
  - EDP (Expressive Divergence Phase): 表現の多様性のために再び分布が発散する段階。
履歴情報の集約（Residual Stream の生成）:
- 安定した意味を持つSAP と EDP の領域から、過去のトークンのログオットを選択します。
- 各時間ステップの「確信度（Confidence）」（トークン分布のエントロピーに基づく）を重みとして用い、履歴ログオットを重み付きで集約します。これにより、**残差シグナル（Residual Signal）**を生成します。
現在のデコーディングへの統合:
- 通常のデコーディングログオットと、上記で生成された残差シグナルを重み $\alpha$ で線形結合します。
- 式: $p_{ResDec} \propto \text{Softmax}((1-\alpha)\text{logit}_{current} + \alpha \text{logit}_{residual})$
- これにより、言語的バイアスに流されやすい現在の予測を、視覚的に安定した履歴情報で補正（Guidance）します。

2.3. 効率性

追加のモデル推論や対照的推論を必要とせず、単一のフォワードパスで完結します。
推論コストは標準的なデコーディングとほぼ同等であり、メモリオーバーヘッドも最小限です。

3. 主要な貢献

幻覚のメカニズムの解明: LVLM における幻覚の本質は、デコーディング段階で幻覚トークンがログオット分布に現れ、最終的に視覚的に根拠のあるトークンを上回ってしまう現象であることを明らかにしました。
ResDec の提案: 履歴情報を活用した効率的なトレーニングフリー手法を提案。JSD を用いて意味が安定した履歴ログオットを抽出・集約し、残差ガイドとしてデコーディングに統合することで、言語的バイアスによる幻覚を抑制します。
広範な汎化能力: 複数の LVLM（LLaVA-1.5, InstructBLIP, Qwen2.5-VL）および多様なベンチマーク（POPE, CHAIR, MME, MMVP など）で、幻覚抑制だけでなく、総合的なタスク精度の向上も実証しました。

4. 実験結果

幻覚ベンチマークでの性能:
- POPE: 3 つのモデル全体で、通常のデコーディングと比較して精度が平均 7.84%、F1 スコアが 8.01% 向上。既存の SOTA 手法（VCD, OPERA, MemVR など）を凌駕しました。
- CHAIR: 画像キャプション生成における幻覚（CHAIIRS/CHAIRI）を大幅に削減（CHAIRI で最大 26.44% の改善）。
- HallusionBench: 視覚的・意味的な欺瞞に対する耐性を高め、SOTA 性能を達成。
総合ベンチマークでの性能:
- MME, MMBench, ScienceQA, MMVP などの総合評価ベンチマークでも、幻覚抑制と同時にタスク精度が向上しました（例：MME で 2.87% 向上）。
効率性:
- 推論レイテンシは Greedy デコーディングのわずか 1.02 倍（0.02x のオーバーヘッド）であり、他の SOTA 手法（OPERA は 3.6 倍など）と比較して極めて軽量です。

5. 意義と結論

ResDec は、LVLM の「言語的バイアスによる幻覚」という根本的な課題に対し、モデルの再学習や複雑なアーキテクチャ変更を伴わずに、デコーディング段階でのみ効果的な解決策を提供します。

実用性: 計算コストが低く、既存のモデルに容易に適用可能（プラグアンドプレイ）であるため、実社会での LVLM 応用における信頼性向上に大きく寄与します。
学術的意義: 視覚言語モデルの内部推論過程における「意味の安定化フェーズ」の発見と、それを活用した制御手法は、今後の信頼性の高いマルチモーダル生成モデルの設計指針となるでしょう。

本論文は、視覚 grounding を維持しつつ、言語モデルの生成能力を最大限に引き出すための、効率的かつ強力なアプローチを示しています。