💬 NLP

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

本論文は、質問に関連する視覚的証拠を明示的に収集し、局在化と推論の共同最適化を向上させるための新しいRS-GRPOアルゴリズムを採用することで、マルチイメージ推論における視覚的ハルシネーションを軽減するエビデンス誘導型フレームワークであるEVisRAGを提案しており、視覚的質問応答のベンチマークにおいて大幅な性能向上を実現している。

原著者： Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは一つの手がかりではなく、三つの異なる新聞、写真、地図が混ざり合った、めちゃくちゃな束を渡された状態で、あるミステリーを解こうとしているところだと想像してください。あなたのポケットには、テキストを読み、画像を見ることができる「Vision-Language Model（VLM）」という名前の、非常に賢い探偵（コンピュータプログラム）が入っています。この探偵は質問に答えるのが得意なのですが、大量の画像に直面すると、時々混乱してしまうことがあります。例えば、実際には犬であるものを猫だと主張したり、二つの異なるページから事実を混ぜ合わせてしまったりと、見ていない詳細をでっち上げることがあります。これは「視覚的ハルシネーション（幻覚）」と呼ばれます。

これらの探偵を助けるために、科学者たちは「Visual Retrieval-Augmented Generation（VRAG）」と呼ばれるシステムを開発しました。これは、探偵に図書カードを渡すようなものだと考えてください。質問を受けると、システムはライブラリから最も関連性の高いページを即座に引き出し、探偵に手渡します。適切な証拠が目の前にある状態にすれば、探偵は推測したり、作り話をしたりする必要がなくなるという考えです。しかし、たとえ正しいページを手渡されたとしても、探偵はノイズの中から自分が必要とする正確な文章や画像を見つけ出すのに苦労したり、無関係な詳細に気を取られて、依然として作り話をしたりすることがよくあります。では、どうすれば探偵に、すべてのページを注意深くスキャンし、実際に見た事実だけを書き留め、そして推測することなく謎を解く、真の捜査官になってもらえるのでしょうか？

これこそが、「VisRAG2.0」（具体的にはEVisRAGフレームワーク）という論文が解決しようとしている問題です。中国の大学の研究チームである著者らは、これらのAI探偵がハルシネーションを起こすのをやめ、実際の証拠に基づいて推論するように訓練するための新しい方法を提案しています。彼らは、従来の手法は、探偵に紙の束を渡して「とにかく自分で何とかしろ！」と言っているようなものであり、それがしばしば混乱を招いていることを見出しました。代わりに、EVisRAGはモデルに対し、**観察（Observe）、記録（Record）、推理（Reason）**という厳格な3ステップに従う、細心の注意を払う探偵として振る舞うことを強制します。

まず、モデルは検索された画像を見ながら、ページごとに何が見えるかを明示的に述べます。次に、モデルは「証拠ログ」を作成し、各画像から特定の事実を書き出し、極めて重要な点として、画像に有用な情報が含まれていない場合はその旨を記します。最後に、モデルはその書き留めたログのみを使用して問題を解決します。モデルが実際にこの振る舞いを学習できるようにするために、研究者たちはRS-GRPO（Reward-Scoped Group Relative Policy Optimization）と呼ばれる新しい訓練手法を考案しました。これは、最終的な答えに対して単に成績をつけるのではなく、「正しい画像を見たか？」というスコアと、「事実を正しく書き留めたか？」という別のスコアを個別に与える、非常に厳しいコーチのようなものだと考えてください。これにより、モデルが運良く正解を当てただけで高い評価を得てしまうことを防ぎ、証拠を先に見つけることを確実に学習させることができます。

この新しいアプローチの結果は非常に印象的です。様々な視覚的質問回答ベンチマーク（チャート、文書、スライドの読み取りなど）でテストされた際、EVisRAGモデルは、標準的な「バックボーン」モデルを平均して約**19%**上回る精度を一貫して示しました。さらに重要なことに、モデルが事実を捏造する回数を大幅に減少させました。ある特定のテストでは、標準的なモデルはチャートを見て、間違った国の人口が多いと自信満々に答えてしまう（数字をハルシネーションさせた）ことがありますが、EVisRAGはチャートを見て、正しい数字を証拠ログに書き込み、そして正しく推論して答えを導き出します。

また、この論文は、単にモデルに「長く考えさせる」ことや、より複雑なエージェントをシステムに追加することが最善の解決策であるという考えに異を唱えています。むしろ、構造化され、証拠に基づいたアプローチと、彼らの特定の訓練手法（RS-GRPO）を組み合わせることがより効果的であることを示しています。報酬の範囲を限定する（適切なタイミングで適切な行動に対してのみクレジットを与える）ことで、モデルがより安定し、信頼性が高まることを実証しました。この論文は、これがAIに関するあらゆる問題を解決すると主張しているわけではありませんが、実験結果は、この手法が視覚的AIシステムをより信頼でき、正確で、複数の画像を見ている時に作り事をする傾向を減らすための大きな一歩であることを示唆しています。

技術要約: VisRAG2.0 (EVisRAG)

問題提起

視覚的検索拡張生成（Visual Retrieval-Augmented Generation: VRAG）は、視覚言語モデル（VLM）に対し、パラメータ知識を超える質問に答えるための外部の視覚的証拠を装備させることを目的としている。しかし、既存のVRAG手法は、マルチイメージ設定において重大な課題に直面している：

視覚的ハルシネーション（幻覚）: VLMは、複数の取得された画像の中から質問に関連する証拠を正確に特定できず、誤った回答を生成したり、存在しない視覚的内容を捏造したりすることが頻繁にある。
明示的な証拠収集の欠如: 現在の手法は、明示的なクロスイメージ証拠収集プロセスを経ることなく、テキストベースのRAGの実践を視覚ドメインにそのまま転用していることが多い。これらは外部のエージェントやツールに依存しており、アーキテクチャの複雑さと計算コストを増大させている。
学習の不安定性: 混合報酬を用いて視覚的知覚と推論を共同で最適化すると、学習が不安定になることが多い。明確なクレジット割り当て（責任の所在の特定）の欠如により、信号間の干渉が生じ、異種的な目的から得られる勾配が、無関係なトークン間で競合してしまう。

手法: EVisRAG

著者らは、VLMが複数の画像にわたって精密な視覚的知覚と推論を実行できるように設計されたフレームワークである EVisRAG（Evidence-guided Vision Retrieval-augmented Generation）を提案する。

1. 証拠に基づいた推論プロセス

EVisRAGは、標準的なChain-of-Thought (CoT) を超え、観察、証拠の記録、および推論を明示的に分離することで、生成プロセスを4つの異なるステージに構造化している：

Retrieval（検索）: クエリに関連する上位 $k$ 個のドキュメントページのスナップショットを取得する。
Visual Perception (Observation)（視覚的知覚・観察）: モデルは取得された画像を逐次的に観察し、視覚的内容の理解を確立するための、ページを意識した粗い観察結果（ $y_o$ ）を生成する。
Evidence Recording（証拠の記録）: クエリと観察に基づき、モデルは画像ごとの証拠シーケンス（ $y_e$ ）を生成する。極めて重要な点として、証拠が存在しない画像に対しては「関連情報なし」と明示的に記録することで、モデルが無関係な詳細を推論に無理に組み込むことを防ぐ。
Answer Reasoning（回答の推論）: モデルは、集約された証拠（ $y_p = \{y_o, y_e\}$ ）に対して「探偵スタイル」の推論（ $y_r$ ）を行い、仮説の策定、矛盾の相互チェック、および一貫した軌跡の整理を行った上で、最終的な回答（ $y_a$ ）を生成する。

2. Reward-Scoped Group Relative Policy Optimization (RS-GRPO)

EVisRAGを効果的に訓練するために、著者らは、マルチステージ推論におけるクレジット割り当ての問題に対処する、Group Relative Policy Optimization (GRPO) の拡張版である RS-GRPO を導入する。

Reward Scopes（報酬スコープ）: 出力シーケンスを、観察（ $T_o$ ）、証拠の記録（ $T_e$ ）、推論（ $T_r$ ）、および回答（ $T_a$ ）の4つのスコープに分割する。
細粒度報酬: 以下の3つの特定の報酬が適用される：
- Format Reward ( $R_{format}$ ): 構造化されたワークフロー（観察 $\to$ 記録 $\to$ 推論 $\to$ 回答）への遵守を強制する。
- Perception Reward ( $R_{perception}$ ): 質問に関連する領域が、証拠の記録フェーズにおいて正しくローカライズされ、要約されているかを評価する。
- Derivation Reward ( $R_{derivation}$ ): 最終的な回答が、記録された証拠から正しく導出されているかを評価する。
Scoped Optimization（スコープ限定の最適化）: 報酬をシーケンス全体に放送する従来のメソッドとは異なり、RS-GRPOは各報酬をその有効なトークンスコープ（例： $R_{perception}$ は $T_o$ と $T_e$ のみを監督する）に限定する。これにより、クロスステージの干渉を減らし、最適化信号を鋭敏にし、学習を安定させる。

主な貢献

EVisRAG フレームワーク: 視覚的証拠の収集と推論を明示的に分離し、VLMが結論を出す前に画像ごとに証拠を集め、検証する「探偵」のように振る舞うことを可能にする新しいアーキテクチャ。
RS-GRPO アルゴリズム: 報酬信号を特定のトークンスパンに整合させるためのスコープ固有の報酬を導入する訓練戦略。これにより、知覚と推論の目的間の干渉を軽減し、より安定した効果的な共同最適化を実現する。
包括的な評価: 5つの多様なVQAベンチマーク（ChartQA, InfoVQA, DocVQA, SlideVQA, ViDoSeek）にわたる広範な実験により、本アプローチの有効性を実証した。

実験結果

性能向上: EVisRAG（7Bパラメータのバックボーンを使用）は、ベースラインであるQwen2.5-VL-7Bに対し、精度（Accuracy）で平均19%、F1スコアで**27%**一貫して上回る。また、より大きな32Bモデルや他の最先端のVLRMおよびVRAG手法をも凌駕している。
ハルシネーションの削減: 本フレームワークは視覚的ハルシネーションを大幅に減少させる。不適切な検索が行われるシナリオにおいて、EVisRAGは誤った回答を生成するのではなく、回答の拒絶（回答を控えること）を制御された形で増加させており、これは取得された内容に対する忠実性が向上していることを示している。
アブレーション研究:
- 一般的なCoTを証拠に基づいた推論に置き換えることで、一貫した利得が得られ、構造化された証拠のローカライズの価値が証明された。
- RS-GRPOはDAPOおよびStepGRPOを上回り、スコープ限定のクレジット割り当てが性能にとって極めて重要であることを確認した。
アテンション分析: EVisRAGは、比較された手法の中で最も高い視覚的証拠アテンション比率（人間がアノテーションした証拠ボックスへの集中度）を達成しており、これが推論精度の高さと強く相関している。
効率性: マルチステージの生成にもかかわらず、EVisRAGは競争力のある推論レイテンシ（約100秒）と出力長を維持しており、同等の精度でありながらより高い計算コストを要するR1-Routerのようなベースラインを上回っている。

意義

本論文は、明示的な証拠収集とスコープ限定の報酬設計が、マルチイメージ設定における視覚的グラウンディングと推論の信頼性を向上させるための効果的なメカニズムであることを主張している。知覚と推論を分離し、ターゲットを絞った監督を適用することで、EVisRAGはVRAGにおける視覚的ハルシネーションの根本原因に対処する。本研究は、このフレームワークを備えた7Bモデルが、大幅に大きなモデルの性能を超えることを示しており、より信頼性が高く、解釈可能で、ハルシネーションに強い視覚的検索拡張生成システムへの実用的かつスケーラブルな道筋を提示している。