💬 NLP

FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA

本論文は、BLIP-VQAをWikipediaやDBpediaのような外部知識源と統合することで、特に知識駆動型および分布外（Out-of-Distribution）のシナリオにおいて、ハルシネーションを大幅に減少させ、視覚的質問応答における正確性を向上させるゼロショット検索拡張生成フレームワークであるFilterRAGを導入するものである。

原著者： Nobin Sarwar

公開日 2026-01-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nobin Sarwar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

パーティーにいる場面を想像してみてください。誰かが奇妙なトッピングが乗ったホットドッグの写真を見せて、「これ、何かな？」と尋ねてきました。もしあなたがその特定のトッピングを一度も見たことがなかったら、あなたの脳は、それが何に見えるかという「思い込み」に基づいて推測しようとするかもしれません。「たぶんマスタードだろう」と言うかもしれませんが、実際にはレリッシュかもしれません。AIの世界では、このような自信満々な推測のことを**ハルシネーション（幻覚）**と呼びます。AIは自信を持っていますが、間違っているのです。

この論文は、AIが未知のデータに遭遇した際に、このような自信満々な間違いを犯すのを防ぐための新しいシステム、FilterRAGを紹介しています。

仕組みを簡単な概念に分解して説明します：

1. 問題点：「知ったかぶり」をする人

現在のAIモデル（画像を見て質問に答えることができるものなど）は、目に見えるものを説明することには長けています。しかし、「このオートバイは何のスポーツに使われるものですか？」や「この特定の調味料は何ですか？」といった、外部知識を必要とする質問を投げかけると、しばつ苦戦します。

事実を確認する方法がない場合、これらのモデルは自身の「記憶（学習データ）」に頼ります。もし学習データに偏りがあったり不完全だったりすると、AIは推測してしまいます。これは、特定の章を勉強していなかったのにテストを受ける学生が、もっともらしい答えをでっち上げて切り抜けようとするようなものです。

2. 解決策：「司書」のアプローチ

著者たちはFilterRAGを作り出しました。このシステムを、テスト中に図書館の使用を許可された学生だと考えてください。

学生 (BLIP-VQA): これは画像を見て質問を読み取るAIの部分です。画像を見る能力は高いですが、事実に関する助けを必要としています。
図書館 (Wikipedia & DBpedia): 推測する代わりに、システムは一時停止し、デジタル図書館へと走ります。そして、画像に関する現実世界の事実を検索します。
司書 (GPT-Neo): これは、図書館が見つけてきた事実を読み、最終的な回答を書き出す部分です。

AIに回答する前に「図書館をチェック」させることで、推測を止めさせ、事実に基づいた回答を行わせるのです。

3. ステップ・バイ・ステップの仕組み

論文では、料理の準備に例えて視覚化できる具体的なプロセスを説明しています。

材料を切る (グリッド): システムは画像を2x2のグリッド（4つの正方形）に分割します。
- なぜか？ 画像を細かく切りすぎると（例えば4x4のグリッド）、全体像を見失い、AIが混乱してしまいます。逆に、一つの大きなブロックのままでは、細かい詳細を見逃してしまいます。2x2のグリッドは「ゴルディロックス（ちょうど良い）」サイズです。画像の整合性を保ちつつ、十分に詳細な情報を維持できます。
写真を見る: システムは、これらの4つの正方形と質問を一緒に分析します。
検索: システムは、関連する事実を見つけるために「図書館」（WikipediaとDBpedia）へクエリを送信します。オートバイの質問であれば、「モトクロス」に関する事実を見つけるかもしれません。ホットドッグであれば、「レリッシュ」に関する事実を見つけるかもしれません。
組み立て: システムは、画像、質問、そして今見つけた新しい事実を組み合わせます。
回答: 固定された言語モデル（GPT-Neo）が、これら全ての情報を読み取り、回答を書き出します。事実を持っているため、推測する必要はありません。

4. 結果：未知の領域における改善

研究者たちは、外部知識を必要とするトリッキーな質問が詰まったOK-VQAというデータセットでテストを行いました。

ベースライン: 標準的なAIモデル（図書館なし）は、これらの難しい質問に対して約**40%**の正解率でした。彼らは多くのハルシネーションを起こしていました。
FilterRAG: 新しいシステムは**36.5%**の精度を記録しました。
- あれ、精度が低いのでは？ 論文では、生の数値自体は、巨大なコンピュータを使用する非常に複雑で大規模なシステムよりはわずかに低いものの、FilterRAGは非常に効率的であると述べています。性能と速度、そしてコストのバランスを取っています。
- 真の勝利: このシステムは、**分布外（OOD）**のシナリオにおいて非常に優れた性能を発揮しました。これは、AIが全く新しいものや奇妙なもの（例えば、見たことがない文脈でのオートバイなど）を見たとき、作り話をするのではなく、事実に根ざした回答ができることを意味します。

5. 「グラウンディング・スコア」

AIが単に推測しているのではないことを証明するために、著者たちは「グラウンディング・スコア（接地スコア）」を使用しました。これは「真実メーター」のようなものです。

もしAIが「マスタード」と言い、図書館が「レリッシュ」と言えば、スコアは下がります。
もしAIが図書館の記述に従って「レリッシュ」と言えば、スコアは高く保たれます。
FilterRAGは、質問が困難な場合でもこの真実メーターを高く保ち、単に物語をでっち上げているのではなく、実際に検索した事実を使用していることを証明しました。

まとめ

FilterRAGは、AIにテスト中の「カンニングペーパー（検索エンジン）」を与えるようなものです。ホットドッグやオートバイに関するトリッキーな質問に対して、自身の不確かな記憶に頼って答えを推測する代わりに、信頼できるデータベースから答えを探し出します。これにより、AIが自信満々に間違ったことを言うのを防ぎ、見たことがないものに遭遇する可能性がある現実世界での使用において、より安全で信頼性の高いものにしています。

技術要約: FilterRAG

問題提起
視覚的質問応答（VQA）システムには、正確な回答を生成するために、視覚的知覚とテキスト理解を統合するモデルが求められます。しかし、BLIPやCLIPといった既存の視覚言語モデル（VLM）は、特に知識集約的な質問や分布外（OOD）入力に直面した際、「ハルシネーション（幻覚）」、すなわち、もっともらしいが不正確な回答を生成するという問題に頻繁に陥ります。これらのエラーは、学習されたバイアスへの過度な依存や、関連する外部知識へのアクセスの欠如に起因することが多く、学習時に未知の概念が登場する現実世界の動的な環境において、VQAシステムの堅牢性を制限しています。

手法: FilterRAG
これらの制限に対処するため、著者らは、ハルシネーションを軽減するために外部知識ソース（具体的にはWikipediaおよびDBpedia）にVQAの回答を接地（グラウンディング）させるための、検索拡張フレームワークであるFilterRAGを提案しています。本システムは、図2に示される多段階のプロセスを通じて動作します：

視覚的前処理: 入力画像は、視覚的な詳細さと一貫性のバランスを取るために（アブレーション研究により最適と判断された）特定のグリッド（具体的には2x2グリッド）に分割されます。
マルチモーダル・エンコーディング: BLIP-VQAモデル（そのマルチモーダル混合エンコーダー・デコーダー・アーキテクチャを利用）が、画像と関連する質問から視覚的およびテキスト的な埋め込みを生成します。
知識検索: システムは、外部データベースから関連するコンテキストを動的に取得します：
- Wikipedia: 検索ベースの検索および要約ベースの抽出を介してアクセスされます。
- DBpedia: SPARQLクエリを介してアクセスされます。
拡張と生成: 取得された知識は、画像と質問のペアと組み合わされ、コンテキストを強化します。その後、凍結されたGPT-Neo 1.3B（デコーダーのみ）が、この拡張された情報を利用して最終的な回答を生成します。
ゼロショット学習: 本フレームワークはゼロショット設定で動作するため、対象データセットに対するタスク固有のファインチューニングを必要としません。BLIP-VQAとGPT-Neoの事前学習された能力を活用することで、未知のドメインへの汎化を実現します。

また、本手法は、スコアリング関数 $S(I, Q)$ と閾値 $\lambda$ を用いたOOD検出メカニズムを組み込んでおり、イン分布（ID）入力とアウトオブディストリビューション（OOD）入力を区別します。ハルシネーションは、「グラウンディング・スコア」を用いて定量化されます。これは、予測された回答の埋め込みと正解（Ground Truth）の埋め込みとの間のコサイン類似度（Sentence Transformersを使用）によって計算され、スコアが閾値 $\tau$ を下回る場合はハルシネーションとみなされます。

主な貢献
本論文は、主に3つの貢献を述べています：

FilterRAGフレームワーク: VQAの回答を外部知識ソースに接地させ、ハルシネーションを削減するための新しい検索拡張アプローチ。
ゼロショット学習の適用: ファインチューニングを必要とせずに、ゼロショット学習がいかに検索を強化し、特にOODシナリオにおけるハルシネーションを減少させることができるかを実証。
包括的な評価: OK-VQAデータセットを用いた厳格な評価を行い、知識集約的なタスクにおけるインドメイン（ID）およびOOD設定の両方での堅牢性と信頼性を評価。

実験結果
著者らは、外部知識を必要とするベンチマークであるOK-VQAデータセットを用いてFilterRAGを評価しました。主な知見は以下の通りです：

精度: FilterRAGはOK-VQAデータセットにおいて36.5%の精度を達成しました。特定の条件下では、イン分布（ID）データで37.0%、アウトオブディストリビューション（OOD）データで36.0%に達しました。
比較: 本フレームワークは、一部の最先端のアンサンブル手法（例：KATの54.41%やREVIVEの58.0%）と比較して絶対的な精度は低いものの、著者らは、それらの手法が大幅に大きなモデル（例：Frozen GPT-3 175B）や膨大な計算リソースに依存していることが多いことを指摘しています。FilterRAGは、凍結された小型モデル（BLIP-VQAおよびGPT-Neo 1.3B）を使用することで、性能と効率性のバランスを図ることを目的としています。
ハルシネーションの軽減: FilterRAGのグラウンディング・スコアは、ID（70.06%）、OOD（70.68%）、および統合設定（70.37%）において一貫していました。この一貫性は、モデルが取得された知識に効果的に回答を接地させており、一般的なVQAから知識ベースのVQAに移行する際にグラウンディング・スコアが大幅に低下するベースラインモデルと比較して、ハルシネーションの可能性を低減させていることを示唆しています。
アブレーション研究: さまざまな画像グリッドサイズ（2x2, 3x3, 4x4）を用いた実験により、2x2グリッドが精度とグラウンディング・スコアの最適なトレードオフを提供することが明らかになりました。より大きなグリッド（3x3, 4x4）は過度な断片化を招き、モデルが整合性のある視覚的特徴を抽出し、それらを検索された知識と整合させる能力を阻害しました。

意義と主張
本論文は、FilterRAGが、特にOOD入力を含むシナリオにおいて、VQAシステムのリアルタイム展開を改善するための検索拡張フレームワークの可能性を示していると主張しています。外部知識ソースを統合することで、本フレームワークはVQAシステムの堅牢性と信頼性を高め、単なる学習されたバイアスに依存するのではなく、事実に基づいた回答を保証します。著者らは、FilterRAGを、学習された知識ベースを超えて汎化を向上させるためのソリューションとして位置付けており、未知の概念が一般的である動的な環境に適しています。今後の課題としては、知識検索の質のさらなる向上と、ハルシネーションをさらに低減するためのマルチモーダル・アライメントの洗練が挙げられています。