Benchmarking Deflection and Hallucination in Large Vision-Language Models

この論文は、視覚とテキストの証拠間の矛盾や不十分な知識への適切な「回避（deflection）」応答を評価する動的なデータ収集パイプラインと「VLM-DeflectionBench」ベンチマークを提案し、大規模視覚言語モデル（LVLM）が誤った証拠に対して適切に回答を拒否できない現状を明らかにするものです。

要約

🕵️‍♂️ 物語の舞台：「AI 探偵」の新しい試験

最近の AI（特に画像を見て文章で答える「大規模視覚言語モデル」）は、すごい知識を持っています。でも、ある問題に直面すると、**「知らないのに、無理やり答えを作ってしまう（嘘をつく）」という癖があります。これを専門用語で「ハルシネーション（幻覚）」**と呼びます。

逆に、**「本当にわからないなら、答えられないと正直に言う」ことを「ディフレクション（拒絶・回避）」**と呼びます。

この論文の著者たちは、「今の AI は、『知らない』と正直に言えるようになっているか？」を測るために、新しい試験「VLM-DeflectionBench」を作りました。

🍳 料理の例え：「レシピがない時のシェフ」

この試験の仕組みを、**「レシピがない時のシェフ」**に例えてみましょう。

1. 従来のテスト（古い試験）：

   • 「この料理の材料は何？」と聞かれて、シェフが「たぶん卵と牛乳かな？」と適当に答えても、正解に近いから「正解！」とされてしまいました。
   • また、AI がすでに頭の中に持っている知識（パラメトリック知識）だけで答えられる問題ばかりだったので、AI が「検索」する必要性がテストされていませんでした。

2. 新しいテスト（VLM-DeflectionBench）：

   • 状況 A（パラメトリック）： 何もヒント（レシピや材料）を与えずに「この料理の材料は？」と聞きます。AI は「わからない」と言うべきです。
   • 状況 B（オラクル）： 正しいレシピ（正解のヒント）だけを与えます。AI は正しく答えるべきです。
   • 状況 C（リアリスティック）： 正しいレシピと、**「似ているけど間違っている嘘のレシピ（ダミー）」**を混ぜて与えます。AI は「どれが本当のレシピか」見極め、嘘のレシピに騙されてはいけません。
   • 状況 D（アドバーサリアル）： 嘘のレシピだけを与えます。AI は「これじゃ答えられない！」と**「答えられない（拒絶）」**と言わなければなりません。

🚨 発見された「AI の弱点」

この新しい試験で 20 種類の最新の AI をテストしたところ、**「AI はまだ『知らない』と言えない」**という悲しい（でも重要な）結果が出ました。

• 嘘のレシピに騙されやすい：
  間違ったヒント（ダミー）が混ざっていると、AI は「わからない」と言う代わりに、「たぶんこうかな？」と自信満々に嘘の答えを捏造してしまいます。

  • 例え話： 料理の材料を聞かれて、正しいレシピがないのに、シェフが「たぶん、魔法の粉を使ってるはず！」と嘘をついてしまうようなものです。

• 「言葉」に弱すぎる：
  画像（視覚情報）が正解のヒントであっても、そこに**「間違った文章のヒント」**が混ざると、AI は画像を無視して、間違った文章の方を信じてしまいます。

  • 例え話： 目の前に「赤いリンゴ」の画像があるのに、横に「これは青いバナナです」という嘘のメモが置いてあると、AI は「これは青いバナナだ！」と答えてしまいます。

• 強制的に「答えられない」ようにすると、正解も言えなくなる：
  「わからない時は絶対に答えちゃダメ！」と厳しく指示すると、AI は嘘は言わなくなりますが、**「本当はわかるのに、無理やり『答えられない』と言う」**という極端な態度をとるようになりました。

  • 例え話： 「嘘をつくな！」と厳しく怒られたシェフは、正しい料理も「作れません！」と断ってしまい、結局何も提供できなくなります。

💡 何が重要なのか？（結論）

この研究が伝えたいのは、**「AI に『何を知っているか』だけでなく、『何を知っていないか』をどう振る舞うかも評価すべきだ」**ということです。

• 今の課題： AI は「知らないこと」を「知っているふり」をして答えてしまう癖が強い。
• 理想の AI： 証拠が不十分な時は、無理に答えずに「申し訳ありません、これでは答えられません」と正直に言うこと（ディフレクション）。
• 今後の方向性： 単に「正解率」を上げるだけでなく、**「いつ答え、いつ止めるか」**というバランス感覚（信頼性）を高めることが必要です。

🌟 まとめ

この論文は、**「AI に『わからない』と言わせるための新しい試験」を作りました。
その結果、今の AI は「知らないのに、無理やり答えを作ってしまう」**という癖がまだ強く残っていることがわかりました。

これからの AI は、**「正解を出すこと」だけでなく、「正解できない時に素直に止まること」**も上手にできるようになる必要があります。そうしないと、医療や法律など、信頼が何より重要な場所で AI を使うのは危険だからです。

この新しい試験は、AI が成長するにつれてアップデートされ、より賢く、より正直な AI を育てるための「土台」として使われていく予定です。

技術概要

この論文「Benchmarking Deflection and Hallucination in Large Vision-Language Models」は、大規模視覚言語モデル（LVLM）が知識に基づいた視覚質問応答（KB-VQA）タスクにおいて、情報の不足や矛盾に直面した際にどのように振る舞うか（特に「回避（Deflection）」と「幻覚（Hallucination）」のバランス）を評価するための新しいベンチマークと評価手法を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

既存の KB-VQA ベンチマークには、以下の重大な限界があります。

• 評価の欠如: 既存のベンチマークは「正解率（Accuracy）」に焦点を当てており、モデルが知識不足や矛盾する情報に直面した際に、適切に「答えられない（回避）」と判断する能力（Deflection）と、根拠のない回答を生成する幻覚（Hallucination）を区別して評価していません。
• 迅速な陳腐化: モデルのパラメータ記憶（Parametric Knowledge）が向上するにつれ、以前は検索が必要だった質問が、外部知識なしでも正解されてしまうため、ベンチマークの難易度が低下し、評価としての有効性が失われます。
• 信頼性の欠如: 現実世界では、モデルは不完全な情報に対して「推測して答える」のではなく、「答えられない」と伝えるべきですが、現在のモデルは誤った情報やノイズがある場合でも、自信を持って誤った回答（幻覚）を生成する傾向が強く見られます。

2. 手法と提案システム：VLM-DeflectionBench

著者らは、動的なデータキュレーションパイプラインを用いて、新しいベンチマークVLM-DeflectionBenchを構築しました。

A. 動的データキュレーションパイプライン

ベンチマークの難易度を時間経過とともに維持するため、以下の 3 段階のプロセスを採用しています。

1. パラメトリックフィルタリング: 強力なゲートモデル（GEMMA3, QWEN-2.5-VL など）を用いて、外部知識なし（パラメトリック知識のみ）で正解できるサンプルを除外します。これにより、残ったサンプルは必ず外部検索に依存するものになります。
2. 知識のペアリングとネガティブマイニング: 各サンプルに「正解のコンテキスト（Gold Context）」と「ダミーのコンテキスト（Distractor/Negative Context）」を付与します。テキストおよび画像の両方から、検索エンジンを用いて誤った情報を抽出し、ダミーとして追加します。
3. 品質管理:
   • 解決可能性のチェック: 正解のコンテキストを与えてもゲートモデルが正解できない場合は破棄します。
   • ダミーの妥当性チェック: ダミーのコンテキストだけでゲートモデルが正解してしまう場合は、そのダミーを除去します。
   • 最終的に、1 サンプルあたり最低 5 つのダミーを保持し、2,775 件の高品質なサンプルを構築しました。

B. 4 つの評価シナリオ

モデルの挙動を多角的に評価するため、以下の 4 つのコンテキスト条件でテストを行います。

1. Parametric: 外部知識なし（画像と質問のみ）。理想的には低精度・高回避が望ましい（知識がないため）。
2. Oracle: 正解のコンテキストのみ提供。高い精度が望ましい。
3. Realistic: 正解のコンテキストとダミーが混在。高い精度と適切な回避が望ましい。
4. Adversarial: ダミーのコンテキストのみ提供。理想的には「答えられない」という回避（Deflection）が最大化されるべき。

C. 評価プロトコル

GPT-4o をジャッジとして使用し、回答を「正解（Correct）」「誤り/幻覚（Incorrect/Hallucination）」「回避（Not Attempted/Deflection）」の 3 つに分類します。人間のアノテーションとの一致率は 92% 以上（Cohen's κ=0.91）であり、信頼性が高いことが確認されています。

3. 主要な結果

20 種類の最先端 LVLM（オープンウェイトおよびプロプライエタリ）を用いた実験から、以下の知見が得られました。

• 回避能力の欠如: 多くのモデルは、情報が不足している場合や誤った情報（ダミー）が含まれている場合でも、適切に「答えられない」と判断できず、幻覚（Hallucination）を生成してしまいます。特に Adversarial シナリオでは、多くのオープンウェイトモデルが 80% 以上で誤った回答を生成しました。
• 言語バイアス（Language-over-Vision Bias）: 視覚的な正解情報（Gold Image）が存在しても、テキストのダミー情報が混在すると、モデルは視覚情報を無視してテキストの誤情報に引きずられ、精度が劇的に低下します。テキストが視覚情報を上書きする傾向が強く見られました。
• プロンプト厳格性のトレードオフ: 「答えられないように」という指示を厳しくすると（Severe Prompt）、Adversarial 環境での回避率は上がりますが、Realistic 環境（正解情報がある場合）でも過剰に回避するようになり、精度が急落します。単純なプロンプトエンジニアリングでは、正確性と回避のバランスを最適化することは困難です。
• ノイズへの脆弱性: ダミー情報の数が増えるにつれて、モデルの精度は低下し、幻覚率は上昇しますが、回避率の増加は限定的です。モデルはノイズが多い状況でも「推測して答える」ことを好む傾向があります。

4. 主要な貢献

1. 動的キュレーションパイプラインの提案: モデルの能力向上に伴い、パラメトリックに解けるサンプルを自動的にフィルタリングし、ベンチマークの難易度を維持する仕組みを構築しました。
2. VLM-DeflectionBench の構築: 2,775 件のサンプルからなる、多様なマルチモーダル検索シナリオ（正解、ダミー、両方）を網羅した新しいベンチマークを提供しました。
3. 微細な評価プロトコルの定義: 4 つのシナリオ（Parametric, Oracle, Realistic, Adversarial）を用いて、記憶（Memorization）と検索の堅牢性（Retrieval Robustness）を分離し、幻覚と回避を明示的に測定する枠組みを確立しました。

5. 意義と結論

この研究は、LVLM の評価において「何を知っているか（Accuracy）」だけでなく、「知らないときにどう振る舞うか（Deflection vs. Hallucination）」が信頼性の鍵であることを浮き彫りにしました。

• 信頼性の向上: 現実世界のアプリケーションでは、誤った情報を自信を持って出力するよりも、不確実な場合は回答を保留する方が重要です。このベンチマークは、そのような「適切な沈黙」ができるモデルの開発を促します。
• 将来の基盤: 固定されたデータセットではなく、モデルの進化に合わせて更新可能な動的フレームワークとして設計されており、KB-VQA 分野における信頼性の高い評価の標準となり得ます。

結論として、現在の最先端モデルでさえ、不完全または誤った証拠に対して適切に回避する能力が欠如しており、検索拡張生成（RAG）システムの信頼性を高めるためには、単なる精度向上だけでなく、不確実性に対する適切な制御メカニズムの確立が急務であることが示されました。