HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token

本論文は、視覚言語モデルがテキストを生成する前に内部表現を解析する軽量プローブを用いることで、単一のフォワードパスで幻覚リスクを検出可能であることを示し、安全性と効率性の向上に寄与する新たなアプローチを提案しています。

要約

HALP: AI の「嘘」を、言葉が出る前に見抜く魔法のセンサー

この論文は、**「画像と言葉を同時に理解する AI（VLM）」**が、よくある「嘘（ハルシネーション）」をついてしまう問題を解決するための新しい方法「HALP」を紹介しています。

これまでの方法は、AI が長い文章を生成し終わった後で「あ、これ嘘だ！」とチェックするものでした。それは、**「料理が完成して、食卓に並んでから『毒入りだ！』と気づく」**ようなもので、時間とコストがかかりすぎます。

HALP は、**「材料を混ぜている最中に、毒が入っていないかチェックする」**という全く新しいアプローチです。AI がまだ一言も喋っていない段階で、その「脳内」を覗いて「今から嘘を言いそうか？」を予測します。

---

🎭 具体的な仕組み：3 つの「聴診器」

HALP は、AI の内部にある「3 つの異なる聴診器（プローブ）」を使って、AI の心拍（内部状態）を測ります。

1. 視覚の聴診器 (Visual Features)

• どんなもの？ AI が画像を見た瞬間の「純粋な視覚情報」です。
• アナロジー： 料理人が包丁で野菜を切る直前の**「野菜そのものの状態」**をチェックすることです。
• 特徴： 画像に「青い車」がないのに「青い車」の話をするような、単純な見間違いなら、この段階で検知できる可能性があります。

2. 画像トークンの聴診器 (Vision Tokens)

• どんなもの？ 画像の情報が、AI の「言語脳（デコーダー）」に入り、言葉と混ざり始めた瞬間の情報です。
• アナロジー： 野菜を鍋に入れて、**「お湯と野菜が混ざり始めた頃」**の味見です。
• 特徴： 画像と文脈が少し絡み合っている状態なので、より複雑な間違いに気づき始めます。

3. 質問トークンの聴診器 (Query Tokens) ← これが一番強い！

• どんなもの？ 画像の情報と「質問（クエリ）」が完全に融合し、**「答えを言い出す直前」**の AI の思考状態です。
• アナロジー： 料理人が**「お皿に盛り付けて、口に出す直前」**に、その料理の完成度をチェックすることです。
• 特徴： 多くの最新の AI（Gemma-3 や Phi-4 など）では、この段階の情報が最も正確に「嘘」を予知します。

---

🔍 実験結果：どんなに賢い AI でも、心は透けて見える

研究者たちは、8 種類の最新の AI をテストしました。その結果、驚くべきことがわかりました。

• 言葉が出る前に 9 割以上見抜ける：
  多くの AI では、答えを生成する直前の「質問トークン」の状態をチェックするだけで、93% 以上の精度で「嘘をつこうとしている」かどうかを予測できました。

  • 例：「画像にビーチがある？」と聞いて、実際は山なのに「ビーチがある」と言いそうな AI は、言葉が出る前に「危険度 0.8（高い）」と判定されます。

• AI によって「心」の場所が違う：

  • 一部の AI（Qwen2.5-VL など）は、画像を見るだけで「嘘」の予兆がわかります（視覚の聴診器が得意）。
  • 別の AI（Gemma-3 など）は、画像と言語を混ぜ合わせた後の「深い思考」で嘘の予兆が現れます（質問トークンの聴診器が得意）。
  • つまり、**「どの AI にも万能な聴診器はない」**ので、AI の種類に合わせて最適なチェックポイントを選ぶ必要があります。

---

🛡️ この技術がもたらす未来：安全で賢い AI

この技術を使えば、AI の使い方が劇的に変わります。

1. 即座に「知らない」と言える（Early Refusal）：
   AI が嘘をつきそうな場合、無理に答えを作らずに**「申し訳ありません、画像からは判断できません」**と即座に答えることができます。

   • 例：「この写真の人はハリソン・フォード？」と聞いて、実は別人なのに「はい」と言いそうな AI を、言葉が出る前に止めることができます。

2. 重要な案件だけ専門家に回す（Selective Routing）：
   簡単な質問は普通の AI が答え、「嘘をつきそうな危険な質問」だけは、より高性能な AI や人間に回すことができます。これで、コストと安全性のバランスが取れます。

3. リアルタイムの安全性：
   文章を全部生成してからチェックするのではなく、**「生成する前に」**リスクを判断できるので、医療や自動運転など、失敗が許されない現場でも使えます。

---

💡 まとめ

この「HALP」という技術は、**「AI の嘘を、言葉が出る前に、その『脳内』のサインを読んで見抜く」**という画期的な方法です。

まるで、**「嘘をつこうとする人が、口を開く前に顔色を変えてしまう」**のを見逃さないような、非常に鋭いセンサーです。これにより、AI はより安全で、信頼できるパートナーになることが期待されます。

**「生成する前に、嘘を止める。」**それがこの論文が伝えたいメッセージです。

技術概要

HALP: 単一のトークン生成なしで視覚言語モデルの幻覚を検出する

技術的サマリー（日本語）

本論文「HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token」は、視覚言語モデル（VLM）が生成するテキストの信頼性を、実際のテキスト生成を開始する前に、モデル内部の表現を解析することで評価・検出する新しいフレームワーク「HALP」を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義：VLM の幻覚と既存手法の限界

• 背景: 近年の VLM（Gemma-3, LLaVA, Llama-3.2-Vision など）は優れた性能を示していますが、画像に存在しない物体を記述したり、事実と異なる情報を自信を持って生成する「幻覚（Hallucination）」という課題に依然として悩まされています。
• 既存手法の課題:
  • 事後評価（Post-hoc）: CHAIR や POPE などの既存の評価指標は、モデルが完全なキャプションを生成した後にのみ幻覚を検出できます。これは計算コストが高く、リアルタイムな介入や安全性が求められる応用（医療、自動運転など）には不向きです。
  • 生成時介入: 生成中に確率を調整する手法もありますが、これらもautoregressive（自己回帰的）なデコーディングに依存しており、生成開始前のリスク予測は困難でした。
• 研究のギャップ: 「生成が始まる前」に、モデル内部の状態から幻覚のリスクを予測し、リアルタイムで介入できる手法は存在しませんでした。

2. 手法：HALP（Pre-Generation Probing）

HALP は、テキスト生成を行う前の「単一のフォワードパス」のみでモデル内部の表現を抽出し、軽量なプローブ（分類器）を用いて幻覚リスクを予測するフレームワークです。

2.1 抽出する 3 種類の内部表現

VLM のパイプラインの異なる段階から、以下の 3 つの表現を抽出します：

1. 視覚特徴（Visual Features, VF）: 視覚エンコーダ（例：CLIP）からのグローバル平均プーリング出力。マルチモーダル融合前の純粋な視覚情報。
2. 視覚トークン表現（Vision Token, VT）: デコーダ内の最終的な視覚トークン位置における隠れ状態。視覚情報がテキストデコーダ内でどのように処理・統合されているかを反映。
3. クエリトークン表現（Query Token, QT）: 視覚トークンとテキストクエリトークンを結合したシーケンスの最終位置（生成直前）における隠れ状態。視覚とテキストが完全に統合された多モーダル情報。

2.2 プローブのトレーニング

• 抽出された各表現に対して、単純な 3 層 MLP（Multi-Layer Perceptron）をトレーニングします。
• 学習データは、10,000 件の画像-QA ペア（AMBER, POPE, MathVista などのベンチマークから構成）を使用し、LLM-as-a-Judge（GPT-4）を用いて生成された回答が幻覚を含むかどうかのラベル（0/1）を付与しています。
• トレーニング後、プローブは生成プロセスを一切実行することなく、入力画像とクエリに対して「幻覚が発生する確率（スコア）」を出力します。

3. 主要な貢献

1. 生成前の幻覚検出の実証: VLM の内部表現には、生成前に幻覚リスクを予測するための十分な情報が存在することを初めて実証しました。
2. アーキテクチャ依存性の解明: 最も予測力のある層と表現の種類はモデルによって異なることを発見しました。
   • 多くのモデル（Gemma-3, Phi-4-VL, Molmo など）では、**深層のクエリトークン（QT）**が最も強力な予測指標となりました。
   • 一部のモデル（Qwen2.5-VL, Llama-3.2-Vision）では、**純粋な視覚特徴（VF）**だけでも高い検出性能（AUROC 0.77-0.79）を示しました。
   • FastVLM-7B のように、視覚トークン（VT）が最も有効なアーキテクチャも存在し、モデルごとの「失敗経路」の多様性を示しました。
3. 軽量かつ効率的なソリューション: 生成コストを一切かけずにリスクを評価できるため、早期の拒否（Early Refusal）や、リスクの高い入力のみを強力なモデルにルーティングする「セレクトive ルーティング」などの実用的な応用が可能になります。

4. 実験結果

8 つの最先端オープンソース VLM（Gemma3-12B, LLaVA-Next-8B, Llama-3.2-11B-Vision, Phi-4-VL, Molmo-7B, Qwen2.5-VL-7B, SmolVLM, FastVLM）で評価を行いました。

• 性能指標（AUROC）:
  • クエリトークン（QT）: 8 モデル中 7 モデルで最高性能を記録。特に Gemma-3-12B, Phi-4-VL, Molmo-7B において 0.93 前後 の高い AUROC を達成しました。
  • 視覚特徴（VF）: Qwen2.5-VL-7B (0.787) や Llama-3.2-11B (0.770) などで比較的高い性能を示し、視覚ベースの検出が有効なモデルがあることを示しました。
  • 視覚トークン（VT）: 全体的に QT よりも性能は低く、モデル間でばらつきがありました（FastVLM-7B は例外で VT が優位）。
• 層ごとの分析:
  • 多くのモデルで、デコーダの深い層（L/2〜L）ほど QT の予測性能が向上し、最終出力直前に幻覚信号が集中する傾向が確認されました。
  • 一方で、FastVLM-7B や Molmo-V1-7B などは中間層でピークを示すなど、アーキテクチャによる最適抽出層の違いが明確でした。
• ドメイン別性能:
  • 時間的・ビデオ領域や知識・アイデンティティ領域では幻覚発生率が高く、検出も困難でした。
  • 属性認識や OCR 領域では幻覚発生率が低く、HALP の予測も高精度でした。

5. 意義と応用

• 安全性と効率性の向上: 生成コストを浪費せずに、高リスクな応答を事前にブロック（Early Refusal）したり、より信頼性の高いモデルへ転送したりする「セレクトive ルーティング」が可能になります。
• リアルタイム介入: 生成中のデコーディングを停止させることなく、入力段階でリスクを判断できるため、医療画像診断や自動運転など、安全性が極めて重要な分野での実用化に寄与します。
• 計算オーバーヘッドの最小化: プローブの推論時間は 10-15ms 程度であり、完全な生成（100 トークン）と比較して 1% 未満のオーバーヘッドしか発生しません。
• 透明性: 内部表現を解析することで、モデルが「なぜ」幻覚を起こす可能性があるのか（視覚的誤解か、言語的推論の誤りか）に関する洞察を提供します。

結論

HALP は、VLM の幻覚を「生成後」ではなく「生成前」に検出する画期的なアプローチです。モデルのアーキテクチャに適した最適な内部表現（視覚特徴、視覚トークン、クエリトークン）を特定することで、軽量かつ高精度なリスク評価を実現し、信頼性の高いマルチモーダル AI システムの実現に向けた重要な一歩となりました。