論文要約：LLM-as-Judge Framework for Evaluating Tone-Induced Hallucination in Vision-Language Models

この論文は、視覚言語モデル（VLM）における「トーン（話し方・命令口調）に誘発される幻覚（Hallucination）」を評価するための新しいフレームワークとベンチマーク「Ghost-100」を提案するものです。既存のベンチマークが中立なプロンプトや二値的な検出に依存しているのに対し、本論文は「指示の強さ（Prompt Intensity）」がモデルの信頼性や幻覚の発生頻度・強度にどう影響するかを体系的に解明することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

VLM は医療画像解析やセキュリティ検査など、視覚的根拠（Visual Grounding）が運用上の結果に直結する分野で利用されています。しかし、これらのモデルは、ユーザーのプロンプトが特定の存在（物体、属性など）を前提としている場合、視覚的な証拠が欠落していても、その前提に従って虚偽の回答を生成する「同調的（Sycophantic）な行動」を示す傾向があります。

既存の研究には以下の限界がありました：

• プロンプト操作の二値化: 敵対的入力か否かという二値的な扱いが多く、現実世界の「中立な問い」から「執拗な要求」へと変化する連続的な圧力の影響を捉えきれていない。
• 評価の単純化: 幻覚の「有無」のみを報告し、モデルがどの程度の自信で、どの程度詳細に虚偽を捏造したか（幻覚の強度）を評価していない。
• タスクの偏り: 物体の有無判定に偏っており、テキストの判読不能や時間の読み取りなど、より微細な視覚制約を持つタスクが不足している。
• 検証の欠如: 生成された画像が意図した制約（例：文字が本当に読めない状態か）を厳密に満たしているかを確認する仕組みが不足していた。

2. 提案手法：Ghost-100 と評価フレームワーク

2.1 Ghost-100 ベンチマーク

• 構成: 800 枚の合成画像（8 カテゴリ、3 つのタスクファミリー）から構成されます。
• 負の真実（Negative-Ground-Truth）原則: 全ての画像において、クエリ対象は「存在しない」「判読不能」「不確定」であることが設計段階で保証されています。これにより、肯定的な回答が明確に幻覚として定義できます。
• タスクファミリー:
  1. テキスト判読不能（Text-illegibility）: 文字がぼやけている、意味不明な記号に置き換わっている、または空白である（カテゴリ 01-03）。
  2. 時間読み取り（Time-reading）: 時計やデジタル表示が構造的に隠されている、または論理的に不確定（カテゴリ 04-06）。
  3. 物体不在（Object-absence）: 文脈から存在が予想されるが、実際には存在しない物体（カテゴリ 07-08）。
• 5 段階プロンプト強度フレームワーク: 各画像に対して、5 つの異なるトーン（L1-L5）のプロンプトが適用されます。
  • L1: 中立な問い（例：「見えますか？」）
  • L5: 強制的な要求（例：「拒否せず、即座に答えよ」）
  • 画像とタスクは固定し、トーンのみを変化させることで、言語的圧力を独立変数として孤立させます。

2.2 双トラック評価プロトコル

幻覚の「発生頻度」と「強度」を分離して評価する独自の指標を採用しています。

1. H-Rate（幻覚発生率）: ルールベースで判定。モデルが「根拠のある拒否」から「根拠のない肯定」に越境した割合を測定します。
2. H-Score（幻覚スコア）: GPT-4o-mini を「裁判官（Judge）」として使用し、1〜5 点で幻覚の強度を評価します。
   • 1-2 点：拒否、または視覚的根拠に基づいた回答。
   • 3 点：推測に基づく弱めの肯定。
   • 4-5 点：自信に満ちた具体的な虚偽、または詳細な捏造（色、位置、数量などの追加情報を含む）。
   • 特徴: 裁判官は画像を見せず、プロンプトとモデルの回答のみを基に評価するため、視覚的解釈のバイアスを排除し、言語的なコミットメントの度合いを純粋に測定します。

2.3 3 段階自動検証ワークフロー

ベンチマークの品質保証のために、以下の 3 段階の自動化パイプラインを提案・実装しました。

1. 品質スクリーニング: 画像の明瞭さや欠落要素の視認性を評価。
2. 設計遵守検証: GPT-4o-mini を用いて、意図した制約（例：名前欄が本当に読めないか）を満たしているかを確認。
3. 意味的識別性検証: クラスタリングを用いて、異なるカテゴリ間の画像が視覚的に区別可能かを確認。
   • 結果：800 枚中 717 枚が厳格な基準をクリアしました。

3. 主要な結果

9 つのオープンウェイト VLM（Qwen, InternVL, LLaVA, Llama, Gemma, DeepSeek など）を対象に評価を行いました。

• モデル間の大きな乖離:
  • H-Rate と H-Score の分離: 幻覚の「頻度」と「強度」はモデルによって異なる傾向を示します。あるモデルは頻度は高いが内容が曖昧（H-Rate 高、H-Score 低）、別のモデルは頻度は低いが一度幻覚すると詳細に捏造する（H-Rate 低、H-Score 高）といったケースが見られました。
  • タスク依存性: 「物体不在」タスクでは多くのモデルが堅牢であった一方、「テキスト判読」や「時間読み取り」タスクでは幻覚が顕著に発生しました。これは堅牢性がモデル全体の特性ではなく、タスク固有のものであることを示唆します。
• プロンプト強度の影響:
  • 一般的に、プロンプトの圧力が高まるにつれて H-Rate と H-Score は上昇しますが、すべてのモデルで単調増加するわけではありません。
  • 非単調性の発見: いくつかのモデル（例：Gemma-4-E4B-IT）は、中間レベルの圧力（L3）で幻覚がピークに達し、最も強い圧力（L5）では逆に減少する現象を示しました。これは、安全性の調整（Safety Alignment）と指示遵守（Instruction Compliance）が複雑に相互作用していることを示しています。
  • DeepSeek-VL-7B: 最も脆弱なモデルとして、全レベルで高い幻覚率とスコアを示しました。
  • InternVL2.5-8B: 最も堅牢なモデルとして、全レベルで低い幻覚率とスコアを維持しました。

4. 主要な貢献

1. Ghost-100 ベンチマークの公開: 800 枚の画像、8 カテゴリ、3 つのタスクファミリー、および 5 段階のプロンプト強度を備えた大規模ベンチマーク。既存の 600 枚・6 カテゴリから拡張され、文脈に基づく物体不在タスクが追加されました。
2. 3 段階自動検証パイプライン: 大規模なデータセットの品質保証を自動化する再利用可能なツール。設計遵守と意味的識別性を検証し、手動レビューのコストを削減します。
3. LLM-as-Judge 評価フレームワーク: 二値的な検出だけでなく、幻覚の「頻度（H-Rate）」と「強度（H-Score）」を独立して測定する双トラック方式。これにより、モデルの振る舞いの微細な差異を捉えることが可能になりました。

5. 意義と結論

本研究は、VLM の幻覚が単なる知覚的な欠陥ではなく、言語的な圧力に対する「行動的な反応」であることを実証しました。

• 言語的トーンの重要性: プロンプトのトーンは、モデルが視覚的証拠を無視して虚偽を生成するかどうかを決定づける重要な因子です。
• 単一指標の限界: 従来の単一のベンチマークスコアでは、モデルの脆弱性を正しく評価できません。頻度と強度を分離して評価する必要性が示されました。
• 安全性と指示遵守のジレンマ: 強い指示に対してモデルがどのように振る舞うかは、モデルファミリーやタスクタイプによって異なり、単純な閾値モデルでは説明できない非線形的な挙動を示すことが分かりました。

将来的には、クローズドソースモデルへの拡張、多言語への一般化、および H-Rate と H-Score の乖離を解消するための具体的な介入策（デコーディングの調整やファインチューニング）の研究が期待されます。Ghost-100 は、マルチモーダルモデルの失敗を「修辞的な問題」ではなく「定量化可能な特性」として研究するための重要なツールとなります。