技術的サマリー：ReactBench

問題定義

マルチモーダル大規模言語モデル（MLLM）は、視覚と言語の理解において顕著な進展を示していますが、視覚入力と整合性のない意味的に一貫した回答を生成する「マルチモーダル幻覚」を起こしやすいままです。既存のベンチマーク（例：POPE、AMBER）はこれらの問題を診断する上で基礎的な役割を果たしてきましたが、MLLM の進展に伴い、以下の 3 つの重大な限界を示しています：

1. 単純なシナリオ：多くのベンチマークは基本的なシーンと限られたクエリ形式に依存しており、最先端モデルによる飽和と、真の能力限界を捉えられない過大評価された性能指標をもたらしています。
2. 孤立した原因分析：最近の取り組みは、言語的バイアスや共起バイアスなどの特定の要因を孤立して調査する傾向があり、統一的な原因駆動型の枠組みが欠如しています。さらに、一部のベンチマークは敵対的サンプルの生成にテキストから画像への生成に依存しており、現実世界の代表性を損なう可能性があります。
3. 微細な診断の欠如：既存の評価は、通常、幻覚行動の集計性能や粗粒度の要約に焦点を当てており、推論プロセス内の特定のサブ原因に遡って幻覚出力を追跡するために、Chain-of-Thought（CoT）推論痕跡をほとんど利用していません。

手法

これらのギャップに対処するため、著者は結果指向の検出から原因指向の診断へと評価パラダイムをシフトさせるように設計された、体系的かつ原因駆動型のベンチマーク「ReactBench」を導入します。この手法には、それぞれ特定の失敗メカニズムに対応する 4 つの標的タスクと、データセット構築のための半自動パイプラインが含まれます。

1. タスク定義

ReactBench は、幻覚の 4 つの代表的な原因に対応する 4 つのタスクを通じて MLLM を評価します：

• 関係の消去（共起バイアス）：統計的共起によって引き起こされる幻覚を対象とします。高頻度のオブジェクトトリプレット（例：スケートボード - 車輪）が選択され、一方のエンティティが視覚的に消去されます。モデルは、直接質問、常識に基づく帰納、前提に基づく帰納、そして不条理な対比帰納という 4 つの次元を用いて、消去されたオブジェクトの存在について質問されます。
• 反事実的属性（言語的バイアス）：視覚的証拠よりも先行知識への依存を対象とします。高頻度のオブジェクト - 属性タプル（例：リス - 柔らかい灰色の毛）が、反事実的な状態（例：トゲのある棘）に編集されます。モデルは、同じ 4 つのクエリ次元に対して編集された属性を識別する能力が評価されます。
• 変更追跡（画像間比較知覚）：画像ペアの比較における欠陥を対象とします。画像内のオブジェクトは、移動、削除、追加、置換などの微細な変更を受けます。モデルは、位置ヒント付き、操作ヒント付き、ヒントなしの 3 つの設定で変更を特定する必要があります。
• 高密度カウント（微細な知覚ボトルネック）：密なシーンで同一クラスの複数のオブジェクトを数えることの困難さを対象とします。モデルは、正確な数量または区間ベースの範囲について質問されます。

2. データセット構築パイプライン

ベンチマークの構築には、高い忠実度を確保する半自動パイプラインが関与します：

• ソースデータ：画像は、最初の 3 つのタスクについてはVisual Genomeから、高密度カウントについてはFSC147から提供されます。
• 統計的フィルタリング：候補画像は、共起確率とオブジェクト頻度に基づいて選択され、強いバイアスまたは先行条件を確保します。
• MLLM による編集：インスタンスレベルの情報が MLLM に供給され、正確な編集指示を生成し、それらが画像編集モデル（Qwen-Image-Edit-2511）によって実行されて敵対的サンプルを作成します。
• 試験形式の QA 生成：MLLM は、編集された画像とメタデータに基づいて大規模な質問 - 回答ペア（多肢選択、はい/いいえ、自由記述）を生成し、特定の誘導次元（例：不条理な対比）を組み込みます。
• 人間による検証：2 段階の人間レビュープロセスが、画像編集の品質と QA の正確性を検証し、視覚的忠実度と回答の正確性を確保します。

3. 評価フレームワーク

• 指標：標準的な精度に加えて、著者は質問の難易度（自由記述を 50%、多肢選択/はい・いいえを 25%）とタスクの難易度（関係の消去と高密度カウントをそれぞれ 30%）を考慮した階層的加重指標であるReact-Scoreを提案します。
• 微細なサブ原因分析：著者は CoT 推論痕跡を利用して診断分析を行います。各タスクに対してサブ原因の分類体系を定義し（例：関係の消去に対する活動 - エンティティ補完、反事実的属性に対する盲目的な先行主張）、LLM を用いて幻覚回答をこれらの特定のサブ原因に帰属させます。

主要な結果

13 の高度なオープンソース MLLM（Qwen3.5、InternVL3、LLaVA シリーズ、MiMO-VL などを含む）で広範な評価が行われました。

• 全体的な性能：現在の MLLM は依然として著しく脆弱であり、平均精度は概ね 40% から 60% の範囲です。最高性能のモデルであるQwen3VL-32B-Thinkingは React-Score 65.3 を達成しましたが、LLaVA-v1.6-7Bのような以前のアーキテクチャはわずか 34.5 でした。
• Chain-of-Thought（CoT）の効果：CoT 推論の導入は、分岐した効果をもたらしました。反事実的属性タスクにおける言語的バイアスに起因する誤りの軽減には寄与しましたが（例：Qwen3VL-32B-Instruct で +8.0% の改善）、変更追跡や高密度カウントのような知覚集約型タスクでは、しばしば性能を低下させました。これは、長い推論連鎖が視覚的不確実性を増幅し、中間的な誤解を蓄積する可能性を示唆しています。
• タスク固有の洞察：
  • 知覚対先行知識：モデルは、事前学習データ分布に根ざしたタスク（関係の消去、反事実的属性）に比べて、知覚指向のタスク（変更追跡、高密度カウント）でより明確な改善を示しました。前者では性能が 60% 強で頭打ちになりました。
  • 質問形式：自由記述の Short-Answer（SA）質問は、多肢選択（50.4%–64.9%）またははい/いいえ形式に比べて著しく困難であることが判明しました（19.1%–28.4% の精度）。これは、自由形式の生成における視覚的グラウンディングの欠如を示しています。
  • 誘導次元：「不条理な対比」クエリは幻覚を誘発する上で非常に効果的であり、最も深刻な性能低下を引き起こしました。
• サブ原因の分布：分析は支配的な失敗パターンを明らかにしました：
  • 関係の消去：エラーの 68% は活動 - エンティティ補完とシーン - オブジェクト関連付けに起因しました。
  • 反事実的属性：エラーの 83.1% は盲目的な先行主張と共通属性の投影に起因しました。
  • 変更追跡：エラーの 89.7% は画像間状態の同化と微細な盲目性に起因しました。
  • 高密度カウント：通常のショートカット誤り（49.1%）と逐次列挙の不足（30.9%）が主要なボトルネックでした。

意義と主張

この論文は、ReactBench がマルチモーダル幻覚を診断するための体系的かつ解釈可能なテストベッドを提供すると主張しています。その意義は以下の点にあります：

1. パラダイムの転換：単純な結果検出から、特定の失敗メカニズム（共起バイアス、言語的バイアス、比較知覚の欠如、微細なボトルネック）を体系的に露呈させる原因駆動型フレームワークへの移行。
2. 診断の粒度：幻覚を特定の推論の崩壊に遡って追跡する微細なサブ原因分類体系の提供。これにより、一般的な「大規模化」アプローチを超えた、モデル改善のための実行可能な洞察が得られます。
3. 現実世界の忠実度：合成のテキストから画像への生成ではなく、ターゲットを絞った編集を施した実画像を使用することで、ベンチマークはより高い視覚的忠実度と現実世界の代表性を維持しています。
4. 将来の MLLM への指針：結果は、将来のモデルが単なるスケーリングに頼るのではなく、視覚的に支持されない妥当な先行知識を抑制し、局所的な比較やオブジェクトレベルの追跡などの視覚的検証メカニズムを強化するといった、標的を絞った緩和戦略を必要とすることを示唆しています。

著者は、ReactBench が単なる評価ベンチマークとして機能するだけでなく、将来の MLLM の堅牢性を向上させるための実行可能な指針を提供すると結論付けています。