テクニカル・サマリー：テキストの色は何色か？ 画像埋め込みプロンプトによって誘発されるハルシネーションのベンチマーク

1. 問題定義

マルチモーダル大規模言語モデル（MLLM）は、視覚的知覚と言語的推論を整合させる上で顕著な能力を示している。しかし、その信頼性は、出力が視覚的な現実から逸脱するハルシネーションによって頻繁に損なわれる。既存の研究は主に、これらの失敗をクロスモーダルな不整合（外部のテキストプロンプトと視覚的内容との間の衝突）に帰しているが、本論文はより潜在的な課題であるイントラモーダル（単一様式内）のセマンティック干渉を特定している。

対処すべき核心的な問題は、「埋め込まれたストループ（Embedded Stroop）」効果である。すなわち、クエリ自体が視覚入力の中に直接レンダリングされている場合に何が起こるのか、という問題である。この統一された様式において、意味的内容（クエリのテキスト）と視覚的属性（インクの色）はピクセル空間内に共存する。本論文は、現在のMLLMが、実際の視覚的な色を知覚することよりも、埋め込まれたテキストの意味的内容を読み取ることを優先してしまう可能性があり、その結果、標準的な分離型評価プロトコルでは露呈できない系統的なハルシネーションを引き起こすと仮説を立てている。

2. 手法：WCITベンチマーク

この干渉を分離・測定するために、著者らはWhat-Color-Is-the-Text (WCIT) ベンチマークを導入する。

データセットの構築

• カラーパレット： 特殊なリポジトリから厳選された59種類の微細な色が選定された。
• フィルタリング： 知覚的な識別性を確保するため、$\Delta E_{00}$ (CIEDE2000) に基づくパイプラインを用いて、低コントラストの色、黒に近い色調、および複合的な名称を除外した。
• 刺激生成： サンプルは白背景で構成され、以下の3つの要素を含む：
  1. 埋め込まれたクエリ： 「What color is the text?（テキストの色は何色ですか？）」という指示が黒色でレンダリングされている。
  2. ターゲット刺激： 色を表す単語（例：「RED」）が、矛盾する物理的な色（例：青色のインク）でレンダリングされている。
• バリアント（変種）： 本ベンチマークには、効果の堅牢性をテストするために、以下の3つの主要な条件が含まれている：
  1. 標準ストループ (コントロール)： クエリはテキストプロンプトとして提供され、画像には矛盾する刺激のみが含まれる。
  2. 埋め込まれたストループ (プライマリ)： クエリが刺激と共に画像内に視覚的に埋め込まれている。
  3. 敵対的バリアント： セマンティックな判読性を妨げることでハルシネーションが軽減されるかをテストするため、反転（テキストを空間的に反転させたもの）およびマスク（テキストを遮蔽したもの）のバージョンを含む。
  4. コントロールグループ： 視覚的認識とセマンティック干渉を分離するため、矛盾する色の単語を意味的に中立な語彙に置き換えたもの。

評価フレームワーク

著者らは、一般的な知覚の失敗と、特定のセマンティック・キャプチャ（意味による捕捉）を区別するために、3方向の誤差分解を提案している：

1. 正確度 (Acc): 視覚的な色を正しく特定している。
2. ストループ・ハルシネーション率 (SHR): 視覚的な色ではなく、セマンティックなテキストの色（単語の意味）を誤って回答している。
3. その他のエラー率 (OER): 視覚的なターゲットでもセマンティックなターゲットでもない色を予測している（一般的な命名の失敗）。

さらに、ランダムな推測とストループ・ハルシネーションを区別するために、誤答のうち、具体的にストループ・ハルシネーションである割合を測定するストループ干渉比 (SIR) を導入している。

実験設定

• モデル： プロプライエタリなシステム（例：GPT-5, GPT-4o, Gemini 2.5/3）およびオープンソースのアーキテクチャ（例：Qwen3-VL, InternVL, DeepSeek-VL, Gemma-3）を含む16のMLLMを評価した。
• 指標： 評価には、置換テスト（5,000回のシャッフル）と、モデルが標準設定において正解したサンプルに限定した条件付き分析を用いた。

3. 主な結果

評価の結果、プロプライエタリおよびオープンソースの両方のモデルにおいて、広範な脆弱性が明らかになった：

• 高いハルシネーション率： 埋め込まれたストループ条件下では、モデルは大幅なSHRの上昇を示す。例えば、Gemma-3-12Bは**78.5%のSHRに達し、Qianfan-VL-8Bは83.5%**に達した。対照的に、標準ストループ設定（テキストプロンプト）ではSHRは非常に低く（多くの場合15%未満）、ハルシネーションが質問のセマンティックな内容ではなく、視覚的な埋め込みによって引き起こされていることが確認された。
• セマンティック・キャプチャの支配性： 3方向の分解によれば、多くのモデルにおいて、エラーはランダムではない。SIRは、64のモデル難易度条件のうち56において、チャンス・ベースライン（1.7%）を大幅に上回っている（FDR補正後）。一部のモデル（例：Kimi-VL-A3B）では、ほぼすべてのエラー（SIR $\approx$ 91%）がストループ・ハルシネーションであった。
• 条件付き分析： 標準設定においてモデルが色を正しく特定できたサンプルに限定して分析を行っても、統合された条件付きSHRは51.9%（95% CI: [35.4%, 66.8%]）と高いままであった。これは、この効果が単なる色の命名能力の欠如によるものではなく、視覚的知覚と矛盾する場合にセマンティック処理を抑制できないという特定の失敗であることを裏付けている。
• 粗粒度な知覚： 59の微細な色を11の基本色ファミリーにマッピングした際、モデルは粗い色の知覚（精度38.4%）は維持したが、依然として相当なSHR（21.6%）を示した。これは、語彙のミスマッチを取り除いても、セマンティック・キャプチャが持続することを示している。
• 攪乱による緩和： セマンティックな判読性を攪乱することで、ハルシネーションは大幅に減少する。埋め込まれたテキストを反転させたりマスクしたりする（例：25%の遮蔽）と、正確度の回復とSHRの減少が顕著に見られた。これは、この効果がセマンティックなテキストの判読性に依存していることを示唆している。

4. 主な貢献

1. WCITベンチマーク： クエリを視覚入力に直接埋め込むことで、視覚的属性とセマンティック的内容の優先順位付けに関する、統一様式での評価を可能にする制御された診断ツール。
2. 誤差分解フレームワーク： 置換テストと条件付き分析を通じて検証された、正しい知覚、ストループ特有のセマンティック・キャプチャ、および一般的な命名失敗を分離する新しい手法。
3. 条件付き検証： ストループ効果が、標準設定で良好なパフォーマンスを示すモデルにおいても高い条件付きSHRを示すことから、それが単なる色の命名能力の低さによるアーティファクトではなく、真の干渉現象であることを実証した。
4. 広範な評価： 16のモデルに対する体系的なテストにより、敵対的な摂動（反転/マスク）がハルシネーションを抑制できること、および敵対的を意識したプロンプティングがSHRを最大91%削減できること（ただし、これは主に視覚的正確さを向上させるのではなく、エラーをOERへと再分配するものである）を明らかにした。

5. 意義と主張

本論文は、現在のMLLMは、衝突が視覚的な様式内部にある場合、ストループ効果を真に克服できていないと主張している。これらの知見は、**「視覚化されたテキスト」**が視覚的知覚を上書きする超刺激として機能するという、テキストへの執着的な盲信を示唆している。

• イントラモーダルな失敗： 本研究は、ハルシネーションが主にクロスモーダルなものであるという従来の観点に異を唱えている。知覚の失敗は、厳密に視覚的な様式内の衝突から発生し得ることを示している。
• 安全性への影響： 埋め込まれたストループ干渉への感受性は、潜在的な安全上の懸念を浮き彫りにしている。矛盾するテキスト情報（例：誤解を招く道路標識や矛盾するラベル）を含む現実世界のシナリオにおいて、MLLMはテキストを視覚的証拠よりも優先することで、信頼できない判断を下す可能性がある。
• 限界： 著者らは、本ベンチマークが合成画像と英語テキストを使用していることを控えめに述べている。また、59種類の微細なカラーパレットが語彙のミスマッチを導入していることも認めているが、粗粒度な分析によってそれを緩和しようと試みている。さらに、プロンプトベースの介入によってセマンティック・キャプチャを減少させることはできるものの、根本的な視覚的知覚の課題を完全に解決するものではないことも強調している。

結論として、WCITは、視覚的属性と埋め込まれたセマンティック的内容を分離する能力におけるMLLMの根本的なギャップを明らかにする、的を絞ったストレス・テストを提供しており、より堅牢なマルチモーダル・アライメントに向けた将来の研究を促している。