技術要約: SpurLens: マルチモーダルLLMにおける偽陽性キューの自動検出

問題提起

単一モーダルな視覚モデルが偽相関（非本質的な入力属性）に依存しやすいことは十分に文書化されていますが、言語による監督が行われているにもかかわらず、マルチモーダル大規模言語モデル（MLLM）が同様のバイアスをどの程度示すのかは不明なままです。著者らは、MLLMにおける多くの重大な失敗、具体的には物体幻覚（事実と異なる内容の生成）および物体認識の失敗は、真の物体認識ではなく、偽のキュー（spurious cues）への依存に起因するという仮説を立てています。

これらのバイアスを検出するための既存の手法は、人間の監督を必要としたり、定義済みの特徴量に限定されていたり、あるいは計算コストの高いキャプション共起分析に依存していたりします。さらに、これらのバイアスがビジョンエンコーダー、言語モデル、あるいはそれらの融合（fusion）のいずれに起因するのか、また単純なプロンプティング戦略によって軽減できるのかについても明らかになっていません。

手法: SpurLens パイプライン

本論文では、偽の視覚的キューを特定し、それらがMLLMの性能に与える影響を定量化するために設計された、自動化された教師なしパイプラインであるSpurLensを導入しています。このパイプラインは、主に以下の3つのステージで動作します。

1. 偽の特徴量の提案:

   • 特定のターゲット物体 $t$ に対して、システムはGPT-4を活用して、$t$ と頻繁に共起する潜在的な偽のキュー（物体または背景要素）のリストを生成します。
   • 生成されたリストは、以下の条件を満たすようにGPT-4による厳格なフィルタリングを受けます。
     • 物理的かつ視覚的に識別可能であること。
     • ターゲット物体自体の一部ではないこと（例：「画面」は「ノートパソコン」のキューではない）。
     • ターゲット物体から切り離せないものではないこと。
     • オープンセット物体検出器によって検出可能であること。

2. 画像の特定とランキング:

   • **オープンセット物体検出器（OWLv2）**を使用して、大規模な画像データセットをスキャンし、提案された偽の特徴量の存在を確認します。
   • 画像は、検出された偽のキューの信頼度スコアに基づいてランク付けされます。これにより、各特徴に対して「偽らしさ（spuriosity）」のランキングが作成され、システムは、キューの存在量が最も高い画像（Top-K）と最も低い画像（Bottom-K）を選択することができます。

3. 偽のギャップ（Spurious Gaps）の算出:

   • ランク付けされた画像は、バイナリプロンプト（例：「画像の中に[ターゲット物体]はありますか？」）と共にターゲットとなるMLLMに入力されます。
   • 2つの主要な指標が計算されます。
     • 知覚精度（PA）ギャップ: 偽のキューを含む画像と含まない画像の間での認識精度の差。大きな正のギャップは、認識のためのキューへの過度な依存を示します。
     • 幻覚率（HR）ギャップ: 偽のキューを含む画像とベースライン画像の間での幻覚率（偽陽性）の差。大きな正のギャップは、そのキューが幻覚を誘発することを示します。
   • 最大のギャップを生じさせた特徴が、そのクラスにおいて最も影響力のある偽のキューとして特定されます。

主な貢献

• 自動発見: 人間のアノテーションや固定された特徴セットを必要とする従来の研究とは異なり、SpurLensは人間の監督なしに、幅広い物体やデータセットにわたって解釈可能な偽のキューを自動的に発見します。
• 二重の失敗モード分析: 本研究は、偽のバイアスによって引き起こされる2つの明確な失敗モードを体系的に定量化しています。
  1. 過度な依存（Over-reliance）: 偽のキューを取り除くと、性能が大幅に低下する。
  2. 幻覚の増幅（Hallucination Amplification）: 偽のキューが物体の幻覚を誘発する。
• 診断の深さ: 本フレームワークは、アブレーション研究を通じてバイアスの発生源を分離し、バイアスがビジョンエンコーダー、言語モデル、または融合プロセスのどこに由来するかを調査し、様々な緩和戦略の有効性をテストします。

実験結果

著者らは、3つのデータセット（HardImageNet、ImageNet Subset、COCO）にわたって、5つのMLLM（Qwen2-VL、Qwen-3.5、Llama-3.2、LLaVA-v1.6、GPT-4o-mini）を評価しました。

1. 物体認識の失敗

• 偽のキューを取り除くと、すべてのモデルで認識精度が大幅に低下します。
• 例: COCOにおけるGPT-4o-miniの精度は、キューがある場合の**88.0%から、キューがない場合の67.6%**へと、**20.4%**低下しました。
• 低下の大きさはモデルやデータセットによって異なり、LLaVA-v1.6はCOCOにおいて16.0%のギャップを示しました。

2. 物体幻覚

• 偽のキューは幻覚率を劇的に増幅させます。
• 例: COCOにおいて、GPT-4o-miniの幻覚率は、キューがない場合の1.4%から、キューがある場合の11.2%へと、9.8倍に増加しました。
• ImageNetのサブセットでは、この増加はさらに顕著であり、一部のモデルでは偽のキューが存在することで幻覚率が最大18倍に達しました。

3. アブレーション研究と緩和策

• トークン・ドロップ（Token Dropping）: ターゲット物体に対応する視覚トークンを人工的に削除した場合でも、モデルは高い割合で物体の存在を幻覚し続けました（例：一部のモデルでHR > 30%）。これは、バイアスが視覚的証拠のみに依存しているわけではないことを示唆しています。
• ビジョンエンコーダーの分離: ビジョンエンコーダーの埋め込みのみを用いてバイナリ分類器を訓練した結果、顕著な偽のギャップが明らかになりました。これは、バイアスが言語モデルとは独立して、視覚表現自体の中に存在していることを示しています。
• プロンプティング戦略: 著者らは、プロンプト・アンサンブル、Chain-of-Thought (CoT) 推論、および潜在的な偽のキューを明示的にモデルに伝えることを含む、いくつかの緩和技術をテストしました。
  • 結果: いくつかの戦略は状況に応じてわずかな改善を見せましたが、いずれも「偽のギャップ」を大幅に減少させることはできませんでした。SpurLensによって特定された最強の偽のキューをモデルに「カンニング」させる形で提供しても、バイアスを排除することには失敗しました。

重要性と主張

本論文は、偽のバイアスは現在のMLLMにおける深く根ざした根本的な問題であり、異なるアーキテクチャやデータセットを横断して持続するものであると主張しています。著者らは以下の通り述べています。

1. 現在のMLLMは偽の相関に対して非常に脆弱であり、認識と生成の両面において系統的な失敗を引き起こす。
2. 単純な緩和策は不十分である。 バイアスはビジョンエンコーダーの特徴空間に組み込まれていると考えられるため、言語ベースの介入（プロンプティング）では、偽のキューへの依存を完全には解決できない。
3. 厳格な評価が必要である。 これらのバイアスの持続性は、MLLMを実世界のアプリケーションで信頼できるものにするために、現在のプロンプティング技術を超えた、より堅牢な評価方法と緩和策を求めている。

本研究は、SpurLensがこれらの失敗を診断するためのスケーラブルで解釈可能なツールを提供することを結論付けていますが、その根本原因には、モデルのプロンプティングに対する表面的な調整以上のものが必要であるとしています。