技術的サマリー：反事実的意味的顕著性を通じた人間と VLM のシーン知覚におけるギャップの解明

問題提起

高次意味的シーン理解において、大規模な視覚言語モデル（VLM）が人間の知覚と整合しているかどうかを評価することは、依然として重大な課題である。深層ニューラルネットワーク（DNN）はベンチマークタスクにおいて人間と同等の精度を達成することが多いが、局所的なテクスチャ、微妙なピクセルパターン、または人間全体の知覚と矛盾する空間的関係への過度な依存など、異なる知覚戦略に依存することが頻繁にある。従来の「ホワイトボックス」解釈可能性手法（勾配ベースやアテンションマップなど）は、クローズドソースのアーキテクチャには適用できず、因果的な特徴を分離することに失敗する。さらに、受動的な指標は、シーン理解における相関と因果を区別することができない。オブジェクトの重要性を体系的に定量化し、視覚要素がシーン記述に与える因果的影響を測定するための、ブラックボックスかつモデルに依存しないフレームワークが緊急に必要とされている。

手法：反事実的意味的顕著性（CSS）

著者らは、シーンの知覚におけるオブジェクトの重要性を、それらの因果的除去によって誘発される意味的シフトを測定することで定量化するよう設計された、ブラックボックスかつモデルに依存しないフレームワークである**反事実的意味的顕著性（CSS）**を提案する。

1. 反事実的刺激の生成

CSS パイプラインは、高忠実度の反事実的画像を生成するために 3 つの段階を含む：

• オブジェクトリストの生成: 大規模 VLM（GPT-4o）が、与えられたシーンのオブジェクト名のリストを生成し、不均衡な意味的シフトや幻覚を回避するため、背景要素（空、海など）を明示的に除外する。
• セグメンテーションとマスクの前処理: 最先端のテキストプロンプト型セグメンテーションモデルSAM3がセグメンテーションマスクを生成する。マスクの品質を確保するための 4 段階の前処理パイプラインは、重複の除去（IoU > 95%）、同一ラベルを持つ空間的に近接したマスクの合併（距離 < 30 ピクセル）による構造的クラスターを統一された実体として扱うこと、画像面積の 30% 以上を占めるマスクの破棄（コンテキストの崩壊を防ぐため）、および完全なカバレッジのための膨張処理を含む。
• 画像インペインティング: 最先端の生成モデルNano Banana 2を用いて対象オブジェクトを除去し、アーティファクトのない反事実的画像を生成する。厳格な人間による検証（14 名の注釈者）により、対象オブジェクトが成功裡に除去され、交絡するアーティファクトが導入されていないことを確認する。

2. 意味的シフトの測定

シーン $I$ 内の各オブジェクト $o$ について、CSS スコアは、元の記述と、$o$ が除去された反事実的画像（$I_{do(o=\emptyset)}$）の記述との意味的表現を比較することで計算される。

• 記述の生成: 対象 VLM が、事実条件と反事実条件の両方に対して $N=5$ の独立した記述を生成する。
• 埋め込みと類似性: 文埋め込みはオープンソースモデルJasperを用いて抽出される。CSS スコアは、事実記述セットと反事実記述セット間の平均ペアワイズコサイン類似度を 1 から引いたものとして定義される：
  $$CSS(o) = 1 - \frac{1}{N^2} \sum_{j=1}^{N} \sum_{k=1}^{N} \frac{E(d_j) \cdot E(d'_k)}{\|E(d_j)\| \|E(d'_k)\|}$$
• 解釈: 高い CSS スコアは、より大きな意味的シフトを示し、除去されたオブジェクトがシーンの理解にとってより重要であったことを意味する。これらのスコアはセグメンテーションマスクにマッピングされ、トップダウンの顕著性マップを作成する。

3. 人間ベースラインとデータセット

人間ベースラインを確立するため、著者らはOSIE データセット（700 の複雑な自然シーン）を利用した。3〜6 の対象オブジェクトを含むシーンをフィルタリングし、307 の事実的シーンと1,306 の反事実的バリエーションを得た。

• 心理物理学研究: Prolific を通じて227 名の独立した参加者による大規模研究を実施し、16,289 の有効なテキスト記述を収集した。
• 実験デザイン: 被験者間デザインを採用し、どの参加者も同一シーンの複数のバリエーションを閲覧しないようにした。参加者には、VLM に使用されたプロンプトと同様に、シーンの一文記述を提供するよう指示した。
• グランドトゥルース: 人間の合意は、人間の応答の固定部分集合の平均ペアワイズ類似度を計算することで確立され、モデルの整合性を評価するための「グランドトゥルース」として機能する。

主要な結果

1. 広範な知覚的ギャップ

厳密な統計分析は、人間の認知と VLM の性能との間に体系的な乖離を明らかにする：

• Top-1 精度: 最も重要なオブジェクトを特定する際の人間間の一貫性は**73%に達したが、GPT-5、Claude、Gemini などのオープンソースおよびクローズドソースモデルを含む評価された 19 の VLM はすべて57% から 65%**の範囲で、著しく劣っていた。
• 順位相関: 人間合意の平均ケンドールの$\tau$（オブジェクト重要性の順序整合）は0.58であったのに対し、モデルのスコアは0.37 から 0.51の範囲であった。
• 普遍的な失敗: 評価されたすべての VLM は、最も重要なオブジェクトの予測や全体的なオブジェクト重要性の順位付けにおいて、人間間の一貫性レベルに到達できなかった。

2. 知覚バイアスの乖離

このギャップを駆動する特定のバイアスが特定された：

• 低次属性への過剰依存: モデルは、人間と比較してサイズバイアス（オブジェクト面積への依存）、中心バイアス（画像中心への依存）、低次顕著性バイアス（コントラスト/色への依存）が著しく強い傾向を示す。
• トップダウン事前知識の未活用: 人間はシーン理解において一貫して人間（人物バイアス）を優先するのに対し、モデルはこの優先付けを再現できず、画像を記述する際に人間像への依存が低い。
• 主要な駆動要因: 統計分析は、意味的乖離を説明する支配的要因としてサイズバイアスを特定する。サイズバイアスの乖離（$\Delta r$）と Top-1 精度のギャップ（$\Delta Acc$）との相関は0.6130（$p < 0.05$）であり、他のバイアスよりも著しく高い。

3. ホワイトボックス手法の限界

本論文は、オープンソース VLM において、従来のホワイトボックス解釈可能性手法（Raw Attention、Grad-CAM、AGCAM）を CSS と比較した。その結果、これらの受動的アテンションマップと因果的 CSS 指標との間には、驚くほど低い相関（負のケンドールの$\tau$）が見られた。ホワイトボックスマップはしばしば散漫で、疎ら、または意味的に無関係な領域に焦点を当てており、複雑な VLM アーキテクチャの解釈には不十分であることを確認した。

意義と主張

本論文は、自然シーン知覚の文脈において、現代の VLM と人間の観察者の間の意味的整合性のギャップを体系的に定量化した最初の試みを提供すると主張する。

• 方法的貢献: ホワイトボックス解釈可能性と受動的指標の限界を克服し、クローズドソースモデルにおける因果的特徴の分離を可能にする、新しいブラックボックスフレームワークとして CSS を導入する。
• 実証的貢献: 307 のシーンと 1,306 の反事実的バリエーションにわたる 16,289 の人間の応答からなる包括的なベンチマークデータセットを確立し、将来の AI-人間整合性研究のための堅牢なベースラインを提供する。
• 理論的洞察: この研究は、パラメータと訓練データのスケールアップにもかかわらず、現代の VLM は依然として、人間（の存在）のようなトップダウン意味的事前知識ではなく、誇張された低次視覚特徴（特にサイズバイアス）にデフォルトで依存することを示している。これは、VLM における「超人間的」推論能力が、根本的な知覚的整合性のギャップを必ずしも埋めるものではなく、過推論や幻覚を通じて不一致を悪化させる可能性さえあることを示唆している。
• 安全性への含意: 著者らは、これらのバイアスを特定することが、特に自動運転などの高リスク環境において、大きな背景要素を優先して小さくても意味的に重要なオブジェクトを無視することが壊滅的な結果を招きうるため、AI 安全性にとって重要であると指摘する。

本論文は、VLM が孤立したタスクにおいて創発的な整合性を示す一方で、空間的支配（サイズバイアス）への不自然な依存によって主に駆動される、包括的なシーン理解においては広範なギャップが残存していると結論づける。