技術要約：Foveated Probes（中心窩プローブ）はビジョン基盤モデルにおける局所的な結合情報を回収する

問題提起

ビジョン基盤モデル（VFM）は、主に単一のグローバルな画像埋め込み（例：クラス・トークン、プーリング出力、またはグローバル平均プーリング）を用いて評価されます。これは画像と言語のアライメント・タスクにおいては便利ですが、モデルが空間的、関係的、あるいは結合（binding）タスクに失敗する場合、決定的な曖昧さを導入します。すなわち、関連する情報が凍結されたエンコーダーの表現の中に実際に欠如しているのか、それともグローバルな読み出し（readout）によって破棄されてしまったのか、という点です。

既存の文献では、CLIPやSigLIPのようなモデルにおける構成的マッチング、属性とオブジェクトの結合、および局所的な空間推論の失敗が記録されています。逆に、高密度予測手法は、パッチ・トークンが有用な局所情報を保持していることを示唆しています。本論文は、表現の失敗（情報が真に欠如している状態）と、読み出しレベルの空間的盲目性（情報はパッチ・トークン内に存在するが、グローバルなベクトルへと集約される過程でアクセス不能になる状態）を区別することを提唱しています。著者らは、グローバル・プーリングが局所的なラベル変化の証拠を希釈し、同時に無関係なオブジェクトによるノイズ（摂動）に対してプローブを露出させてしまうと主張しています。

手法

本研究では、ダウンストリームの分類タスクのためにパッチ・トークンを集約するメカニズムのみを変化させ、ビジョン・エンコーダーを凍結状態に保つことで、読み出しインターフェースを分離して検証しています。ビジョン・タワーおよびテキスト・タワーのいずれにも勾配は更新されません。

読み出しプロトコル

1. グローバル・リードアウト（ベースライン）:
   • グローバル平均プーリング (GAP): すべてのパッチ・トークンを一様に平均化する。
   • サマリー・トークン: 学習済みのサマリー埋め込み（例：CLIPのクラス・トークン）を使用する。
   • 質問のみ (VLMタスク): 事前知識を測定するためにテキスト埋め込みのみを使用する。
2. Foveated Readout（中心窩読み出し - 提案手法）:
   • 凍結されたパッチ・トークンに対する、軽量なシングルクエリ・アテンション・プーリング。
   • クエリ $q$ （ビジョンのみのタスクでは学習され、VLMタスクでは質問の埋め込みから派生する）が、トークンに対してアテンション・スコアを割り当てる。
   • 出力はトークンの加重和であり、空間的な崩壊が起こる前に証拠を選択する。
   • 極めて重要な点として、この読み出しは位置の教師信号（バウンディングボックスなど）なしで学習されます。つまり、タスクの損失のみに基づいてトークンを選択する方法を学習します。
3. Oracle Readout（オーラクル読み出し）:
   • 注釈付けされたターゲット領域内のトークンのみをプーリングする。
   • 情報がトークン内に存在することを確認するための、上限値としての診断用として機能する。

診断指標：反事実的ノイズ対信号比 (NSR)

グローバル・リードアウトがなぜ失敗するのかを定量化するために、著者らは埋め込み上で直接計算されるNSRを導入しました。

• 信号 (Signal, $S$): ラベルを定義する要因（例：ターゲットの色や形）を反事実的な操作によって変更した際の、表現の変化の平均二乗誤差。
• ノイズ (Nuisance, $N$): ラベルは固定したまま、無関係なシーン内容（ディストラクター）を変更した際の、表現の分散。
• NSR: $N / S$。低いNSRは、表現がラベルに対して敏感であり、ノイズに対して安定していることを示します。高いNSRは、表現が不適切な変動に支配されていることを示します。

評価タスク

1. 合成カラー・シェイプ結合 (CSB): ターゲットとなるオブジェクトの「色と形の結合」を、色または形のいずれかに一致する敵対的なディストラクター（ルアー）の中で特定する、制御されたタスク。
2. 混雑した形状検出 (CSD): 色の手がかりを用いずにシェイプの結合をテストするための、色を含まないCSBのバリアント。
3. GQA由来の局所的カラー結合 (GQA):* 自然画像を用いたタスク。同一画像内の同じカテゴリのオブジェクトの異なる2つのインスタンスについて、それぞれの色を問うペアの質問を行う。

主な結果

合成タスク (CSB & CSD)

• 性能差: ペアの反事実的精度において、グローバル・リードアウト（GAP/サマリー）はチャンスレベル付近（CSBでは、チャンスレベル2.8%に対し約3.5%）で推移します。対照的に、Foveated Readoutは**93.5%を達成し、オーラクルの99.3%**に迫ります。
• クラッター感受性: ディストラクターの数が増えるにつれ、グローバル・リードアウトの精度は単調に低下しますが、Foveated Readoutの精度は天井付近を維持します。
• NSR分析: グローバル・リードアウトは高いNSR（7〜15）を示します。これは、ラベル変更による変化よりも、ノイズによる変化の方が7〜15倍大きいことを意味します。Foveated Readoutは、オークルと同様に低いNSR（約0.3）を維持します。
• 敵対的ルアー: グローバル・リードアウトの性能は、ルアーの構成（例：ターゲットの形を持つルアーでは上昇し、カウンターパートの形を持つルアーでは低下する）によって激しく変動しており、シーンレベルの統計量に依存していることを示しています。Foveated Readoutは、ルアーの構成に対して不変です。

自然画像タスク (GQA*)

• ペア精度: 質問に依存しないグローバル・ベクトルは、質問のみの事前知識（チャンスレベル2.3%）に対してわずかな改善しか示しません（約4%）。
• Foveationの影響: 質問条件付きのFoveationは、17.0%のペア精度を達成し、グローバル・リードアウトの性能の約4倍となります。
• オークルとのギャップ: オークルは33.0%に達しており、これはFoveated Readoutがかなりの信号を回収している一方で、凍結された表現にはまだ軽量なセレクターでは完全に回収できていないオブジェクト固有の色情報が含まれていることを示唆しています。

貢献

1. 読み出しレベルの空間的盲目の定式化: 本論文は、この現象を真の表現の失敗から明確に区別し、診断ツールとしての反事実的NSRを導入しました。
2. Foveated Probing プロトコルの導入: エンコーダーの微調整や位置の教師信号を使用せずに、局所的な結合情報を回収する、最小限の学習可能なアテンション・プーリング・リードアウトを提案しました。
3. 実証的証拠: グローバルな集約が利用可能な情報を欠如しているように見せかけ得ることを証明しました。本研究は、軽量なセレクターがオークルがアクセス可能な信号の大部分を回収できることを示しており、「空間的盲目」は凍結モデルにおける情報の欠如ではなく、多くの場合、グローバルな埋め込みインターフェースによるアーティファクトであることを示唆しています。

意義と主張

本論文は、「凍結されたビジョンモデルは空間的に盲目か？」という問いは、定義が不十分であると結論付けています。答えは、パッチ・トークンにアクセスするためのインターフェースに完全に依存します。

• 失敗の再評価: 空間的および構成的なタスクにおける失敗を、直ちに基礎モデルにおける表現の欠如に帰すべきではありません。むしろ、情報はグローバル・プーリングによって抑制されている可能性があります。
• 評価原則: 局所的な失敗を学習された表現の欠如に帰する前に、研究者は、パッチ・トークンを保存または選択的にアクセスする読み出しを用いてもその結論が維持されるかどうかをテストすべきです。
• 限界: 著者らは、Foveated Probeは診断的な介入であり、より豊かなクロスモーダル相互作用を持つアーキテクチャの代替ではないことを述べています。また、本研究は局所的な属性結合に焦点を当てており、これらの診断を他の関係的タスクやアーキテクチャに拡張することは今後の課題としています。

結果は、グローバルな埋め込みは有用な要約ではあるものの、パッチ・トークンが保持している情報の完全な記述であると誤解してはならないことを示しています。