技術要約：グローバルな幾何学的構造は視覚表現には不十分である

1. 問題提起

視覚的表現学習における支配的な仮定は、等方性（isotropy）、一様性（uniformity）、および高い有効次元数（high effective dimensionality）といった特性によって特徴付けられる、グローバルに良好に分布した埋め込みが、堅牢で汎用性の高い表現を支えるというものである。この幾何学的観点は、訓練目的関数（例：対照的整列、分散デコリレーション）や評価プロトコルを形作っており、グローバルな幾何学を表現能力の代用指標として扱ってきた。

しかし、視覚的なシーンは、単に要素が存在することだけでなく、その構成的結合（compositional binding）（すなわち、要素がいかに配置され、関連しているか）によって定義される。グローバルな幾何学は「どの」特徴が存在するかを効果的に符号化するが、「どのように」それらが構成されているかについては無感応である可能性がある。本論文は、標準的な幾何学的指標がモデルの構成的結合能力を予測できるのか、あるいはこの能力が別の、未測定の表現の質という軸に依存しているのかを調査する。

2. 手法

実験設定

著者らは、7つの異なる訓練目的関数のファミリーにわたる26種類の学習済みビジョンエンコーダを評価した。

• 分散デコリレーション（Variance Decorrelation）: Barlow Twins, VICReg
• マスクドモデリング（Masked Modeling）: MAE, BEiT, BEiTv2
• クラスタリング／蒸留（Clustering/Distillation）: DINO, DINOv2, SwAV
• 対照学習（Contrastive）: MoCo v3
• 視覚と言語（Vision-Language）: CLIP, SigLIP, EVA-CLIP
• 教師あり学習（Supervised）: ConvNeXt, ViT

テクスチャ認識や物体検出といった混同要因から構成的結合能力を分離するため、著者らは合成属性結合（Attribute Binding）ベンチマークを設計した。

• タスク: モデルは、形状と位置の結合（例：「青い正方形の左にある赤い円」）に基づいて、クエリ画像とターゲット画像を一致させなければならない。
• 制約: クエリとターゲットは、色の共起性に依存することを防ぐために、互いに素な色のセットを使用しており、モデルに抽象的な空間関係への依存を強制している。
• コントロール: 「同一／相違（Same/Different）」プローブを用い、真の相関的結合とは異なる、基本的な構造識別能力を測定した。

評価指標

1. 幾何学的指標（静的）:
   • グローバル参加比（G.PR）: グローバルな有効次元数を測定する。
   • グローバル等方性スコア（G.Iso）: 上位主成分を超えた分散の分布を測定する。
   • ローカル等方性（L.Iso）: 埋め込み空間における局所的な近傍の等方性を測定する。
2. 機能的指標（動的）:
   • ヤコビアン有効ランク（JER）: 入力と出力のヤコビアン（$J_f(x) = \partial f(x) / \partial x$）の有効ランクを測定する。これは、入力の摂動によって誘発される表現空間内の局所的な変動の次元を定量化し、**機能的感度（functional sensitivity）**を特徴付ける。
3. リードアウト分析:
   • 著者らは、コサイン類似度が失敗した場合に、代替的な幾何学的リードアウト（kNN, Local PCA）が凍結された埋め込みから結合情報を回収できるかどうかをテストした。

3. 主な結果

幾何学的指標は結合を予測できない

• 相関ゼロ: 標準的な幾何学的指標（G.PR, G.Iso, L.Iso）は、すべての26モデルにおいて、構成的結合の精度との間にほぼゼロの相関を示した（例：G.Isoにおいて $r \approx 0.11, p > 0.5$）。
• 直交性: 高品質な幾何学的特性（例：高い等方性）は、機能的な結合性能には翻訳されない。優れたグローバル幾何学を持つモデル（DINOv2やCLIPなど）であっても、結合タスクにおいてはチャンスレベル（偶然レベル）に近い性能しか示さなかった。
• 堅牢性: この帰無結果は、様々なハイパーパラメータの選択（近傍サイズ $k$）や指標の定式化（有効ランク、参加比）においても保持された。

機能的感度が結合を予測する

• 強い相関: ヤコビアン有効ランク（JER）は、結合精度と強い正の相関を示した（$r = 0.69, p < 0.001$）。
• 予測力: JERと「同一／相違」識別精度の二変量回帰は、結合性能の分散の**78%**を説明した（$R^2 = 0.78$）。
• 目的関数への依存性:
  • 分散デコリレーション目的関数（Barlow Twins, VICReg）は、高いJER（28.8）を維持し、最も高い結合精度（44%）を達成した。
  • 対照学習および視覚と言語目的関数（CLIP, DINOv2）は、ヤコビアンスペクトルにおいて「ランク崩壊（rank collapse）」を示し、その結果、低いJER（18–20）とチャンスレベルに近い結合精度（13%）となった。
  • 教師ありモデルは、最も低いJER（~14.1）を示した。

ランク崩壊のメカニズム

• スペクトル分析: 分散デコリレーションモデルは、平坦で減衰の緩やかな特異値スペクトルを維持しており、これは入力方向に対して一様な感度を示していることを意味する。対照的に、CLIPやDINOv2のようなモデルは急速なスペクトル減衰を示し、少数の支配的なモードに感度を集中させている。
• 深さの分析: ランク崩壊は、目的関数に応じて異なる段階で発生する。CLIPやDINOv2は中間層（ブロック5–8）で崩壊するが、MAEはバックボーンでは高いランクを維持するものの、プロジェクション層で急激に崩壊する。
• リードアウトの限界: 代替的な幾何学的リードアウト（kNN, Local PCA）は、JERが低いモデルの結合精度を向上させることはできなかった。これは、結合情報が事後的な幾何学的操作を通じて回収可能なものではないことを示唆している。

汎用性

• JERと結合性能の間の相関は、CLIPファミリー内において、自然画像（SugarCrepeベンチマーク）に対しても一般化した。JERは、ゼロショットImageNet精度を制御した後でも、性能を予測した（$r = 0.69$）。

4. 理論的説明

本論文は、幾何学的規則性と機能的感度の間の乖離は、目的関数の設計に起因すると断じている。

• 分散デコリレーション: これらの目的関数は、拡張（augmentation）を介して二次統計量（共分散）を明示的に制約する。これにより、損失がヤコビアン（$J(x)\Sigma_\delta J(x)^\top$）を直接的に形作ることを強制し、複数の入力方向に対する感度を維持し、高いJERを保つ。
• 対照的／クラスタリング／マスクド／セマンティック: これらの目的関数は、ランク不足の射影（例：類似度や再構成誤差の勾配）を通じてのみヤコビアンを制約する。そのため、特定のタスク（例：セマンティックな整列やインスタンス識別）に対して直交する方向は制約を受けず、結果として機能的なランクの崩壊と構成的感度の喪失を招く。

5. 意義と主張

著者らは、グローバルな埋め込みの幾何学は、表現能力の部分的な側面しか捉えていないと主張している。

• 現在の指標の限界: 広く用いられている幾何学的診断は、単一因子の変動（例：特徴の存在）に駆動されるタスクの性能は確実に追跡するが、真の構成的構造を必要とするタスクにおいては系統的に失敗する。
• 新しい診断軸: 本論文は、機能的感度（ヤコビアン有効ランクによって測定される）を、複合的な構造をモデル化するための重要な補完的軸として確立した。
• 固有の性質: 構成的構造への線形的なアクセシビリティは、代替的な幾何学的リードアウトを通じて回収できる特徴ではなく、事前訓練の目的関数によって誘発される固有の性質であることが示された。

本研究は新しい訓練アルゴリズムを提案するものではなく、なぜ特定の目的関数（分散デコリレーションなど）が構成的タスクで成功し、他の目的関数（対照学習など）が（共に「良好な条件を備えた」グローバル幾何学を生成しているにもかかわらず）失敗するのかを理解するための診断フレームワークを提供するものである。