技術的サマリー：投影ヘッドの幾何学：条件付け、不変性、および崩壊

問題定義

自己教師あり学習（SSL）は、非線形投影ヘッドという特定のアーキテクチャ構成要素に大きく依存している。トレーニングには不可欠であるにもかかわらず、このヘッドは通常、下流の微調整前に破棄される（「ギロチン効果」）。これにより、理論的な謎が生じる。もしヘッドが事前学習損失の最小化に不可欠であるならば、なぜそれが生成する表現が推論には最適ではないのか？さらに、既存の説明（情報ボトルネックや次元崩壊の防止など）は「何が」起こるかを記述するに留まり、ヘッドが最適化地形をどのように幾何学的に変化させ、情報をフィルタリングし、収束を加速し、崩壊した鞍点を回避するかという「どのように」というメカニズムを説明できていない。

手法

著者らは、バックボーン表現多様体上の学習可能なリーマン計量として投影ヘッドをモデル化する幾何学的理論を開発した。中核的な理論的枠組みは以下の通りである：

1. 有効ヘッシアン分解：SSL 目的関数に関するバックボーン表現の有効ヘッシアン（$H_{eff}$）を通じて最適化地形を分析する。この演算子は、プルバック計量（$G(z) = J_h^\top \nabla^2_h L J_h$）と、ヘッドの内在的な曲率に駆動される相互作用項（$\sum [\nabla_h L]_i \nabla^2_z h_i$）に分解される。
2. 幾何学的条件付け：線形および非線形ヘッドが損失地形をどのように条件付けるかを調査する。線形ヘッドは、暗黙的な部分空間ホワイトニングを行う能力について分析され、非線形ヘッドは、曲がった軌道に沿って局所計量を適応させる能力について研究される。
3. 安定性分析：次元崩壊（表現が一定ベクトルに写像される現象）の安定性を、崩壊平衡点における$H_{eff}$の固有値を分析することで検討する。著者らは、連続時間勾配フローと離散時間ダイナミクスを区別する。
4. 計量の特異性と不変性：不変性目的と計量の退化との関係を形式化する。著者らは、拡張軌道に対する不変性を強制することが、特異なプルバック計量を必要とし、実質的に拡張接空間に沿った情報を破壊することを証明する。
5. 実証的検証：理論は、ヘッシアンの追跡（条件数と負の固有値の監視）、軌道圧縮分析（拡張多様体における分散減少の測定）、および活性化関数（ReLU と Swish/GELU などの滑らかな活性化）とヘッドの深さに関するアブレーション研究、ならびに様々なアーキテクチャ（ResNet、ViT）とデータセット（CIFAR-10/100）における検証によって実証される。

主要な貢献

1. 暗黙的な部分空間ホワイトニングとしての線形ヘッド

著者らは、線形投影ヘッドが暗黙的な部分空間ホワイトニングを実行することを証明する。重み行列$W$を学習することにより、ヘッドは、表現空間の関連部分空間を埋め込み空間に等長写像するマハラノビス計量を誘起する。しかし、この条件付けはグローバルであり、局所曲率が変化する曲がった多様体には不十分である。

2. 局所計量アダプターとしての非線形ヘッド

非線形ヘッド（MLP）は、曲がった最適化軌道に沿って局所的に計量を適応させる能力を持つことが示される。論文は、線形ヘッドは曲がった損失多様体をグローバルに平坦化できない（命題 3.3）のに対し、十分に深い非線形ヘッドは、軌道に沿って有効ヘッシアンを$\epsilon$-等方的にする理想的な計量を近似できることを証明する（定理 3.2）。

3. 崩壊の曲率誘発的不安定性

中心的な貢献は、明示的な負のサンプルなしに次元崩壊を回避する非対照的手法（BYOL、SimSiam など）がなぜ機能するかの幾何学的解決である。

• 定理 4.1：著者らは、滑らかな非線形ヘッドの場合、有効ヘッシアンにおける相互作用項が、崩壊平衡点において負の固有値を注入することを証明する。これにより、崩壊状態は安定した極小値から不安定な鞍点へと変換され、勾配降下法のための自然な回避メカニズムが提供される。
• ReLU のギャップ：区分的線形活性化（ReLU など）は、内在的な 2 次曲率を持たない（$\nabla^2 \text{ReLU} = 0$）。その結果、連続時間フロー下ではこの負の曲率を生成できない。論文は、ReLU ヘッドは離散時間ノイズ（有限ステップサイズ）とバッチ正規化を通じてのみ崩壊を回避すると主張するのに対し、滑らかな活性化（Swish、GELU）は不安定性のネイティブな幾何学的保証を提供する。

4. 計量の退化と情報 - 不変性のトレードオフ

論文は、計量特異性を通じて「トレーニング時には使用し、デプロイ時には使用しない」という戦略を形式化する。

• 命題 5.2：不変性目的を満たすためには、投影ヘッドは、拡張接空間が核空間（$v^\top G(z) v = 0$）に含まれる特異なプルバック計量を誘起しなければならない。
• 定理 5.3：この特異性は、バックボーンに対するフィッシャー情報行列のランク不足を引き起こす。ヘッドは幾何学的なローパスフィルタとして機能し、拡張方向に沿った情報を消滅させる。
• 結論：ヘッドを破棄することは理論的に必要である。バックボーンはデータ多様体の完全な次元性を保持するのに対し、ヘッドは不変性を強制するために必要な計量退化を吸収する。推論にヘッドを使用することは、破壊された情報（またはその欠如）を保持することになり、一方、生のバックボーンは線形に分離可能な意味を保持する。

結果

• ヘッシアン追跡：実証的な追跡は、滑らかなヘッドが有効ヘッシアンに能動的に負の固有値を注入し、崩壊状態から脱出させる「位相転移」をトリガーすることを確認する。対照的に、ReLU および線形ヘッドは、そのような負の曲率を示さず、離散ダイナミクスによる支援がない限り、連続的なフロー下で崩壊盆地に閉じ込められたままとなる。
• 軌道圧縮：実験により、投影ヘッドは拡張軌道を、ResNet で約 20 倍、ViT で約 4000 倍圧縮することが示された。これは、クラス間の意味的分離を保持しつつ、ヘッドが選択的な幾何学的圧縮機として機能することを裏付けている。
• 基盤モデル：事前学習済みモデル（DINO、VICReg、Barlow Twins）の分析は、幾何学的二極性を明らかにする。DINO ヘッドは幾何学的圧縮機として機能し（不変性を強制するために軌道を崩壊させる）、冗長性削減ヘッド（VICReg）は次元拡張機として機能する（相関除去の制約を満たすために分散を保持する）。いずれの場合も、ヘッドはバックボーンを目的関数の硬い制約から切り離す。
• 深さアブレーション：深いヘッド（3 層 MLP）は、多様体を歪め、計量特異性を分離する能力に優れており、浅いヘッドや線形ヘッドと比較して、より良い下流のバックボーン精度をもたらす。浅いヘッドや線形ヘッドは、バックボーンを計量退化から十分に遮蔽することができない。

重要性

本論文は、SSL における投影ヘッドの実証的必要性に対する機械的な幾何学的説明を提供すると主張する。それは 2 つの中心的な謎を解決する：

1. 崩壊の回避：滑らかな非線形ヘッドの内在的な曲率だけで、自明な崩壊解を不安定化できることを実証し、バッチ正規化や離散時間ノイズのみに依存する説明に対する幾何学的な代替案を提供する。
2. ギロチン効果：ヘッドが下流タスクに必要な情報を破壊する計量特異性を誘起するため、破棄されなければならないことを証明する。ヘッドは「普遍的な幾何学的バッファ」として機能し、事前学習目的の破壊的な制約を吸収して、意味的バックボーンを保護する。

この研究は、ReLU を滑らかな活性化に置き換えることが単なるヒューリスティックではなく、SSL における堅牢な最適化のためのトポロジカルな要件であることを示唆しており、標準的な 2〜3 層の MLP アーキテクチャが、これらの幾何学的条件を満たすために必要な最小容量として実証的に検証されていることを示している。