Why Self-Supervised Encoders Want to Be Normal

Yuval Domb による論文「Why Self-Supervised Encoders Want to Be Normal」の詳細な技術的サマリーを以下に示す。

1. 問題定義

本論文は、特に情報ボトルネック（IB）フレームワーク内において、機械学習におけるコンパクトで予測的な表現を学習するという根本的な課題に取り組んでいる。その目的は、入力 $X$ を圧縮（$I(X; W)$ の最小化）しつつ、ターゲット $Y$ を予測するために十分な情報を保持（$I(W; Y)$ の最大化）する潜在変数 $W$ を見つけることである。

論文で特定された主要な課題は以下の通りである：

• 幾何学的特徴付け: 既存の IB 理論は、特に「予測多様体」（条件付き分布 $p(Y|x)$ の集合）の構造に関して、最適な表現の統一的な幾何学的像を欠いていることが多い。
• 教師あり regimes: 半教師あり学習や自己教師あり学習では、ラベル付きデータが不足しているか存在しない。標準的な IB 目的関数は、完全性を強制するために明示的なラベルに依存するため、ここで失敗することが多い。その結果、自明な解（崩壊）や偏ったラベルへの過剰適合が生じる。
• 正則化: 変分境界（VIB において見られるような）に依存してバイアスを導入することなく、表現に対して最大エントロピーを強制する、原理的な分布正則化が必要である。

2. 手法と理論的枠組み

著者らは、歪み測定としてカルバック・ライブラー（KL）ダイバージェンスを用い、IB とレート歪み理論の等価性に基づいた幾何学的かつ情報理論的な枠組みを開発した。

A. 最適エンコーダの幾何学的解釈

• 予測多様体 ($M$): 著者らは、予測多様体を $M = \{p(Y|x) : x \in \mathcal{X}\}$ と定義し、これは確率単体 $\mathcal{P}_K$ の内部に存在する。
• ソフトクラスタリング: 彼らは、任意の歪みレベル $\epsilon$ における最適エンコーダが、この多様体 $M$ のソフトクラスタリングを実行することを証明した。
  • 歪みがゼロ ($\epsilon=0$) の場合、エンコーダは最小十分統計量 $W^* = p(Y|X)$ を計算し、入力を $M$ 上の点に正確にマッピングする。
  • $\epsilon > 0$ の場合、エンコーダは $M$ 上の近接する点をソフトクラスタにマージする。
• 線形デコーダ: 標準的なパラメータ化（$W \in \mathcal{P}_K$）において、最適デコーダは線形である。すべての表現の複雑さは、入力を単体へマッピングするエンコーダに集中している。
• 次元の上限: 最適表現の内在的次元は、$K-1$ によって制限される。ここで $K$ は有効な予測次元（クラスの数または入力の内在的次元に関連する）である。

B. ディリクレからガウスへの連鎖

理論的な最適解（単体上）と実用的な深層学習（ユークリッド空間内）の間のギャップを埋めるために、著者らは正確な変換の連鎖を導出した：

1. 平坦なディリクレ分布: 単体 $\mathcal{P}_K$ 上の最大エントロピー事前分布は、平坦なディリクレ分布 $\text{Dir}(1, \dots, 1)$ である。
2. 指数関数的構成: 平坦なディリクレ分布は、$K$ 個の独立同分布（i.i.d.）の指数分布変数から構成できる。
3. ガウス構成: 各指数分布変数は、2 つの i.i.d. 標準ガウス変数の二乗和（$Z_1^2 + Z_2^2 \sim \chi^2(2) \sim \text{Exp}$）から構成できる。
   • 結果: 平坦なディリクレ分布は、正規化ステップを除いて、$2K$ 個の i.i.d. 標準ガウス変数に等価である。
   • エントロピーオーバーヘッド: この変換は、$K \log 2\pi$ ナットの非減少する「位相エントロピー」オーバーヘッドを導入する。重要なのは、著者らがこのオーバーヘッドがレート計算（$I(X; W)$ 項）には影響するが、達成可能な予測（$I(W; Y)$）には影響しないと主張している点である。なぜなら、位相情報は予測とは無関係なノイズ座標だからである。

C. SIGReg（スケッチされた等方性ガウス正則化）

ガウス構成に基づき、本論文はSIGRegを原理的な正則化器として検証する。

• SIGReg は、エンコーダ出力分布が $\mathbb{R}^{2K}$ 内の等方性ガウス分布 $\mathcal{N}(0, I)$ と一致することを強制する。
• これは、クラメール・ウールド定理とエップス・パルリー検定を用いて、モーメントだけでなく（1 次元射影を介して）完全な分布を一致させる。
• これは単体上の最大エントロピー原理の「ガウス緩和」として機能し、ラベルを必要とせずに表現の崩壊を防ぐ。

D. 実用的な損失関数（CEB 分解）

著者らは、変分境界ではなくミニバッチ周辺分布を介して推定される**条件付きエントロピーボトルネック（CEB）**分解を用いて、具体的な損失関数を導出した：

• 教師あり: $L = \beta I(X; W|Y) + (1-\beta)I(X; W)$ を最小化する。各項はクラス条件付き周辺分布と混合 KL ダイバージェンスを用いて推定される。
• 半教師あり: 限られたラベルデータに対する教師あり条件付きレートと、すべてのデータに対する SIGReg を組み合わせ、限られたラベルへの過剰適合を防ぐ。
• 自己教師あり: 条件付きレートをビュー予測プロキシ（拡張されたビューの埋め込みを予測するもの）に置き換え、分布正則化として SIGReg を使用する。

3. 主要な貢献

1. 統一的な幾何学的枠組み: レート歪み理論、十分統計量、情報幾何学を統合し、最適な IB 表現が線形デコーダを伴う予測多様体のソフトクラスタリングであることを示した。
2. ディリクレからガウスへの連鎖: 自己教師あり学習におけるガウス事前分布の使用に対する理論的根拠を提供した。単体上の最大エントロピー原理の緩和として等方性ガウスを強制することが有効であることを証明し、エントロピーオーバーヘッドを定量化して、それが予測性能を劣化させないことを示した。
3. 非パラメトリック推定量: VIB における固定事前分布によって導入されるバイアスを回避するため、変分境界ではなくミニバッチ周辺分布（CEB）を用いて、教師あり、半教師あり、自己教師ありの設定に対する具体的なエンコーダ損失を導出した。
4. SIGReg の検証: SIGReg が単なる経験的なヒューリスティックではなく、最大エントロピー原理から導出された理論的に裏付けられた分布正則化器であることを実証した。

4. 実験結果

本論文は、4 つの実験を通じて理論を検証した：

• 玩具問題（連続・離散）: 確率単体上での可視化により、ラグランジュ乗数 $\beta$ が増加するにつれて、エンコーダが自明な解から予測多様体のソフトクラスタリングへ遷移し、最終的に最小十分統計量を回復することが確認された。
• FashionMNIST（VIB vs. CEB）:
  • 提案された CEB 推定量（ディリクレエンコーダとミニバッチ周辺分布を使用）は、精度とレートのトレードオフの点で、標準的な VIB（変分境界を用いたガウスエンコーダ）を上回った。
  • CEB は、VIB（約 90.7%）と比較して、より低いレートでより高い精度（約 91.4%）を達成した。
  • 実験は相転移現象を確認した：臨界値 $\beta_c$ 以下ではエンコーダが自明な解へ崩壊し、それ以上では非自明な表現が出現する。
• 単体次元 ($K$) に関するアブレーション:
  • 10 クラスの問題において、精度は $K=10$（クラス数）で飽和した。
  • クラス数を超えて $K$ を増加させても歪みは減少するが、分類精度は向上せず、$K=|Y|$ が自然な構造パラメータであることを確認した。

5. 意義

• 自己教師あり学習の理論的基盤: 本論文は、JEPA や LeJEPA などの手法で行われている等方性ガウス事前分布の強制が「なぜ」機能するかを説明する。それは恣意的なものではなく、予測多様体上の最大エントロピー原理の緩和である。
• 「レート」と「予測」のトレードオフの解決: ガウス緩和のエントロピーオーバーヘッドを定量化することで、著者らはガウス事前分布を使用する「コスト」は、ターゲットに関する保持情報ではなく、純粋にレート計算にあることを示した。これは、単体制約付き問題を学習するためにユークリッド空間を使用することを正当化する。
• 実用的なアルゴリズム設計: 提案された CEB ベースの損失関数は、VIB よりも堅牢な代替手段を提供し、固定事前分布や変分境界の必要性を排除する。これらはしばしば最適ではない正則化をもたらす。
• 一般化: この枠組みは離散および連続ターゲットに適用可能であり、異なる教師あり regimes（教師あり、半教師あり、自己教師あり）における表現学習の統一的な視点を提供する。

要約すると、本論文は抽象的な情報理論と実用的な深層学習の間のギャップを埋め、自己教師あり学習におけるガウス正則化の使用に対する厳密な幾何学的および確率的な正当性を提供し、情報ボトルネックの最適化に対する優れたいパラメトリックなアプローチを提供する。