技術要約: IDEST – 内在次元による自己教師あり学習表現の評価

問題提起

自己教師あり学習（SSL）は、ラベルなしデータから意味のある表現を抽出するための支配的なパラダイムとなっている。しかし、これらの表現を評価するための標準的なプロトコルである**線形プロービング（linear probing）**には、重大な限界が存在する。それは計算コストが高く、ハイパーパラメータに敏感であり、表現空間の幾何学的構造に関する洞察が限られていることである。さらに、$\alpha$-ReQやRankMeといったスペクトル特性に基づく既存の幾何学的プロキシは、表現の崩壊（representation collapse）が発生する場合に失敗する仮定（べき乗則の減衰など）に基づいているか、あるいは特定のアーキテクチャ（結合埋め込みアーキテクチャなど）に限定されている。加えて、内在次元（Intrinsic Dimension, ID）は、教師あり畳み込みネットワークにおける汎化性能と関連付けられているが、現代のSSLの設定におけるその挙動と有用性、特にSSL特有のデータ分布（$n \approx d$ の非漸近的レジームや、拡張されたビュー間の依存関係）における課題については、ほとんど未探索のままである。

手法: IDEST

著者らは、最小全域木（Minimum Spanning Tree, MST）を用いた内在次元推定に基づく、SSL表現を評価するための教師なし基準であるIDESTを提案する。

理論的基礎

本手法は、汎化誤差と内在次元の間の関連性に立脚している。Konz & Mazurowski (2024) を引用すると、データサイズ $N_D$ のデータセットを補間する十分に訓練されたモデルの汎化誤差 $L$ は、$O(N_D^{-1/d})$ でスケールする（ここで $d$ は内在次元である）。これは、固定されたデータサイズに対して、より低い内在次元が、より効率的な表現と、潜在的に優れたダウンストリーム性能に対応することを意味する。

推定器の選択: dimMST

著者らは、TwoNNや**最大尤度推定（MLE）**のような標準的なパラメトリック推定器を拒絶する。これらの手法は、データポイントが局所的に一定の密度を持つ分布から独立同一（i.i.d.）にサンプリングされていることを仮定しており、ノイズ、サンプリング密度の変動、およびデータ拡張によって導入される特定の依存関係（図2において、単純なヘリックス多様体上でTwoNNが逸脱する様子で示されている）により、SSLの設定では失敗することが多い。

代わりに、IDESTは、ユークリッド関数論（Costa & Hero, 2006）から導出された最小全域木（MST）次元推定器（$\text{dimMST}$）を利用する。

• メカニズム: この推定器は、点群のMSTの総エッジ長の漸近的な成長率に依存する。関係式は以下のように定義される：
  $$\lim_{n \to \infty} n^{-\frac{d-1}{d}} \cdot L(\text{MST}(X_n)) = C'$$
  ここで $L$ は総エッジ長、$C'$ は定数である。
• 実装: 内在次元 $d$ は、増加するサイズのサブサンプル $n_i$ に対する対数-対数線形回帰を通じて推定される：
  $$\log(L(\text{MST}(X_{n_i}))) \approx \frac{d-1}{d} \log(n_i) + \log(C)$$
  傾き $m$ から $d = 1/(1-m)$ が得られる。
• 堅牢性: $\text{dimMST}$ は、ノイズ、サンプリング密度の変動、および高い周囲次元に対して理論的に堅牢であり、ビジョンSSLに固有の $n \approx d$ レジームに適している。

評価プロトコル

IDESTは、分類器ヘッドに渡される**凍結された表現（frozen representations）**に対して動作し、これは標準的な線形プロービングのプロトコルと一致する。クラス・トークンを持たないモデル（例：I-JEPA）の場合、パッチ・トークンは平均プーリングされる。クラス・トークンを持つモデル（例：DINO）の場合は、そのトークンが直接使用される。

主な貢献

1. IDESTの提案: MSTを用いた内在次元推定に基づく、SSL表現を評価するための教師なし基準の提案。
2. 実証的検証: 多様なデータセット、アーキテクチャ、およびSSL事前学習目的において、IDESTがダウンストリームの線形プロービング性能と強く相関していることを示す。
3. ハイパーパラメータ選択: IDESTが、効率的なラベルフリーのハイパーパラメータ選択を可能にし、教師ありの代替手段と比較して計算コストを大幅に削減できることを示す。

実験結果

1. ダウンストリーム性能との相関

著者らは、33のモデルを14のSSL手法（VICReg、DINO、DINOv2、I-JEPA、CLIP、SigLIPなどを含む）および様々なアーキテクチャ（ResNet、ViT）にわたって評価した。

• データセット内相関: IDESTは、ImageNet、iNat-18、iNat-21、およびSUN397におけるTop-1線形プロービング精度と強い負の相関を示す。Spearmanの $\rho \approx -0.8$ および Kendallの $\tau \approx -0.6$ は、より低い内在次元を持つモデルが一貫して高い精度を達成することを示している。
• データセット間相関: ImageNetで計算されたIDESTは、他のデータセット（iNat-18、iNat-21、CIFAR-10、CIFAR-100）に対する性能の信頼できるプロキシとして機能しており、これはモデルのデータセット固有のアーティファクトではなく、表現の本質的な特性を捉えていることを示唆している。
• 代替プロトコル: この相関は、k-NN評価およびImageNet-v2検証セットにおいても保持される。

2. 学習ダイナミクス

• オフライン・プロービング: IDESTは、事前学習を通じた表現の質の進化を追跡する。学習エポックが増加し、線形プロービング精度が向上するにつれて、推定される内在次元は一貫して減少する。
• オンライン・プロービング: IDESTは、エンコーダへのバックプロパゲーションを行わずに（分類器を事前学習中に共同で訓練する場合でも）、初期の学習段階を過ぎていれば、ダウンストリームの性能向上を効果的に監視できる。

3. 教師なしハイパーパラメータ選択

著者らは、VICReg、DINO、およびI-JEPAの最適なハイパーパラメータ（学習率、重み減衰、温度など）を選択するためにIDESTを使用した。

• 性能: IDESTによって選択されたモデルは、他の教師なしベースライン（$\alpha$-ReQ、RankMe）や弱教師ありベースライン（LiDAR）と同等、あるいはそれ以上の性能を達成した。
• 効率性: IDESTを用いてモデルを選択することで、あらゆるハイパーパラメータ構成に対して線形プロービングを訓練するという計算コストを回避できる。

意義と主張

本論文は、内在次元がSSL表現を評価するための原理的な幾何学的プロキシとして機能すると主張している。MST次元推定器を活用することで、IDESTは以下の特徴を持つ、堅牢でラベルフリーな指標を提供する：

• 標準的な教師ありプロービング・プロトコルを、表現空間の幾何学的構造に関する洞察を提供することで補完する。
• 多様なSSLパラダイム（結合埋め込み、結合予測、ビジョン言語）およびアーキテクチャに汎化する。
• ラベル付きデータや高価な線形プロービング評価を必要とせずに、効率的なハイパーパラメータ選択を可能にすることでコストを削減する。

著者らは、彼らの研究が、分離可能性（separability）を超えて、情報がいかに低次元の幾何学的構造へと効率的に圧縮されているかを考慮することを通じて、自己教師あり学習を理解し最適化するための基本的なツールとしての幾何学的記述子の有望性を強調していることを述べている。