技術要約: T-REGS (自己教師あり学習のための最小全域木正則化)

問題提起

自己教師あり学習（SSL）は、ラベルなしデータから表現を学習するための支配的なパラダイムとなっており、特に視覚領域において顕著である。しかし、結合埋め込み自己教師あり学習（JE-SSL）における重要な課題は、ネットワークが入力に関わらず同一または非情報的なベクトルを出力してしまう「表現崩壊（representation collapse）」である。近年の研究では、学習された特徴量が低次元の部分空間のみに占有され、特徴量の相関が高まり多様性が減少する「次元崩壊（dimensional collapse）」と呼ばれる、より微細な失敗形態が特定されている。さらに、効果的な表現には、情報の最大化を助けダウンストリームの汎化を支援するために、埋め込みが表現空間上に均一に分布することを保証する「一様性（uniformity）」が必要である。

既存の解決策には以下の限界がある：

• 対照学習法（例：SimCLR, MoCo）は、大規模なバッチサイズと多数の負例サンプルを必要とし、計算コストが高い。
• 冗長性削減法（例：Barlow Twins, VICReg）は、共分散行列を単位行列に近づけるよう強制するが、二次のモーメントにのみ依存しており、一様分布への収束を妨げる密度集中点を捉えきれない可能性がある。
• 非対称手法（例：BYOL）は、どのように崩壊を防いでいるかに関する理論的根拠に欠けている。
• 最適輸送ベースのアプローチ（例：Fangら）は、必要な理論的特性を満たしているが、計算コストが高く、SVD（特異値分解）計算による数値的不安定性を引き起こす可能性がある。

手法: T-REG および T-REGS

著者らは、次元崩壊を緩和しつつ分布の一様性を促進するように設計されたフレームワークである T-REG（Minimum Spanning Tree Regularization）を提案する。

コア概念: MST長の最大化

中心となるアイデアは、学習された埋め込みの**最小全域木（MST）**の長さを最大化することである。理論的解析により、MST長は統計的な次元推定およびエントロピー最大化に関連付けられている。

• MST長 ($E(G)$): 木における接続されたノード間のユークリッド距離の総和として定義される：$E(G) = \sum_{(z,z') \in E} \|z - z'\|^2$。
• 斥力（Repulsive Force）: 最適化プロセス中、MSTのエッジを形成する点のペアは互いに斥力を及ぼし合い、全樹木長を増大させるために自然に点同士を押し離す。

T-REG 損失関数

点が無限遠に発散する自明な解（MST長を最大化することは膨張を促すため）を防ぐために、T-REGは埋め込みをコンパクトな多様体、具体的には超球面上に制約する。総損失は以下の2つの項で構成される：

1. MST長最大化 ($L_E$): $L_E(Z) = -\frac{1}{n} E(\text{MST}(Z))$。この項は広がりを促進する。
2. ソフト球面制約 ($L_S$): $L_S(Z) = \frac{1}{n} \sum_i (\|z_i\|^2 - 1)^2$。これは単位球面からの逸脱にペナルティを課す。

結合損失は以下の通りである：
$$L_{\text{T-REG}}(Z) = \gamma L_E(Z) + \lambda L_S(Z)$$
ここで、$\gamma$ と $\lambda$ は、広がりと球面制約の維持の間のトレードオフを調整するハイパーパラメータである。

T-REGS への拡張

T-REGS は、この正則化を JE-SSL フレームワークに適用するものである。2つの拡張ビュー $X$ と $X'$ が与えられたとき、モデルは埋め込み $Z$ と $Z'$ を生成する。T-REGS は、各ブランチに対して独立に適用される正則化項として機能する：
$$L_{\text{T-REGS}}(Z, Z') = L_{\text{T-REG}}(Z) + L_{\text{T-REGS}}(Z')$$
これは以下の2つの方法で使用できる：

1. スタンドアロン: ビュー不変項（例：平均二乗誤差）と直接結合する。
2. 補助的（Auxiliary）: 性能を向上させるために、既存の SSL 目標（例：BYOL, Barlow Twins）に加える。

理論的解析

本論文は、T-REG に関する厳密な理論的保証を提供している：

• 小サンプル時 ($n \le d+1$): 定理 4.1 は、球面制約の下で MST長を最大化すると、点が**正則単体（regular simplex）**の頂点上に位置することを証明している。この構成は、全表現次元を活用することで、点同士の距離を最大化し、次元崩壊を効果的に防ぐ。
• 大サンプル時 ($n \to \infty$): 解析により、MST長とレニー・エントロピー（Rényi entropy）が結び付けられている。定理 4.4 および系 4.6 は、MST長を最大化することが、漸近的に埋め込み分布をコンパクトなリーマン多様体（球面）上の一様分布へと導くことを示している。
• 原理的な特性: T-REG は、次元崩壊を防ぎ一様性を確保するために必要な、Fangら [23] が提案した4つの特性（インスタンス置換、インスタンス複製、特徴量複製、および特徴量ベビー制約）を自然に満たす。

実験結果

著者らは、合成データおよび標準的な SSL ベンチマークを用いて T-REGS を評価した。

合成データによる検証

• 次元崩壊: 制御された崩壊レベルを持つ 1024 次元のガウスデータセットにおいて、T-REG の損失感度は W2 メトリック（Fangらによる）と一致しており、崩壊をペナルティ化する能力が確認された。
• 一様性: 点群の最適化により、T-REG が退化した、あるいはクラスター化したデータを球面上の一様な分布へと正常に変換したことが示された。高次元（256次元）において、コサイン類似度の分布は 0 付近のディラックのデルタ関数へと収束し、正則単体の構成を示した。

ベンチマーク性能

• CIFAR-10/100: T-REGS は競争力のある結果を達成し、W2 正則化手法と同等またはそれをわずかに上回る性能を示した。BYOL や Barlow Twins の補助損失として使用した場合、他の正則化（例：Lu, W2）を用いたベースラインやバリアントよりも、一貫して Top-1 正解率を向上させた。
• ImageNet-100/1k: T-REGS はスケーラビリティを実証した。BYOL および Barlow Twins の補助損失として用いた場合、両方のデータセットで性能が向上した。スタンドアロンの T-REGS（LMSE と結合）は、ImageNet-1k において 68.8% の Top-1 正解率を達成し、INTL のような最先端の手法に匹敵した。
• マルチモーダル適用（画像・テキスト検索）: CLIP のファインチューニングに適用したところ、T-REGS は Flickr30k および MS-COCO における検索性能（R@1 および R@5）を向上させた。これは、T-REGS が両方の画像およびテキストブランチにおいて一様性を強制することで、「モダリティ・ギャップ」の緩和に寄与していることを示唆している。

計算効率

• 複雑度: MST 計算には、最悪計算量 $O(B^2(D \cdot \log B))$ （$B$ はバッチサイズ、$D$ は次元）のクラスカル法（Kruskal's algorithm）を使用する。
• 実行時間: 理論的な複雑度にもかかわらず、torchph を用いた GPU 並列実装により、実用上、T-REGS は SimCLR や VICReg のステップあたりのウォークロックタイム（実時間）に匹敵する速度を実現している。

意義と主張

本論文は、T-REGS が既存の正則化戦略に対して、概念的に単純で、実装が容易であり、かつ計算効率の高い代替案を提供すると主張している。その主な意義は以下の通りである：

1. 理論的正当性: トポロジカル・データ解析とエントロピー最大化に基づき、次元崩壊の防止と一様性の促進に関する証明可能な保証を提供する。
2. 実用的な有効性: 巨大な負のバッチを必要としたり、SVD のような複雑な数値演算を必要としたりすることなく、多様なアーキテクチャ（対照学習および非対照学習）およびモダリティ（単一およびマルチモーダル）にわたって表現の質を向上させる。
3. 汎用性: スタンドアロンの目的関数としても、モジュール式の補助損失としても効果的に機能し、様々な SSL パイプラインに適応可能である。

著者らは、T-REGS が、優れた SSL 表現のための理論的要件と、実用的でスケーラブルな実装との間の溝を埋めることに成功したと結論付けている。