Neural collapse in the orthoplex regime

1. 問題設定と背景

ニューラル・コロラプスとは
分類タスクにおいて深層ニューラルネットワークを訓練し、訓練損失がゼロに収束する「最終段階（terminal phase）」において、以下の幾何学的現象が発生することが知られています。

1. クラス内収束: 同じクラスに属するデータ点の特徴ベクトルが、クラスごとの代表点（$h_k$）に収束する。
2. 単純体（Simplex）形成: 各クラスの代表点 $\{h_k\}$ が、原点を中心とする正単純体（regular simplex）の頂点を形成する。
3. 重みとの整合性: 分類器の重みベクトル $\{w_k\}$ もまた、同じ正単純体の頂点を形成し、特徴ベクトルと幾何学的に整合する。

既存研究の限界と本研究の動機
これまでの理論的研究（Unconstrained Features Model 下）は、主に $n \le d+1$ の領域（特徴空間に $n$ 頂点の単純体が存在できる場合）に焦点を当てていました。しかし、言語モデルなどでは $n \gg d$（クラス数が次元より遥かに多い）というケースが一般的です。
特に、$d+2 \le n \le 2d$ という「直交多面体領域」において、ニューラル・コロラプスがどのような幾何学的構造（Softmax Code）として現れるかは未解明でした。本研究は、この領域における Softmax Code の完全な特徴付けと、その最適性に関する分析を行うことを目的としています。

2. 手法と理論的枠組み

本研究では、以下の数学的アプローチを用いています。

• ハードマックス問題（Hardmax Problem）への帰着:
  温度パラメータ $\tau \to 0$ の極限において、クロスエントロピー損失の最小化問題は「ハードマックス問題」の最小化に帰着されます。
  $$\min L_{HM}(W, H) := \max_{k, i, k' \neq k} \langle w_k - w_{k'}, h_{k,i} \rangle$$
  この問題の解 $(W, H)$ を「ハードマックスコード」と呼びます。

• Softmax Code と Spherical Code の定義:

  • Softmax Code: 各クラス $j$ について、他のクラス頂点の凸包からの距離 $\delta(X)$ を最大化する配置。
  • Spherical Code: 任意の異なる 2 点間の内積 $\alpha(X)$ を最小化する配置（Tammes 問題の解）。
  • 本研究では、これらのコードが直交多面体領域で一致するか、またその構造を明らかにします。

• 解析ツール:

  • ラドン定理（Radon's Theorem）: 点集合を 2 つの非空部分集合に分割し、その凸包が交わることを保証する定理。
  • 凸性解析: 損失関数の凸性・凹性を温度 $\tau$ の関数として解析し、最適解の構造変化を導出します。
  • Rankin の直交多面体限界（Rankin's Orthoplex Bound）: 球面上の点配置における内積の下限に関する既知の結果を利用します。

3. 主要な貢献と結果

3.1. 直交多面体領域における Softmax Code の完全特徴付け（第 2 章）

定理 2: 直交多面体領域（$d+2 \le n \le 2d$）において、Softmax Code と Spherical Code は完全に一致します。

• 具体的には、Softmax Code であるための必要十分条件は、任意の異なる 2 点間の内積が $0$以下（$\alpha(X)=0$）であり、かつ距離$\delta(X)=1$ となることです。
• この領域での Spherical Code は、$2d$ 個の点 $\{\pm e_1, \dots, \pm e_d\}$ から $n$ 個を選んだもの（およびその回転）として特徴付けられます。

3.2. 自己双対性（Self-Duality）の証明（第 3 章）

定理 5: 直交多面体領域におけるすべてのハードマックスコード $(W, H)$ において、特徴ベクトルと重みベクトルは一致します（$h_{k,i} = w_k$）。

• これは、Softmax Code が「ラッター（rattler、凸包から遠く離れた点）」を持たないことを示すことで証明されました。
• 結果として、この領域では特徴空間と重み空間の幾何学的構造が完全に一致し、自己双対的な性質を持つことが示されました。

3.3. 温度依存性とエントロピーの振る舞い（第 4 章）

定理 12: 温度 $\tau$ の大小によって、クロスエントロピー損失を最小化する Softmax Code の構造が変化します。

• 低エントロピー解（Low-entropy）: 温度 $\tau$ が非常に小さい場合（$\tau < \tau_-$）、最適解は「正単純体」と「直交する直交多面体」の組み合わせで構成されます。これは、少数のクラスが密集し、残りが分散する構造です。
• 高エントロピー解（High-entropy）: 温度 $\tau$ が非常に大きい場合（$\tau > \tau_+$）、最適解は「互いに直交する複数の正単純体」の組み合わせで構成されます。これは、クラスがより均等に分散する構造です。
• この遷移は、目的関数 $f_{n,\tau}(x)$ の凸性（$\tau$ が小さいと凹、大きいと凸）の変化によって説明されます。

4. 結果の具体例

• $d=2, n=4$: 正方形（直交多面体の頂点）が解となります。
• $d=3, n=5$: 三角双錐（Triangular bipyramid）が解となります。これは低エントロピー（$p=3$）と高エントロピー（$p=2$）の両方の性質を併せ持ちます。
• $d=4, n=6$: 低エントロピー解は「3 次元部分空間の正四面体＋直交する 2 点」、高エントロピー解は「2 つの直交平面内の正三角形」という異なる構造を持ちます。

5. 意義と今後の展望

学術的意義

• 理論的拡張: ニューラル・コロラプスの理論を、$n \le d+1$ という制約から解放し、実用的な $n > d$ の領域（特に $n \le 2d$）に初めて体系的に適用しました。
• 幾何学的統一: 直交多面体領域において、最適化問題の解（Softmax Code）と幾何学的な最適配置問題（Spherical Code / Tammes 問題）が一致することを証明しました。
• 温度パラメータの役割: 温度 $\tau$ が解の幾何学的構造（エントロピー）を決定づけるメカニズムを明らかにし、学習のダイナミクスに対する新たな洞察を提供しました。

今後の課題

• $n > 2d$ の領域における Softmax Code の特徴付け。
• 普遍的最適性（Universal Optimality）の理論との関連性の解明。
• 有限の温度 $\tau > 0$ における最適解の連続的な進化の理解。

結論

本論文は、ニューラル・コロラプス現象が、特徴空間の次元とクラス数の関係が異なる場合でも、特定の幾何学的規則性（直交多面体領域では Spherical Code と一致）に従って現れることを示しました。さらに、温度パラメータによって解の構造が「低エントロピー型」から「高エントロピー型」へと遷移することを明らかにし、深層学習の幾何学的理解を深める重要な一歩となりました。