🤖 machine learning

The Implicit Bias of Depth: From Neural Collapse to Softmax Codes

本論文は、深層の正則化されていない制約なし特徴モデルにおいて、深さのみが訓練ダイナミクスを変化させ、高ランク解の吸引 basin を縮小させることで、従来の観察対象であったニューラル・クラスタリングよりもソフトマックス符号を促進する暗黙的な低ランクバイアスを誘発することを示す。

原著者： Connall Garrod, Jonathan P. Keating, Christos Thrampoulidis

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Connall Garrod, Jonathan P. Keating, Christos Thrampoulidis

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「The Implicit Bias of Depth: From Neural Collapse to Softmax Codes」の解説を、比喩を用いた日常的な言葉で翻訳したものです。

全体像：この論文は何についてか？

あるグループの生徒たち（ニューラルネットワーク）に、さまざまな種類の果物（りんご、バナナ、オレンジなどのクラス）を認識させることを想像してください。

近年、研究者たちは**「Neural Collapse（ニューラル・カプス）」と呼ばれる興味深い現象を発見しました。これらの生徒たちがこの課題に非常に熟達すると、彼らは単に果物を暗記するだけでなく、内部の「心の地図」を完璧で対称的なパターンに整理するのです。まるで全員が同意して、果物同士が互いにできるだけ遠く離れるように、完璧な円の中に等間隔で並ぶようなものです。これが学習の「ゴールドスタンダード」として知られるNeural Collapse（NC）**です。

しかし、この論文は難しい問いを投げかけます：この完璧な円は常に現れるのでしょうか？

著者たちは、ネットワークを深く（入力と出力の間に「思考」の層を多く追加する）すると、ネットワークはしばしばその完璧な円を形成することを拒否することに気づきました。代わりに、それはより平坦で低次元の形状へと崩壊します。彼らはこれを**Low-Rank Bias（低ランクバイアス）**と呼びます。

以下のように考えてみてください：

浅いネットワーク（1 層）： 生徒たちは完璧な 3 次元の球体（Neural Collapse）の中に配置されます。
深いネットワーク（多くの層）： 生徒たちは球体に乗れるはずなのに、平らな紙の上、あるいは細い線の上に押し込められます（Low-Rank）。

この論文は、外部からのルールが強制しなくても、深さそのものがこの圧縮を引き起こすことを証明しています。

主要な登場人物と概念

1. 「Unconstrained Feature Model（制約なし特徴モデル）」（UFM）

これを研究するために、著者たちは実際のニューラルネットワークの簡略化されたバージョンを使用します。教師（ネットワーク）が床のどこにでも生徒たち（特徴）を魔法のように移動させ、最良の結果を得られる教室を想像してください。彼らは生徒たちの物理的な制限（特定の部屋に閉じ込められているなど）を気にする必要はありません。これにより、研究者はネットワークがどのように考えるかという最も純粋な形態を観察できます。

2. 「富める者はさらに富む」効果

これが、深さが完璧な円を壊す秘密のソースです。

あるゲームを想像してください。そこには、さまざまなアイデアの「強さ」を表すコイン（特異値）の山があります。

浅いネットワークの場合： いくつかのコインといくつかのアイデアがあれば、それらはすべて同じ速度で成長します。全員が平等に保たれ、完璧な円が形成されます。
深いネットワークの場合： 数学が変化します。わずかに多くのコインを持っているアイデアは、少ないコインを持つアイデアよりもはるかに速く成長します。
- 比喩： 雪だるまが丘を転がり落ちるようなものです。2 つの雪だるまがあり、片方がわずかに大きいと、大きい方の雪だるまは小さい方よりもはるかに速く雪を拾い集めます。底に到達する頃には、大きい方は巨大になり、小さい方はほとんど消えてしまいます。
- 結果： ネットワークは、わずかな「超強力な」アイデアに依存し、残りを無視するようになります。これにより、完全な 3 次元の球体ではなく、**Low-Rank（低ランク）**構造（平らなシート）が生まれます。

3. 「Softmax Code（ソフトマックスコード）」

ネットワークがこの平らな形状に押し込められるとき、それは単に無秩序に崩壊するわけではありません。Softmax Codeと呼ばれる特定の秩序だったパターンを形成します。

比喩： 完璧な円（Neural Collapse）は、全員が等間隔に座る丸いテーブルだと想像してください。深さによってネットワークが押しつぶされると、生徒たちは長い細いベンチに座らされます。彼らはできるだけ離れようとしますが、円ではなく、特定の反復パターン（正多角形のようなもの）に落ち着きます。
論文は、ネットワークが深くなるにつれて、この「ベンチのパターン」が新しい最適解となり、「丸いテーブル」に取って代わることを示しています。

2 つの主要な発見

発見 1：景観の変化（漸近挙動）

著者たちは、問題の「景観」（すべての可能な解の地図）を調べました。

浅い場合： 地図には 1 つの谷（完璧な円）しかありません。どこから始めようと、同じ場所へ滑り落ちます。
深い場合： 地図には複数の谷があります。完璧な円も谷ですが、それはもはや最も低い谷ではありません。実際には（数学的に）「より深い」（より良い）他の谷（低ランクの解）が存在します。
なぜか？ 低ランク構造は、層を通じてエネルギーを「伝達」するのに優れています。低ランクの信号は、膨らんだフルサイズの球体トラックよりも、深いトンネルを通過する際により多くの貨物を運べる、より効率的な配送トラックのようなものです。

発見 2：フィニッシュへの競争（動的挙動）

著者たちは、トレーニングプロセスを実時間で観察しました。

罠：トレーニングの直後、ネットワークが小さく弱い段階で、「富める者はさらに富む」効果が働き出します。わずかに強いアイデアが非常に速く強くなります。
戻れない点： ネットワークが「線形」フェーズから脱するほど成長する頃には、すでに低ランクの道へコミットしてしまっています。川が分岐し始めるようなものです。もし早期に一方の支流がわずかに広くなると、水はその方へ流れ込み、他の支流は干上がってしまいます。ネットワークは低ランクの谷に閉じ込められ、完璧な円を見つけることは決してありません。

転換点：なぜ現実世界ではまだ完璧な円が見られるのか？

あなたはこう問うかもしれません：「もし深さがこの低ランクの混乱を引き起こすなら、なぜあなたの電話にあるような実際の深いネットワークはまだ Neural Collapse を示すのでしょうか？」

この論文は驚くべき説明を提供します：**ランダムな初期化と幅（Width）**です。

対抗力： ネットワークをランダムに「シャッフル」された重みで開始し、ネットワークを非常に広く（多くのニューロンを持つ）すると、そのランダム性はネットワークを完璧な円へ押し戻す力として作用します。
バランス：
- 深さは、ネットワークを平らな低ランクの形状へと押しやります。
- 幅＋ランダム性は、ネットワークを完全な高ランクの円へと押しやります。
- 多くの現実世界のシナリオでは、「幅」による押しが勝利するほど強力であるため、実際にはまだ Neural Collapse が観察されます。しかし、ネットワークを非常に深く狭くすると、「深さ」による押しが勝利し、ネットワークは低ランクの「Softmax Code」へと崩壊します。

要約

Neural Collapseは、ディープラーニングが通常目指す、データの完璧で対称的な配置です。
深さ（層を追加すること）は、完璧な円よりも平坦な低ランクの配置を好むバイアスを密かに導入します。
これは、深いネットワークにおいて支配的な特徴がより速く成長し、弱い特徴を排除する**「富める者はさらに富む」**効果によって起こります。
その結果、Softmax Codesと呼ばれる新しい種類の秩序が生まれます。
しかし、ランダム性と広いネットワークはこのバイアスと戦うことができ、それが現実世界の多くの応用で完璧な円が見られる理由です。

この論文は本質的に、深さは両刃の剣であることを明らかにしています。それはネットワークに力を与えますが、同時に学習の幾何学を微妙に変化させ、彼らが常に追求していると思っていた「完璧な」対称性から遠ざけてしまうのです。

技術的サマリー：深さの暗黙的バイアス：ニューラルクラスタからソフトマックスコードへ

問題提起

補間を超えて訓練された深層ニューラルネットワーク分類器は、クラス平均が単体等角緊密枠（ETF）を形成し、特徴量がこの枠に整列する構造的な幾何学的配置、すなわち**ニューラルクラスタ（NC）**へと収束することが多い。NC は浅いモデルや正則化された深層設定ではよく理解されているが、正則化されていない深層アーキテクチャにおけるその出現は理論的に曖昧なままである。

制約なし特徴モデル（UFM）に関する以前の理論的研究の多くは、NC を誘発するために明示的な $L_2$ 正則化に依存してきた。しかし、最近の知見は、深層 UFM において $L_2$ 正則化は実際には NC を抑制する低ランクバイアスを誘発し、NC を非最適なものにすることを示唆している。明示的な正則化がない場合、正則化されていない深層訓練の暗黙的バイアスを理解する上で重要なギャップが存在する：勾配降法ダイナミクスを通じて、深さのみが NC を好むのか、それともシステムを代替の幾何学的構造へと導くのか？具体的には、深さ、最適化ダイナミクス、および初期化が、明示的な正則化がない状態で最終的な幾何学的構成を決定するためにどのように相互作用するのか？

手法

著者らは、明示的な正則化なしに交差エントロピー（CE）損失で訓練された**深層制約なし特徴モデル（UFM）**を分析する。このモデルは最終層の特徴量を自由な最適化変数として扱い、直交入力を持つ深層線形ネットワークを実質的に抽象化する。本研究は、2 つの相補的な分析的視点を採用する：

漸近分析： 著者らは、 $t \to \infty$ における勾配フロー（GF）の極限を検討する。Lyu & Li (2019) の枠組みを用いて、CE 損失上の GF が暗黙的に非凸マージン最大化を実行することを示す。対応する制約付き最適化問題のランドスケープを特徴づけ、大域的最適解と局所的最適解を特定する。
動的分析： 有限時間における挙動を理解するために、著者らはアダマール初期化（具体的にはシルベスター・アダマール行列）を採用する。この初期化は、訓練を通じてパラメータ行列の特異ベクトルを保存し、複雑な行列ダイナミクスを特異値のみを支配する扱いやすい微分方程式の系に還元する。これにより、原点近傍および大ノルム領域への遷移中の安定性と軌道進化を正確に特徴づけることが可能になる。

主要な貢献と結果

1. 深さが「 benign な」ランドスケープを破る

この論文は、NC が唯一の大域的最適解である浅い UFM の「 benign な」ランドスケープが、深層設定（ $L > 1$ ）では持続しないことを実証する。

定理 3.1： $L=2$ で $K \ge 6$ クラス（または $L \ge 3$ で $K \ge 4$ ）の場合、NC は大域的に最適ではない。NC は局所的最適解のまま残るが、ランドスケープは複数の異なる安定した局所的最適解を許容する。
メカニズム： NC の非最適性は、低ランク構造が successive な行列乗算を通じてノルムをより効率的に伝播することに起因する。深層ネットワークにおいて、低ランク行列は、固定されたパラメータノルムに対して、フルランクの NC 構成と比較してより大きなロジットノルム（したがってより大きなユークリッドマージン）を可能にする。これは明示的な正則化とは無関係な、深さの純粋な幾何学的効果である。

2. 最適な低ランク構造の特性化：ソフトマックスコード

著者らは、深層極限において NC を置き換える特定の幾何学的構造を特定する。

定理 3.2： 無限の深さ（ $L \to \infty$ ）の極限において、大域的最適解は、クラス平均が円上の正 $K$ 角形の頂点として配置されるランク 2 の解に対応する。
ソフトマックスコードとの関連： この構造は、極端な幅のボトルネック（ $d=2$ ）下での単一層 UFM の最適解と一致し、ソフトマックスコード（Jiang et al., 2023）として知られる。この論文は、深さが暗黙的なランク制約として機能し、本来は明示的なアーキテクチャ的ボトルネックを必要とする解を選択すると論じている。実証結果は、この関連性が有限の深さにも及び、ネットワークがランク- $r$ のソフトマックスコードへと収束することを示唆している。

3. 動的な不安定性と「富める者はさらに富む」効果

この論文は、システムが NC を回避する方法を説明するために、勾配フローの軌道を分析する。

NC の不安定性： 浅い場合では NC が軌道全体で安定であるのに対し、定理 4.3は $L > 1$ の場合、NC 方向が原点近傍（小パラメータノルム）で不安定であることを証明する。不安定性の領域は層の数とともに増大する。
メカニズム： この不安定性は、「富める者はさらに富む」効果（定理 4.4）によって駆動される。初期化近傍の線形化領域において、より大きな特異値はより小さな特異値よりも速く成長し（ $L > 1$ ）、初期の格差を増幅して、システムが線形化領域から脱する前に低ランク構造へと駆り立てる。
KL 発散の発散： この論文は、浅いモデルではリャプノフ関数として機能する NC への KL 発散が、深層モデルでは発散し得ることを示し、軌道が NC から完全に離れ得ることを確認する。

4. 初期化と幅の役割

理論的には低ランク構造が好まれるにもかかわらず、NC は実際にはしばしば観察される。著者らはこれを初期化効果を通じて説明する。

定理 4.5： 十分に大きなネットワーク幅（ $d$ ）を持つランダム初期化の下では、ロジットの初期速度は単体 ETF（NC の署名）への整列へとバイアスされる。
測度の集中： 大きな幅は初期固有値における測度の集中を引き起こし、特異値をほぼ等しく保つ。これは「富める者はさらに富む」効果に抗し、システムが高実効ランクのまま大ノルム領域へ進入することを可能にし、そこで NC は局所的に安定となる。これは、深さの暗黙的な低ランクバイアスにもかかわらず、広くランダムに初期化されたネットワークにおいて NC が持続する理由に対する動的な正当化を提供する。

5. 実証的検証

著者らは、MNIST および CIFAR-10 で訓練された深層 UFM と ResNet-20 アーキテクチャにおいて、その理論を検証する。

深さ対ランク： ネットワークヘッドの深さを増加させることは、平均ロジット行列の実効ランクを体系的に低下させ、深さ誘発型の低ランクバイアスを確認する。
幅対ランク： 幅を増加させることは一般的に実効ランクを増加させ、幅が訓練をより高ランク（NC 類似）の解へとバイアスするという理論的主張を支持する。
汎化性能： 低い実効ランク（低ランク代替案に関連する）は、一般的に NC 解と比較してより悪い汎化性能と相関しており、低ランク構造への深さの暗黙的バイアスが、マージンおよび汎化性能の低下というコストを伴う可能性があることを示唆している。

意義と主張

この論文は、深さ、最適化ダイナミクス、および初期化からの暗黙的バイアスが相互作用して、正則化されていない深層ネットワークにおけるニューラルクラスタの出現を決定する方法について、包括的な特性化を初めて提供すると主張する。

理論的新規性： 深さのみが NC を非最適にする低ランクバイアスを誘発するのに十分であることを確立し、NC が深層学習の避けられない結果である、あるいは出現するために明示的な正則化を必要とするという見解に挑戦する。
メカニズムの特定： 線形化領域における「富める者はさらに富む」ダイナミクスを低ランク出現の駆動要因として特定し、結果として生じる最適解をソフトマックスコードとして特徴づける。
実用的洞察： この研究は、実務における NC の普遍性に対する動的な説明を提供する：深さは理論的には低ランク構造を好むが、大きな幅とランダム初期化は最適化を NC へと逆転させることができる。
限界： 著者らは、その分析が扱いやすいダイナミクスのために UFM の抽象化と特定の初期化スキーム（アダマール）に依存していることを認めているが、これらの現象が小さなランダム初期化下でも持続する証拠を提供している。また、理論は漸近的であり、有限時間のレートは未解決の方向であることを指摘している。

要約すると、この論文は深層学習の幾何学に関する理解を再構成し、深さがニューラルクラスタの高ランク構造と競合する暗黙的な低ランクバイアスを導入することを示唆しており、最終的な結果はネットワークの深さ、幅、および初期化の相互作用によって決定されるとしている。