🤖 machine learning

The Implicit Bias of Depth: From Neural Collapse to Softmax Codes

本文表明，在深度、无正则化的无约束特征模型中，仅凭深度即可通过改变训练动态并缩小高秩解的吸引域，从而产生一种隐式的低秩偏置，促使模型采用 softmax 编码而非传统观测到的神经坍缩。

原作者： Connall Garrod, Jonathan P. Keating, Christos Thrampoulidis

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Connall Garrod, Jonathan P. Keating, Christos Thrampoulidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《深度的隐式偏差：从神经崩溃到 Softmax 编码》的解释，使用类比转化为通俗易懂的语言。

大局观：这篇论文讲什么？

想象你正在教一群学生（一个神经网络）识别不同种类的水果（类别，如苹果、香蕉和橘子）。

近年来，研究人员发现了一个有趣的现象，称为神经崩溃（Neural Collapse）。当这些学生非常擅长这项任务时，他们不仅仅是死记硬背水果；他们会将内部的“心理地图”组织成一种完美、对称的模式。就像他们都同意站在一个完美的圆圈里，彼此等距，使得每种水果与其他水果的距离尽可能相等。这是学习的“黄金标准”，被称为神经崩溃（NC）。

然而，这篇论文提出了一个棘手的问题：这个完美的圆圈总是会出现吗？

作者发现，如果你让网络变得更深（在输入和输出之间增加更多层“思考”），网络往往会拒绝形成那个完美的圆圈。相反，它会坍缩成一个更扁平、更低维的形状。他们称之为低秩偏差（Low-Rank Bias）。

可以这样理解：

浅层网络（1 层）： 学生们将自己排列成一个完美的 3D 球体（神经崩溃）。
深层网络（许多层）： 学生们被挤压到一张平坦的纸甚至一条细线上（低秩），尽管他们本可以容纳在球体中。

该论文证明，深度本身导致了这种挤压，而无需任何外部规则强制。

主要角色与概念

1. “无约束特征模型”（UFM）

为了研究这一点，作者使用了一个真实神经网络的简化版本。想象一个教室，老师（网络）可以神奇地将学生（特征）移动到地板上的任何位置以获得最佳结果。他们不必担心学生的物理限制（比如被困在特定的房间里）。这使研究人员能够看到网络思考的最纯粹形式。

2. “富者愈富”效应

这是深度破坏完美圆圈背后的秘密武器。

想象一个游戏，你有一堆硬币（奇异值），代表不同想法的“强度”。

在浅层网络中： 如果你有一些硬币和一些想法，它们都以相同的速率增长。每个人都保持平等，完美的圆圈由此形成。
在深层网络中： 数学发生了变化。那些起步时拥有略多硬币的想法，其增长速度远快于那些硬币较少的想法。
- 类比： 这就像雪球滚下山坡。如果你有两个雪球，其中一个略大，那么较大的那个会比较小的那个更快地积聚雪花。当它们到达底部时，大的那个变得巨大，而小的那个几乎消失了。
- 结果： 网络最终只依赖少数几个“超级强大”的想法，而忽略了其余部分。这创造了一个低秩结构（一张扁平的纸），而不是一个完整的 3D 球体。

3. "Softmax 编码”

当网络被挤压成这种扁平形状时，它并不是随机崩溃的。它会形成一种特定的、有序的模式，称为Softmax 编码。

类比： 想象完美的圆圈（神经崩溃）是一张圆桌，每个人等距而坐。当网络被深度挤压时，学生们被迫坐在一条长而窄的长凳上。他们仍然试图尽可能远离彼此，但最终会形成一种特定的、重复的模式（如正多边形），而不是圆圈。
论文表明，随着网络变得越来越深，这种“长凳模式”成为新的最优解，取代了“圆桌”。

两大主要发现

发现 1：景观发生变化（渐近性）

作者观察了问题的“景观”（所有可能解决方案的地图）。

浅层： 地图上只有一个山谷（完美的圆圈）。无论你从哪里开始，你都会滑向同一个位置。
深层： 地图上有多个山谷。完美的圆圈仍然是一个山谷，但它不再是最低的那个。还有其他山谷（低秩解）实际上“更深”（对数学更有利）。
为什么？ 低秩结构在通过各层“传播”能量方面更有效。这就像低秩信号是一辆更高效的送货卡车，能够比笨重的全球体卡车在深隧道中运送更多货物。

发现 2：冲刺终点（动力学）

作者还实时观察了训练过程。

陷阱： 在训练刚开始时，当网络还很弱小，“富者愈富”效应就会起作用。稍强的想法会非常迅速地变得更强。
不归点： 等到网络增长到足以离开“线性”阶段时，它已经承诺了低秩路径。这就像一条开始分叉的河流；如果其中一个分支早期变得稍宽，水流就会涌向那里，而另一个分支则干涸。网络被困在低秩山谷中，再也找不到完美的圆圈。

转折：为什么我们在现实生活中仍然看到完美的圆圈？

你可能会问：“如果深度导致了这种低秩混乱，为什么现实中的深层网络（比如你手机里的）仍然显示出神经崩溃？”

论文给出了一个令人惊讶的解释：随机初始化和宽度。

反作用力： 如果你用随机的权重“洗牌”来启动网络，并使网络非常宽（拥有大量神经元），这种随机性就像一股力量，将网络推回完美的圆圈。
平衡：
- 深度将网络推向扁平、低秩的形状。
- 宽度 + 随机性将网络推向完整的高秩圆圈。
- 在许多现实场景中，“宽度”的推力足够强大，足以赢得这场战斗，这就是为什么我们在实践中仍然能看到神经崩溃。但是，如果你让网络非常深且窄，“深度”的推力就会获胜，网络将坍缩成低秩的"Softmax 编码”。

一句话总结

神经崩溃是深度学习通常追求的完美、对称的数据排列。
深度（增加更多层）秘密引入了一种偏差，倾向于更扁平、低秩的排列，而非完美的圆圈。
这是由于深层网络中主导特征增长更快的**“富者愈富”**效应，挤掉了较弱的特征。
结果是产生了一种新的秩序，称为Softmax 编码。
然而，随机性和宽网络可以对抗这种偏差，这就是为什么我们在许多现实应用中仍然能看到完美的圆圈。

这篇论文本质上揭示了深度是一把双刃剑：它赋予网络力量，但也微妙地改变了它们学习的几何结构，将它们推向我们认为它们始终追求的“完美”对称性之外。

技术摘要：深度的隐式偏差：从神经崩溃到 Softmax 编码

问题陈述

在超越插值后训练的深度神经网络分类器，往往收敛于一种称为神经崩溃（Neural Collapse, NC）的结构化几何排列，其中类均值形成单纯形等角紧框架（ETF），且特征与该框架对齐。尽管 NC 在浅层模型和正则化深度设置中已得到充分理解，但其在无正则化深度架构中的涌现在理论上仍不明确。

此前关于无约束特征模型（UFM）的理论工作主要依赖显式的 $L_2$ 正则化来诱导 NC。然而，近期研究发现，在深度 UFM 中， $L_2$ 正则化实际上会诱导一种低秩偏差，从而抑制 NC，使得 NC 成为次优解。目前存在一个关键空白，即理解无正则化深度训练的隐式偏差：深度本身是否通过梯度下降动力学倾向于 NC，还是将系统推向替代的几何结构？具体而言，深度、优化动力学和初始化如何相互作用，从而在缺乏显式正则化的情况下决定最终的几何构型？

方法论

作者分析了使用交叉熵（CE）损失且无显式正则化的深度无约束特征模型（Deep UFM）。该模型将最后一层特征视为自由优化变量，有效地抽象了一个具有正交输入的深度线性网络。本研究采用两种互补的分析视角：

渐近分析：作者考察了梯度流（GF）在 $t \to \infty$ 时的极限。他们利用 Lyu & Li (2019) 的框架，证明 CE 损失上的 GF 隐式地执行非凸间隔最大化。他们刻画了对应约束优化问题的景观，以识别全局极小值和局部极小值。
动力学分析：为了理解有限时间行为，作者采用了Hadamard 初始化（具体为 Sylvester Hadamard 矩阵）。这种初始化在整个训练过程中保持参数矩阵的奇异向量不变，将复杂的矩阵动力学简化为仅由奇异值控制的易处理微分方程组。这使得能够精确刻画原点附近的稳定性以及向大范数区域过渡期间的轨迹演化。

主要贡献与结果

1. 深度打破了良性景观

本文证明了浅层 UFM 中“良性”的景观（其中 NC 是唯一的全球极小值）在深度设置（ $L > 1$ ）中并不持续存在。

定理 3.1：对于 $L=2$ 且 $K \ge 6$ 个类别（或 $L \ge 3$ 且 $K \ge 4$ ），NC 并非全局最优。虽然 NC 仍然是局部最优解，但该景观允许多个不同的稳定局部极小值存在。
机制：NC 的次优性源于低秩结构通过连续的矩阵乘法更有效地传播范数。在深度网络中，与满秩的 NC 配置相比，低秩矩阵允许在固定的参数范数下获得更大的 Logit 范数（从而获得更大的欧几里得间隔）。这是深度的纯几何效应，独立于显式正则化。

2. 最优低秩结构的刻画：Softmax 编码

作者确定了在深度极限下取代 NC 的具体几何结构。

定理 3.2：在无限深度（ $L \to \infty$ ）的极限下，全局最优解对应于一个秩为 2 的解，其中类均值排列成圆上的正 $K$ 边形的顶点。
与 Softmax 编码的联系：这种结构与极端宽度瓶颈（ $d=2$ ）下单层 UFM 的最优解一致，被称为Softmax 编码（Jiang et al., 2023）。本文认为，深度充当了隐式秩约束，选择了那些否则需要显式架构瓶颈的解。实证结果表明，这种联系延伸至有限深度，其中网络收敛于秩为 $r$ 的 Softmax 编码。

3. 动力学不稳定性与“马太效应”

本文分析了梯度流的轨迹，以解释系统如何避免 NC。

NC 的不稳定性：与 NC 在整个轨迹中保持稳定的浅层情况不同，定理 4.3证明，对于 $L > 1$ ，NC 方向在原点附近（小参数范数）是不稳定的。不稳定性区域随着层数的增加而扩大。
机制：这种不稳定性由**“马太效应”**（Theorem 4.4）驱动。在初始化附近的线性化区域中，较大的奇异值比小的奇异值增长得更快（ $L > 1$ ），放大了初始差异，并在系统退出线性化区域之前将其推向低秩结构。
KL 散度的发散：本文表明，在浅层模型中作为 Lyapunov 函数的 NC 的 KL 散度，在深度模型中可能会发散，证实了轨迹可以完全远离 NC。

4. 初始化和宽度的作用

尽管理论上偏好低秩结构，但在实践中经常观察到 NC。作者通过初始化效应解释了这一现象。

定理 4.5：在具有足够大网络宽度（ $d$ ）的随机初始化下，Logit 的初始速度偏向于与单纯形 ETF 对齐（这是 NC 的特征）。
测度集中：大宽度导致初始特征值发生测度集中，使奇异值几乎相等。这抵消了“马太效应”，允许系统以高有效秩进入大范数区域，在此区域内 NC 是局部稳定的。这为 NC 为何在宽且随机初始化的网络中持续存在提供了动力学依据，尽管深度具有隐式的低秩偏差。

5. 实证验证

作者在 MNIST 和 CIFAR-10 上训练的深度 UFM 和 ResNet-20 架构上验证了其理论。

深度与秩：增加网络头的深度系统地降低了平均 Logit 矩阵的有效秩，证实了深度诱导的低秩偏差。
宽度与秩：增加宽度通常增加有效秩，支持了理论主张，即宽度将训练偏向于更高秩（类 NC）的解。
泛化性：与 NC 解相比，较低的有效秩（与低秩替代方案相关）通常与较差的泛化性相关，这表明深度对低秩结构的隐式偏差可能会以牺牲间隔和泛化性能为代价。

意义与主张

本文声称提供了首个全面刻画，说明深度的隐式偏差、优化动力学和初始化如何相互作用，从而决定无正则化深度网络中神经崩溃的涌现。

理论新颖性：它确立了深度本身足以诱导一种使 NC 次优的低秩偏差，挑战了 NC 是深度学习的必然结果或需要显式正则化才能涌现的观点。
机制识别：它确定了线性化区域中的“马太效应”动力学是低秩涌现的驱动力，并将由此产生的最优解刻画为Softmax 编码。
实践洞察：这项工作为 NC 在实践中的普遍性提供了动力学解释：虽然深度在理论上偏好低秩结构，但大宽度和随机初始化可以将优化重新引导回 NC。
局限性：作者承认，其分析依赖于 UFM 抽象和特定的初始化方案（Hadamard）以实现可处理的动力学，尽管他们提供了证据表明这些现象在小的随机初始化下依然存在。他们指出，该理论是渐近的，有限时间速率仍是一个开放方向。

总之，本文重构了对深度学习几何的理解，提出深度引入了隐式低秩偏差，与神经崩溃的高秩结构相互竞争，最终结果由网络深度、宽度和初始化的相互作用决定。