When Bias Meets Trainability: Connecting Theories of Initialization

该论文通过理论证明将深度神经网络的初始猜测偏差与平均场理论相联系，揭示了高效训练所依赖的初始化方案并非中立，而是系统性地偏向特定类别。

要点

这篇论文探讨了一个非常有趣且反直觉的结论：为了让神经网络（AI 的大脑）学得又快又好，我们在刚开始训练它时，最好让它“带有偏见”，而不是让它保持“中立”。

为了让你轻松理解，我们可以把训练神经网络想象成教一个刚出生的孩子（或者一个刚入职的新员工）学习分类任务，比如分辨“猫”和“狗”。

1. 背景：为什么“开局”很重要？

在深度学习的世界里，网络在还没见过任何数据之前，它的参数（权重和偏差）是随机初始化的。这就好比给新员工发了一套随机生成的“直觉”。

• 传统观点（均值场理论 MF）： 以前的理论主要关注“信号”能不能传得下去。如果初始化太乱，信号传着传着就消失了（梯度消失），或者信号大得爆炸（梯度爆炸），导致网络根本学不会。理论认为，最好的状态是处于“混沌边缘”（Edge of Chaos），就像走钢丝一样，既不太死板也不太混乱。
• 新发现（初始猜测偏见 IGB）： 最近的研究发现，即使还没开始训练，这些随机初始化的网络其实已经“心里有数”了。它们会倾向于把大部分输入都归类为某一个特定的类别。比如，还没看图片，它可能觉得“这世界上全是猫”。这种现象叫初始猜测偏见（IGB）。

2. 核心发现：偏见 vs. 中立

这篇论文做了一件很厉害的事：它把上面两个理论（信号传播理论 和 初始偏见理论）连接起来了。

以前的直觉：
大家可能觉得，一个优秀的 AI 在开始时应该是“中立”的，不偏袒任何一类，这样才公平，学起来才快。就像老师教学生，应该先保持客观中立。

论文的反直觉结论：
大错特错！ 论文证明，最能快速学会东西的初始化状态，恰恰是“带有强烈偏见”的状态。

用“指南针”做比喻：

想象你要教一个盲人（神经网络）在森林里找路（学习数据）。

• 中立状态（Neutrality）： 指南针乱转，或者指向正北（0.5 的概率）。盲人站在原地，不知道往哪走，每一步都要重新摸索，效率极低。
• 有序偏见（Ordered Prejudice）： 指南针死死地指向“南方”。虽然方向可能错了（比如其实路在北方），但盲人会非常有动力地往南冲。
• 混沌偏见（Chaotic Prejudice）： 指南针疯狂乱转，或者指针直接断了（梯度爆炸）。盲人要么原地打转，要么直接摔下山崖。

论文发现的最佳状态（EOC - 混沌边缘）：
这是一个**“暂时性的深度偏见”状态。
在这个状态下，指南针强烈地指向南方**（偏见很大），但是，这个指南针是稳定的。

• 为什么好？ 因为网络一开始就有一个明确的“错误方向”（偏见），但它非常稳定。一旦开始学习（接收数据），网络能迅速发现“哎，原来南方不对”，然后利用这种强烈的初始动力，迅速调整方向，把偏见“吸收”掉，找到正确的路。
• 为什么中立不好？ 如果一开始指南针是乱转的（中立），网络就没有一个明确的“错误”可以修正，它就像在迷雾中徘徊，学习速度非常慢。

3. 生活中的类比：先入为主的“刻板印象”

想象你在教一个刚来的实习生分类文件：

• 情况 A（中立）： 你告诉他：“你看着办，别带任何预设。”结果他看着一堆文件发呆，不知道从哪下手，效率极低。
• 情况 B（有偏见）： 你告诉他：“我有个直觉，这些文件全是‘紧急’的。”
  • 如果文件里真的有很多紧急的，他做得飞快。
  • 如果文件里其实有很多不紧急的，他一开始会犯很多错（把不紧急的也标成紧急）。
  • 关键点： 但是，因为他有一个强烈的假设（全是紧急的），当他看到第一个“不紧急”的文件时，他会立刻意识到：“哦！我的假设错了！”这种强烈的反差会让他迅速调整策略，快速学会真正的分类规则。

论文说，最好的训练起点，就是这种“强烈的、但可修正的偏见”。

4. 实际影响：这对我们意味着什么？

1. 不要追求“绝对中立”的初始化： 在调参（调整网络初始设置）时，不要试图让网络一开始就表现得“公平”。相反，应该寻找那些能让网络产生“强烈偏见”但梯度稳定的参数设置。
2. 训练初期要耐心： 既然网络一开始是“偏见”的，那么训练刚开始时，它可能会疯狂地把所有东西都归为一类（比如把所有图片都说是猫）。这是正常的！只要初始化在“最佳状态”，这种偏见会在训练的最初几步迅速消失（被吸收），然后准确率会飙升。
3. 警惕“梯度爆炸”的副作用： 如果偏见太强且不稳定（混沌状态），网络可能会彻底“疯掉”，导致某些类别的梯度直接变成 0（完全学不到），而另一类则爆炸。这就像实习生因为太自信，把一类文件全扔了，另一类文件堆成山。

总结

这篇论文告诉我们：在 AI 的世界里，完美的“中立”并不是学习的起点。

相反，一个带有“强烈偏见”但“结构稳定”的起点，才是通往高效学习的快车道。 就像教孩子，与其让他对世界一无所知、毫无头绪，不如先给他一个（哪怕是错的）强烈观点，让他通过不断的修正，迅速建立起对世界的正确认知。

一句话概括： 想要 AI 学得快，别让它当“老好人”（中立），让它先当个“有主见”的人（偏见），只要这个主见是“可修正”的，它就能跑得飞快。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为《WHEN BIAS MEETS TRAINABILITY: CONNECTING THEORIES OF INITIALIZATION》（当偏差遇见可训练性：连接初始化理论）。该论文由 ETH Zurich、Eawag、University of Basel 和 EPFL 的研究人员共同完成。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

深度神经网络（DNN）在初始化阶段的统计特性对其可训练性（trainability）和内在架构偏差起着决定性作用。目前存在两个主要但相对独立的理论框架：

• 平均场理论 (Mean-Field, MF)： 主要关注网络宽度的极限，分析权重和偏差的初始化如何影响梯度的传播（消失或爆炸），从而定义“混沌边缘”（Edge of Chaos, EOC）作为最佳训练状态。
• 初始猜测偏差 (Initial Guessing Bias, IGB)： 最近的研究发现，未训练的网络在接触数据前，往往会对某些类别产生系统性的预测偏差（即“偏见”），导致输入空间的大片区域被分配给单一类别。

核心问题： 这两个理论框架之间是否存在联系？传统的 MF 理论认为最佳训练状态（EOC）应该是“中性”的（即对所有类别一视同仁），但 IGB 理论指出未训练网络往往存在偏差。这种偏差是可训练性的障碍，还是必要条件？

2. 方法论 (Methodology)

作者通过理论推导和实验验证，建立了 MF 理论与 IGB 框架之间的数学等价性。

• 理论扩展：

  • 将 IGB 框架扩展至包含非零偏差项（bias terms）和多节点激活函数（如 MaxPool, AveragePool）。
  • 证明了在无限宽度和无限数据量的极限下，MF 理论中的信号方差（signal variance）和协方差（covariance）与 IGB 框架中的节点中心方差（variance of centers）和信号方差存在严格的数学对应关系。
  • 推导了关键公式：MF 中的相关系数 $c$ 与 IGB 中的激活漂移比 $\gamma$ 满足关系 $c = \frac{\gamma}{1+\gamma}$。

• 相图分析：

  • 利用上述等价性，重新绘制并解释了 MF 相图。将相图中的不同区域（有序相、混沌相、EOC）映射到 IGB 的“偏见”状态（深度偏见、暂时性深度偏见、中性）。
  • 针对有界激活函数（如 Tanh）和无界激活函数（如 ReLU）分别分析了其相变行为。

• 实验验证：

  • 在多种架构（MLP、残差 MLP、Vision Transformer）和多个数据集（Fashion MNIST, CIFAR-10/100, ImageNet 预训练模型微调）上进行了训练实验。
  • 测量了初始化时的梯度稳定性、分类频率分布以及训练过程中的偏差吸收情况。

3. 关键贡献 (Key Contributions)

1. 理论统一： 首次从理论上证明了 MF 理论（关注梯度稳定性）与 IGB 理论（关注初始预测偏差）是等价的。揭示了初始化超参数和架构选择如何共同决定初始预测行为并塑造后续训练动态。
2. 反直觉结论： 提出了一个颠覆性的结论：最优的可训练初始条件（即 EOC）并非“中性”的，而是处于一种“暂时性的深度偏见”（transient deep prejudice）状态。 这意味着为了获得最佳训练效果，网络在初始化时必须对某些类别有强烈的偏好，但这种偏好必须在训练初期被迅速吸收。
3. 细化相图： 修正了现有 MF 相图的不准确性（特别是针对 ReLU 激活函数），并定义了新的相态：
   • 有序 - 深度偏见 (Ordered-deep prejudice)： 梯度消失，偏见持久存在，难以训练。
   • 混沌 - 深度偏见 (Chaotic-deep prejudice)： 梯度爆炸，偏见持久存在，训练不稳定。
   • 暂时性 - 深度偏见 (Transient-deep prejudice / EOC)： 梯度稳定，偏见在训练初期被快速吸收，是最佳训练状态。
4. 类依赖梯度分析： 指出在混沌相中，梯度消失/爆炸的行为是类依赖的。在 ReLU 网络的混沌相中，受偏好的类别梯度可能为零，而未受偏好的类别梯度爆炸，导致严重的学习不平衡。
5. 通用性扩展： 将理论推广至包含偏置项和池化层（Pooling Layers）的复杂架构，并验证了其在预训练模型微调中的适用性。

4. 主要结果 (Results)

• 理论验证： 在无限宽 MLP 中，IGB 计算的相关系数曲线与 MF 理论计算的置信区间高度吻合，证实了两个框架的等价性。
• ReLU 的特殊性： 对于 ReLU 网络，相关系数 $c$ 在整个相图中都收敛于 1（即总是存在深度偏见），但收敛速率不同。在有序相中呈指数收敛，在混沌相中呈幂律收敛。
• 训练动态观察：
  • EOC 状态： 对应于初始偏见最大（但梯度稳定）的状态。实验显示，处于 EOC 的模型学习速度最快，且初始的强偏见在训练开始后的几步内迅速被“吸收”（bias absorption），最终达到高精度。
  • 中性状态： 初始无偏（Neutrality）的模型训练效果最差，无法达到高准确率，因为缺乏必要的信号引导。
  • 梯度不平衡： 在 ReLU 的混沌相中，受偏好的类别梯度几乎为零，导致模型无法学习这些类别，验证了“类依赖梯度爆炸”的理论预测。
• 预训练模型： 即使在预训练的 ViT 模型中，通过缩放权重触发相变，也能观察到类似的梯度传播行为和偏见吸收现象。

5. 意义与影响 (Significance)

• 重新定义初始化策略： 挑战了“初始化应尽可能中性”的传统直觉。论文表明，为了达到最佳的可训练性，初始化应当是有偏见的（biased），只要这种偏见处于“暂时性深度偏见”状态（即 EOC）。
• 超参数调优指导： 提示在调优超参数（如权重方差）时，不能仅看短期的训练表现，因为初始偏见可能会掩盖真实的模型能力。处于 EOC 的模型虽然初始偏见大，但吸收快，训练效率最高。
• 理解梯度不稳定性： 解释了为什么在某些初始化下，梯度爆炸仅发生在特定类别上，导致训练失败。这为设计更鲁棒的优化器和初始化方案提供了理论依据。
• 架构设计的启示： 强调了架构选择（如激活函数、池化层）对初始预测偏差和梯度稳定性的决定性作用，为设计深层网络提供了新的理论视角。

总结： 该论文通过建立 MF 和 IGB 理论之间的桥梁，揭示了深度神经网络可训练性的本质：最佳的训练起点不是中立的，而是带有适度且可被快速修正的“偏见”。 这一发现为理解深度学习的初始化动力学提供了全新的理论框架。