📊 statistics

Inverse Depth Scaling From Most Layers Being Similar

该论文揭示了大型语言模型的损失与深度成反比，这是由于功能相似的层充当了低效但稳健的集成，这表明未来需要架构创新以实现更有效的组合深度利用。

原作者： Yizhou Liu, Sara Kangaslahti, Ziming Liu, Jeff Gore

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yizhou Liu, Sara Kangaslahti, Ziming Liu, Jeff Gore

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图建造一座规模宏大、超级聪明的知识库（即大型语言模型，或称 LLM）。为了让这座图书馆变得更聪明，你可以转动两个主要的旋钮：你可以把书架做得更宽（增加“宽度”或同时容纳信息的容量），或者你可以把建筑盖得更高（增加“深度”或处理层数）。

长期以来，科学家们一直认为，把建筑盖高就像是在为一道复杂的食谱添加更多的步骤。他们认为第 1 层处理基础知识（如语法），第 2 层处理含义，第 3 层处理逻辑，以此类推。他们相信这些层级像是一个施工队一样协同工作，每一层都为构建复杂的结构添加一个特定的、独特的砖块。这就是论文中所称的**“组合装配”（Compositional Assembly）**。

然而，这篇论文指出，这些 AI 模型并不是这样工作的。研究发现，在这些高耸建筑中的大多数层级实际上都在做完全相同的事情，只是略有差异。

“嘈杂估计量人群”的比喻

作者发现，这些层级并不像专业的施工队，而更像是一群正在猜测数学题答案的人。

旧观点（组合式）： 想象一场接力赛，选手 1 将接力棒交给选手 2，选手 2 再交给选手 3，以此类推。每位选手都承担着不同的、特定的任务，以将接力棒传向终点。
新发现（集成平均）： 想象你问了 100 个人西瓜的重量。每个人都猜得不太准，且每个人犯的错误都不一样。但是，如果你取这 100 个猜测值的平均值，结果会非常准确，因为个人的误差会相互抵消。

论文声称，在大型语言模型中，大多数层级就像这 100 个人。他们都在观察同样的信息，并试图完成同样的工作。因为他们都带有一定的“噪声”（即不完美），所以增加更多的层级仅仅是给了你更多的人来通过平均化来消除噪声。

“反深度”的发现

这是作者发现的一个令人惊讶的数学规则：你增加的层数越多，模型就越聪明，但收益却在递减。

如果你将层数翻倍，模型并不会变得聪明两倍；它只会变得稍微聪明一点。具体来说，误差（即模型出错的频率）与深度成反比下降。

想象你在听一个微弱的无线电信号。如果你只有一个天线，静电噪音很大。如果你增加第二个天线，静电会减少一些。如果你增加一百个天线，静电会变得非常低，但增加一百个天线并不会让它变得完全静默；它只会让声音变得稍微安静一点。

论文称之为**“反深度缩放”（Inverse Depth Scaling）**。这意味着，仅仅通过堆叠更多的层级来构建更聪明的 AI 是一种低效的方式，因为这些层级是冗余的。它们并没有学习新的、复杂的技能，而只是在帮助消除前一层产生的误差。

为什么会发生这种情况？

作者运行了“玩具模型”（这些 AI 大脑的简化、小型版本）实验，以查明原因。他们发现，这些模型的构建方式（使用“残差连接”，允许信息跳过某些层级）促成了这种“人群”行为。

他们还发现，这些模型试图解决的任务（预测句子中的下一个词）可能不是平滑、循序渐进的过程。因为任务是“锯齿状”或不可预测的，模型无法使用平滑、分步的学习策略。相反，它会默认采用“人群”策略：只需向问题投射足够多相似的层级，然后让平均法则发挥作用。

核心结论

论文得出结论，目前的语言模型在深度利用上是低效的。我们正在建造非常高的塔楼，而其中大多数楼层都在做着与下方楼层完全相同的事情。

好消息是： 这种“人群”方法非常稳健。如果你移除几个层级或重新排列它们，模型仍然能很好地工作，因为“人群”规模庞大，丢失几个人并不会产生影响。
坏消息是： 这是一种资源的浪费。为了让这些模型变得显著更聪明，我们可能需要发明新的架构设计，迫使层级真正学习不同的、专业化的技能（即“施工队”的概念），而不是仅仅通过平均化误差来工作。

简而言之：我们一直在建造 AI 摩天大楼，而每一层楼都只是下面一层楼的副本，只是带有一点噪声。论文证明了虽然这种方法行之有效，但它并不是构建天才的最有效方式。

技术摘要：基于层间高度相似性的逆深度缩放

问题陈述
神经缩放定律（Neural scaling laws）已经确立了大型语言模型（LLM）的性能会随着模型规模和数据集规模的增加而呈现可预测的提升，通常遵循幂律关系。然而，这些定律通常将模型规模视为一个整体量，从而掩盖了宽度与深度的不同贡献。虽然理论框架提出，深度可以通过组合装配（层级抽象）、程序化装配（平滑动力学的离散化）或集成平均（冗余估计）来对性能做出贡献，但 LLM 利用其深度的实际机制仍不明确。实证研究表明，LLM 的层往往具有冗余性，但将这种冗余性与特定缩放定律联系起来的定量框架一直处于缺失状态。本文研究了 LLM 深度与损失之间的定量关系，以确定哪种理论机制占据主导地位。

方法论
作者采用了结合对真实 LLM 的实证分析、受控玩具模型实验以及理论分析的三管齐下的方法：

LLM 隐藏状态分析： 作者分析了各种 Pythia 模型（参数范围从 4.1 亿到 120 亿）及其他家族（Qwen-2.5, OPT）在 FineWeb 数据集上的隐藏状态动力学。他们测量了相邻隐藏状态之间的角度变化 $\theta(h_l, h_{l+1})$ ，以及增量更新之间的相关性 $\theta(\Delta h_l, \Delta h_{l+1})$ 。通过主成分分析（PCA）识别了不同 token 的独特行为簇。
经验损失分解： 作者提出了一个分解后的损失（ $L$ ）缩放定律，将来自宽度（ $m$ ）、深度（ $\ell$ ）和数据集大小（ $D$ ）的贡献分离出来：
$L = \frac{c_m}{m^{\alpha_m}} + \frac{c_\ell}{\ell^{\alpha_\ell}} + \frac{c_D}{D^{\alpha_D}} + L_0$
他们将此模型拟合到从 Chinchilla 缩放实验中重建的数据（约 200 个数据点）上，以估计深度缩放指数 $\alpha_\ell$ 。
玩具模型实验： 为了隔离机制，设计了一个教师-学生设置，其中学生网络学习模仿更深的教师网络。通过权重绑定（诱导平滑动力学以实现程序化装配）或独立权重（诱导非平滑、随机游走动力学以实现集成平均）来控制教师的动力学。通过改变学生的深度，并在不同的目标分布温度下进行训练，以观察收敛情况和缩放行为。

核心贡献与结果

逆深度缩放： 主要发现是 LLM 的损失近似与深度成反比（ $\alpha_\ell \approx 1$ ）。拟合得到的深度相关项指数为 $\alpha_\ell = 1.2 \pm 0.3$ ，这表明存在一种幂律衰减，即将深度增加一倍，大约会使深度限制的误差部分减半。
集成平均的主导地位： 对隐藏状态的分析显示，对于绝大多数 token（99.6%）和层，更新是增量的且在网络中间部分是均匀的。至关重要的是，相邻层更新之间的相关性很弱（角度接近 $\pi/2$ ），这与程序化装配所需的平滑动力学相矛盾。相反，这些特征符合集成平均，即各层作为冗余且带有噪声的估计器，通过平均化来降低误差。
拒绝组合与程序化主导：
- 组合装配： 数据并未显示出该机制所预测的“早期停止”或独特的层级抽象模式（例如：语法 $\to$ 语义 $\to$ 推理）。
- 程序化装配： 虽然程序化装配（平滑 ODE 的离散化）在特定条件下（如低温度/训练不完全）可以产生逆向缩放，但作者的玩具模型实验表明，一旦训练在平滑动力学下收敛，缩放指数会转向 $\alpha_\ell \approx 3$ 。由于真实 LLM 展示的是 $\alpha_\ell \approx 1$ ，因此程序化装配不太可能是收敛 LLM 的主导机制。
机制解释： 本文得出结论，LLM 深度的低效之处在于大多数层执行的是功能相似的变换。增加深度增加了这些功能组的大小，而损失的减少是由大数定律（平均掉误差）驱动的，而非构建了更深的抽象。

意义与主张
作者声称这项工作为先前实证研究中观察到的“低效”使用深度的现象提供了解释。通过确立 LLM 主要运行在集成平均机制下，本文指出：

架构启示： 当前的残差网络架构可能本质上使模型偏向于集成平均而非组合学习。提高效率可能需要能够鼓励组合式使用深度的架构创新。
缩放定律： 观察到的逆深度缩放（ $\alpha_\ell \approx 1$ ）结合宽度缩放（ $\alpha_m \approx 1$ ），意味着在固定参数预算下，最优的宽深关系为 $m \propto \ell$ 。这与 Chinchilla 模型中观察到的经验性 $N^{-1/3}$ 缩放相一致。
局限性： 作者谦虚地指出，他们的损失分解是基于经验拟合提出的，而非从第一性原理推导而来。他们承认，虽然他们排除了组合和程序化装配的主导作用，但在没有第一性原理推导的情况下，无法严格排除其他产生类似缩放行为的机制。此外，该研究侧重于“主体”层，承认第一层和最后一层可能会表现出不同的、潜在的组合行为。

总之，本文认为当前 LLM 缩放的成功很大程度上归功于添加了冗余层以平均化误差，而不是深化了表示层级，而未来的架构进展可能取决于打破这种对集成平均的偏好。

“嘈杂估计量人群”的比喻

“反深度”的发现

为什么会发生这种情况？

核心结论

技术摘要：基于层间高度相似性的逆深度缩放

类似论文