🤖 machine learning

Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention

本文认为，更大规模的模型在罕见且复杂的任务上表现优于较小模型，并非因为它们缺乏学习这些任务的能力，而是因为其规模的增大减少了梯度干扰，使它们能够在习得常见任务的同时保留用于罕见任务的特征而不至于将其覆盖。

原作者： Jing Huang, Daniel Wurgaft, Rachit Bansal, Laura Ruis, Naomi Saphra, David Alvarez-Melis, Andrew Kyle Lampinen, Christopher Potts, Ekdeep Singh Lubana

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jing Huang, Daniel Wurgaft, Rachit Bansal, Laura Ruis, Naomi Saphra, David Alvarez-Melis, Andrew Kyle Lampinen, Christopher Potts, Ekdeep Singh Lubana

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《为何更大的模型能学到更多：容量、干扰与罕见任务保留的影响》的解释，采用通俗易懂的语言和富有创意的类比。

核心问题

想象你有两名学生：小不点（一个小型 AI 模型）和巨无霸（一个巨大的 AI 模型）。你给它们同一本教科书（训练数据），并让它们学习直到掌握书中的所有内容。

令人惊讶的是，即使学习了无限长的时间，小不点仍然无法掌握那些罕见且困难的章节，而巨无霸却能精通它们。这是为什么？是因为巨无霸更聪明吗？还是有其他原因？

这篇论文认为，这并非关乎传统意义上的“智力”或“记忆容量”，而是关乎竞争与遗忘。

核心类比：嘈杂的教室

想象训练数据是一个教室，不同的学生（任务）正在大声喊出数学题。

常见任务：这些学生非常频繁且大声地喊出简单、容易的问题（如"1 + 1"）。
罕见任务：这些学生非常稀少且轻声细语地提出复杂、困难的问题（如高等微积分）。

1. “小不点”学生的挣扎（瓶颈）

小不点只有一张很小的书桌和几个神经元（思维槽位）可供使用。

问题：由于“常见”学生喊叫得太频繁，小不点的大脑不断被它们更新。每当一个罕见学生轻声提出一个复杂问题时，小不点试图将其记录下来。
冲突：但在小不点写完这个罕见问题之前，一个“常见”学生又喊了一声。这新的喊声将罕见信息从书桌上挤了下去。
结果：小不点陷入了"学习、遗忘、学习、遗忘"的循环。它永远没有足够的时间来巩固那些罕见且复杂的知识，因为频繁且简单的噪音不断将其覆盖。即使小不点学习一百万年，它也无法学会那些罕见内容，因为它总是被打断。

2. “巨无霸”学生的优势（减少干扰）

巨无霸拥有一座巨大的图书馆和成千上万个思维槽位。

策略：巨无霸如此快速且彻底地学会了“常见”问题，以至于它们变成了自动反应。一旦巨无霸完美掌握了"1 + 1"，常见学生的喊声就变得非常微弱。这就像不再打扰巨无霸的背景噪音。
益处：由于常见噪音如此微弱，巨无霸留下了大量安静的思维空间。当一个罕见学生轻声提出复杂问题时，巨无霸可以将其记录下来，妥善保存，并等待下一次轻声细语。
积累：巨无霸不仅仅是一次性学会那个罕见问题；它会随着时间推移积累对该问题的记忆。每次罕见学生轻声细语，巨无霸就会增加一点理解，直到最终掌握这个复杂问题。

关键发现（通俗版）

1. 这不仅仅是关于“更多数据”
通常我们认为，如果小型模型学习更长时间（更多数据），它最终会赶上。但这篇论文说不。对于罕见且复杂的任务，存在一个硬性限制。无论小不点看到多少数据，它都会失败，因为它的“书桌”太小，无法在常见噪音将其抹去之前容纳罕见信息。巨无霸之所以成功，不是因为它更频繁地看到数据，而是因为它能够保留罕见数据而不丢失。

2. “干扰”机制
论文将这种现象称为梯度干扰。想象一下拥挤的舞池。

在一个小房间（小不点）里，跳流行歌曲（常见任务）的舞者数量如此之多，以至于他们撞到了并将跳冷门歌曲（罕见任务）的舞者推开。
在一个巨大的大厅（巨无霸）里，空间充足。流行舞者有他们自己的区域，冷门舞者也有他们自己的区域。他们不会互相碰撞。罕见任务能够变得强大，因为它没有被物理上推开。

3. 记忆有助于学习
论文提出了一个令人惊讶的反转：记忆实际上是有益的。
要学习一种罕见且复杂的模式，模型首先必须“记住”它看到的少数几个例子。巨无霸更擅长将这些具体记忆保持足够长的时间，以至于最终模型能够看到模式并进行泛化。小不点遗忘具体例子的速度太快，以至于它永远没有机会看到模式。

现实世界的证明

研究人员不仅使用了数学理论，还使用从微小（400 万参数）到巨大（40 亿参数）的真实 AI 模型（称为 OLMo）进行了测试。

他们在训练数据中注入了“伪造”的罕见任务（如特定的数学谜题）。
结果：只有巨大的模型学会了这些谜题。微小的模型失败了，尽管从理论上讲这些谜题是可以学会的。
为什么？ 巨大的模型表明它们保持了罕见谜题的“记忆”完好无损，而微小的模型则不断用更常见的语言数据覆盖该记忆。

总结

更大的模型能学到更多，并不是因为它们天生更聪明，而是因为它们拥有足够的空间，让罕见且困难的任务能够在常见且简单任务的噪音中生存下来。小型模型太拥挤了；它们不断遗忘困难的内容，因为容易的内容不断将其挤出。大型模型有足够的空间将困难的内容安全地保留下来，直到它们能够真正学会它。

技术摘要：为何更大规模的模型能学到更多：容量、干扰与罕见任务保留的影响

问题陈述

尽管经验证据表明，更大规模的模型在小型模型表现如同随机猜测的任务上表现出色，但驱动这一现象的确切机制仍存在争议。先前的工作通常将此归因于“涌现能力”或更优的样本效率。然而，本文提出一个更根本的局限：即使在渐近训练 regime（无限数据）下，小型模型也可能无法学习到大型模型能够学到的数据分布的特定部分。核心问题在于，这种差距是由于缺乏表征容量（表达能力），还是源于学习动力学的以数据为中心的瓶颈，具体表现为资源竞争和梯度干扰。

方法论

作者采用了一种多管齐下的方法，结合了现象学理论、合成玩具实验以及大规模预训练验证。

1. 现象学论证

本文首先分析了幂律缩放定律（ $L(N, D) = L_0 + A N^{-\alpha} + B D^{-\beta}$ ）。通过比较计算最优损失（ $L_C$ ）与渐近损失（ $L_\infty$ ），作者定义了两个 regime：

可通过数据缩放学习：如果给予无限数据，小型模型最终可以匹配大型模型的损失。
可通过模型缩放学习：即使拥有无限数据，小型模型也无法达到大型模型的损失。作者认为，后一种 regime 在实践中确实存在，这意味着小型模型在特定数据分布方面存在根本性局限。

2. 合成玩具设置（多任务线性回归）

为了隔离机制，作者构建了一个合成多任务学习环境：

数据： $K$ 个线性回归任务的混合体，其频率服从幂律分布（ $\pi_k \propto k^{-\beta}$ ），任务谱（复杂度）也服从幂律分布。
模型：一个宽度为 $N$ 的共享编码器，以及特定于任务的解码器。
分析：作者基于“效用”（频率 × 谱幅度）推导了哪些特征会被学习的理论界限。他们证明，最优的宽度- $N$ 编码器跨越了加权协方差矩阵的前 $N$ 个特征子空间。
关键机制：他们分析了梯度动力学，表明频繁任务主导了梯度更新。在小型模型中，频繁任务的更新会在下一次罕见观测到来之前，覆盖罕见任务的特征（“更新即遗忘”循环）。大型模型由于拥有更多参数，减少了这种干扰，从而能够保留并积累来自罕见任务的信号。

3. 大规模验证（OLMo 预训练）

为了在现实环境中验证这些主张，作者在 Dolma v1.7 语料库上预训练了 OLMo 模型（参数范围从 400 万到 40 亿）。

任务注入：他们在受控的低频率下注入了新颖的非自然任务（比较和模加）。
指标：他们评估了行为表现（损失/准确率）、表征证据（通过分布式对齐搜索和傅里叶分析定位任务特征）以及梯度证据（测量任务与非任务梯度之间的干扰）。

主要贡献与结果

1. 缩放使得学习罕见和复杂任务成为可能

理论分析和合成实验表明，更大规模的模型能够学习到频率低或复杂度高（谱衰减慢）的任务，而小型模型即使渐近地也无法学会这些任务。

结果：在合成设置中，增加模型宽度优先提高了低频任务的性能，因为它允许模型保留小型模型必须丢弃的低效用特征，以便容纳高效用（频繁）特征。

2. 减少梯度干扰与记忆保留

本文确定梯度干扰是小型模型的主要瓶颈。

机制：在小型模型中，频繁任务的梯度更新强度足以覆盖罕见任务的微弱更新。这造成了一种“更新即遗忘”的动态，导致罕见任务特征从未得到巩固。
结果：大型模型拥有足够的容量，使得一旦学会了常见任务的特征，其梯度更新就会变得微弱（范数低）。这留下了“剩余”容量来保留罕见任务特征。
证据：匹配频率注入实验（改变罕见任务观测之间的间隔）表明，小型模型在两次注入之间迅速丢失罕见任务信号，而大型模型则保留并积累这些信号，最终导致成功学习。

3. 真实 LLM 中的实证验证

玩具设置中的发现在 OLMo 预训练中依然成立：

行为层面：只有较大的 OLMo 模型（10 亿和 40 亿参数）成功学会了注入的低频罕见任务（比较和模加）；小型模型（400 万、2000 万、3 亿）未能泛化。
表征层面：大型模型在其表征中嵌入了更多与任务相关的特征（例如，用于比较的全局 token 顺序，用于加法的傅里叶模态）。
梯度层面：梯度余弦相似性分析显示，在大型模型中，注入任务的梯度方向受非任务（语言建模）梯度的干扰较小。而在小型模型中，非任务梯度经常与任务方向发生碰撞，导致干扰。

意义与主张

本文提供了关于为何更大规模模型能学到更多的以数据为中心的解释，将焦点从静态模型表达能力转移到了动态学习过程。

超越表达能力：作者认为，大型模型的优势不仅仅在于它们能够表征一个任务（小型模型理论上可能也能做到），而在于它们能够在给定的数据混合体下，通过基于梯度的优化学会该任务。
记忆的作用：这项工作将“记忆”重新框架化，不再将其视为一种故障模式，而是学习罕见任务的必要机制。通过更长时间地保留特定任务实例（由于干扰减少），大型模型可以跨批次积累信号，最终形成抽象的、可泛化的任务结构。这与“顿悟”（grokking）现象的观察相一致。
实际意义：研究结果表明，单纯增加模型规模并非提升能力的唯一途径；理解数据频率、任务复杂度与模型容量之间的相互作用至关重要。这意味着可以有意设计数据混合体（例如，调整任务频率），以比单纯扩展参数更有效地激发特定能力。

作者保持了谦逊，承认他们的解释是对其他理论（如样本效率或纯表达能力）的补充而非替代，并且尽管其实证验证很强，但在极端缩放 regime 方面仍留下了一些分析上的空白。