📊 statistics

Asymmetric Scaling Laws from Sparse Features

本文提出了一种基于稀疏激活的神经缩放定律模型，揭示了一种导致双重下降行为的新颖瓶颈，该行为具有不同的欠参数化和过参数化缩放指数，最终证明在固定预算下计算最优的训练优先增加数据集规模而非模型容量。

原作者： John Sous, Michael Winer

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： John Sous, Michael Winer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人在一座庞大的图书馆中识别书籍里的模式。通常，我们假设如果你给机器人更多的书籍（数据）或一个更强大的大脑（更多参数），它的智能会以稳定、可预测的速度提升。这就是科学家们所称的“缩放定律”。

然而，这篇论文指出，当这些书籍中的信息是稀疏的——意味着大部分页面是空白的，只有少数特定的词汇承载实际意义——规则就会完全改变。机器人表现出的行为取决于它是受限于大脑的大小，还是受限于已阅读的书籍数量。

以下是用简单类比对论文主要观点的拆解：

1. “稀有关键词”问题

想象图书馆里藏有数百万本书。大多数时候，书籍谈论的是像“猫”或“狗”这样常见的事物。但偶尔，一本书会包含一个非常罕见、高度具体的词，比如“嗜铬细胞瘤”（一种特定的医疗状况），或者对罕见金融危机的引用。

在正常（稠密）的世界里：每个词都频繁出现。如果你有更多的书，你会更频繁地看到每个词。如果你有一个更大的大脑，你就能记住更多的词。这种改进是对称的。
在这篇论文的“稀疏”世界里：稀有词如此罕见，以至于即使你读了 1,000 本书，你也可能一次都看不到“嗜铬细胞瘤”这个词。如果你从未见过它，无论你的机器人头脑有多大，它都无法学会这个词。

2. 两种不同情境下的两条不同规则

作者发现，机器人的学习速度遵循两条不同的定律，具体取决于哪种资源是瓶颈：

情境 A：大脑太小（参数不足）
如果机器人有一个微小的头脑，它只能容纳少数几个概念。无论你给它 100 万本书还是 100 本书，它都只能学会它能塞进脑子里的那几个最常见的事物。
- 结果：增加更多的书籍帮助不大。你必须让大脑变大才能学到更多。这种改进速度很快。
情境 B：大脑巨大，但书籍稀缺（参数过剩）
现在，给机器人一个巨大的头脑。它本可以学会一切，但它受限于书籍。由于“稀有关键词”如此罕见，机器人可能读了 1,000 本书却依然错过了那些稀有词。它需要阅读多得多的书籍，仅仅为了瞥见那些稀有词一眼。
- 结果：增加更多的算力没有帮助，因为机器人正遭受数据饥渴。这种改进要慢得多。

重大发现：学习的“速度”（指数）对于大脑大小和数据大小是不同的。过去，人们认为这些速度是相同的。这篇论文证明，稀疏性打破了对称性，创造了一个“双重下降”曲线：在跨越拥有足够数据以发现稀有词的阈值之前，性能会先下降，然后再次上升。

3. “计算预算”困境

想象你有一笔固定的资金（计算预算）用于训练。你可以花钱买更多的书（数据），或者建造一个更大的大脑（模型规模）。

旧思维：你应该将资金平均分配给书籍和大脑。
新发现：由于稀有词极难找到，你应该将几乎所有的资金都花在书籍上。
- 为什么？因为如果你已经读过的书中没有那些稀有词，让大脑变大也无济于事。你需要一个庞大的图书馆，以确保机器人至少能看见一次那些稀有且高价值的关键词。论文表明，最优策略会大幅转向收集更多数据，而不是构建更大的模型。

4. “稳定性”警告

论文还考察了机器人是如何学习的（使用一种称为梯度下降的方法）。

风险：如果机器人试图学得太快（使用较大的“步长”），它可能会被单个极其罕见且响亮的“尖峰”数据（在一本书中出现的非常不寻常的词）搞糊涂。这可能导致机器人崩溃或无法学习。
对策：论文计算了这种崩溃发生的概率。它表明，虽然这种情况很罕见，但在稀疏环境中，它发生的频率比我们想象的要高。这表明在现实世界中，我们可能需要更加谨慎地控制机器人的学习速度，以避免这些“稀有尖峰”导致的崩溃。

5. 这对“聪明”的机器人有效吗？

作者不仅在简单的线性机器人上测试了这一点，还在具有非线性层的“聪明”机器人（如现代人工智能）上进行了测试。

结果：即使拥有复杂、非线性的头脑，不对称性依然存在。数据的稀有和稀疏本质是根本原因，而非机器人头脑的简单性。无论机器人是简单还是复杂，如果数据是稀疏的，缩放规则就会改变。

总结

这篇论文告诉我们，在一个重要信息隐藏于稀有、稀疏信号中的世界里：

数据为王：你需要比模型规模多得多的数据来发现那些稀有信号。
对称性被打破：扩大数据的规则与扩大模型规模的规则不同。
不要贪心：如果你只是让模型变大而没有获取更多数据，你就会撞上一堵墙，模型无法学会那些稀有且重要的事物，因为它从未见过它们。

核心信息是，稀疏性从根本上改变了我们构建和训练人工智能的方式，迫使我们优先考虑海量数据集，而非庞大的模型规模，以捕捉那些稀有且高价值的洞察。

技术摘要：源自稀疏特征的不对称缩放定律

问题陈述
神经缩放定律描述了模型性能（测试损失）与资源变量（模型规模 $N$ 、数据集规模 $D$ 和计算预算 $C$ ）之间的可预测关系。尽管基础性工作（如 Kaplan 等人，2020；Hoffmann 等人，2022）确立了幂律关系和计算最优分配策略（通常建议 $N$ 和 $D$ 以相似方式进行的对称缩放），但为何在模型受限和数据受限机制中缩放指数可能存在差异，目前仍缺乏全面的理论理解。现有的理论框架通常假设数据是稠密且高斯分布的，这可能无法捕捉现实世界高维数据的结构特性，因为在这些数据中特征往往是稀疏且重尾的。本文旨在填补这一理解空白，探讨稀疏输入激活如何从根本上改变缩放行为，并可能在控制模型规模和数据集规模的指数之间诱发不对称性。

方法论
作者引入了一个基于稀疏随机特征的易处理理论模型，用于分析总体损失缩放。

数据生成过程：输入数据 $x \in \mathbb{R}^M$ 通过结构化过程生成，其中每个坐标 $j$ 以重尾概率 $p_j = j^{-\alpha_1-1}$ 被激活。当被激活时，该坐标取值的方差按 $j^{-\alpha_1-\alpha_2-2}$ 缩放。这创造了一种场景：大多数坐标为零，而激活的坐标遵循由参数 $\alpha_1$ 和 $\alpha_2$ 控制的幂律分布。
模型架构：学习模型由固定的随机嵌入 $u \in \mathbb{R}^{N \times M}$ （将输入映射到特征 $\phi = ux$ ）后接可训练的线性读出 $\theta$ 组成。目标函数是线性泛函 $y = w^\top x$ 。该设置有效地模拟了草图线性回归（sketched linear regression）或具有冻结随机第一层权重的双层网络。
分析机制：作者在两种截然不同的机制中推导了渐近总体损失（贝叶斯最优误差）：
- 欠参数化（ $N \ll D$ ）：模型容量是瓶颈。
- 过参数化（ $D \ll N$ ）：样本数量是瓶颈，特别关注未观测到（从未被激活）的坐标数量。
优化动力学：本文分析了全批量梯度下降（GD）的收敛性，推导了稳定性条件，以及由于罕见的高幅值激活尖峰导致失败概率的缩放定律。
计算最优前沿：在固定计算预算 $C \propto ND \cdot \min\{N, D\}$ 下，作者优化了 $N$ 和 $D$ 之间的分配以最小化损失。
实验验证：通过在线性和非线性（ReLU）随机特征模型上的实验验证了理论，将稀疏输入与稠密高斯基线进行了比较。

主要贡献与结果

双指数缩放定律：主要的理论结果是推导出了在存在稀疏激活（ $\alpha_1 > 0$ ）情况下的损失缩放定律，该定律具有两个不同的指数（ $\alpha_N \neq \alpha_D$ ）。
- 在欠参数化机制中，损失按 $\ell \sim N^{-(\alpha_1+\alpha_2+1)}$ 缩放。在此，稀疏性被有效掩盖，因为模型拟合了主导的高方差坐标，且指数 $\alpha_N$ 与稠密模型一致。
- 在过参数化机制中，损失按 $\ell \sim D^{-(\alpha_1+\alpha_2+1)/(\alpha_1+1)}$ 缩放。指数 $\alpha_D$ 严格小于 $\alpha_N$ （即 $\alpha_D < \alpha_N$ ）。这种不对称性源于可学习坐标的有效数量随数据集规模呈次线性增长（ $K(D) \sim D^{1/(\alpha_1+1)}$ ），这是由稀疏性导致的。罕见坐标在训练集中从未被观测到，形成了一个稠密模型所不具备的持久瓶颈。
- 组合缩放定律为 $\ell(N, D) \sim N^{-\alpha_N} + D^{-\alpha_D}$ 。
双下降现象：该分析预测在插值阈值附近会出现双下降峰值，此时参数数量 $N$ 与可学习（被观测到）的坐标数量 $K(D)$ 相匹配。该峰值由稀疏指数 $\alpha_1$ 主导。
计算最优前沿：在固定计算预算下，最优分配显著转向更大的数据集而非更大的模型。最优模型规模按 $N^*(C) \sim C^{1/(\alpha_1+3)}$ 缩放，而最优数据集规模按 $D^*(C) \sim C^{(\alpha_1+1)/(\alpha_1+3)}$ 缩放。随着稀疏性增加（ $\alpha_1$ 增大），最优策略更倾向于数据，且计算最优指数 $\alpha_C$ 增加，表明损失随计算量的衰减速度更快。
梯度下降稳定性：本文推导了固定步长梯度下降因罕见激活尖峰而变得不稳定的概率缩放定律。该概率按 $P_{\text{rare}} \sim D^{-\nu}$ 衰减，其中 $\nu = (\alpha_1+\alpha_2+1)/(-\alpha_2-1)$ （针对 $\alpha_2 < -1$ ）。这识别了具有重尾稀疏数据的过参数化机制中的一种特定失败模式，区别于标准的优化障碍。
对非线性的鲁棒性：带有 ReLU 激活的实验证实， $\alpha_N$ 和 $\alpha_D$ 之间的定性不对称性在非线性设置中依然存在，尽管由于非线性引起的谱平滑作用，不对称性的幅度有所减小。

意义与主张
本文声称将罕见特征覆盖隔离为缩放不对称性的一个独立来源，区别于优化器动力学或特征学习机制。通过证明仅凭稀疏性就能打破缩放定律的对称性（在稠密模型中 $\alpha_N = \alpha_D$ ），该工作为模型和数据缩放指数存在差异的经验观察提供了理论解释。

作者断言，其发现为资源分配提供了原则性的处方：在稀疏的高维设置中，增加数据集规模比增加模型容量能带来更大的回报，即使在固定计算预算下也是如此。此外，对"GD 失败”缩放定律的识别表明，在此类机制中的实际优化可能需要特定的保障措施（如梯度裁剪）来处理罕见的高方差尖峰。该工作得出结论：稀疏性是一种基本的结构属性，它塑造了高维学习中的可实现性能和缩放行为，并延伸至非线性架构。