💬 NLP

Superposition Yields Robust Neural Scaling

本文提出，表示叠加（即模型编码的特征数量超过其维度限制）是神经缩放定律的基本驱动力，导致在当前大语言模型所观察到的强叠加机制下，损失与模型规模呈反比关系进行缩放。

原作者： Yizhou Liu, Ziming Liu, Jeff Gore

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Yizhou Liu, Ziming Liu, Jeff Gore

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一座宏大的图书馆装进一个极小的背包里。这正是人工智能（特别是那些能够编写代码、回答问题并与我们聊天的巨型“大语言模型” [LLMs]）每天面临的挑战。这些模型通过将文字转化为数字（向量），并将它们存储在一个特定大小的隐藏“背包”中来运作。长期以来，科学家们注意到一个奇特的模式：如果你把背包做大，AI就会变得更聪明，其错误率也会以一种非常可预测的方式下降。这就像一条神奇的规则：每当大脑容量翻倍，错误就会减少特定程度。但一直以来，没人真正知道为什么这条“神奇规则”会存在。是因为更大的包能装下更多的书吗？还是因为在包内部发生了一种巧妙的技巧，使得书籍的存放方式比物理定律所允许的还要高效？这个问题处于现代计算机科学的核心，试图理解机器是如何学会思考的。

麻省理工学院（MIT）的一个研究小组决定通过构建一个简单的“玩具模型”（一种精简的、微缩版的AI模型）来调查这个谜团，看看当你试图把过多的特征塞进过小的空间时会发生什么。他们发现，秘诀不仅仅在于拥有一个更大的包，更在于AI如何将信息挤压在一起。他们称之为“叠加”（superposition）。想象一下，尝试将100个不同颜色的弹珠放入一个只能容纳10个的盒子里。在“弱”设置下，你会直接扔掉多余的90个弹珠，只保留最重要的10个。但在“强”设置下，AI学会了将弹珠叠放在一起，让它们稍微重叠，从而使它们都能放得下。研究人员发现，当AI使用这种“堆叠”技巧（叠加）时，随着规模增长而变得更聪明的神奇规则变得异常稳健且可靠，无论它学习的是什么样的资料。

这篇题为《叠加产生鲁棒的神经缩放》（Superposition Yields Robust Neural Scaling）的论文指出，这种“重叠技巧”是为什么更大的AI模型表现得更好的主要原因。该团队利用他们的玩具模型测试了两种不同的场景。首先，他们观察了一个“弱叠加”机制，在这种机制下，由于空间过于拥挤，AI被迫忽略大部分数据。在这种情况下，他们发现只有当数据本身已经具备某种特定的、罕见的模式（例如英语中常见词汇遵循的特定频率）时，AI才会以一种可预测的幂律方式变得更聪明。如果数据是杂乱或随机的，这条神奇规则就会失效。

然而，当他们调高“叠加”旋钮时，故事发生了戏剧性的变化。通过调整训练中的一个设置（使用一种称为“权重衰减”的技术），他们鼓励AI去表示所有的特征，即使这意味着它们必须稍微重叠。在这种“强叠加”机制下，AI变得极其高效。研究人员观察到，由于这些重叠向量如何几何性地组合在一起，误差率以一种稳定、可预测的幂律形式下降。这就像一个拼图游戏，其中的碎片被稍微挤压变形了；随着你增加拼图板的空间，碎片会完美地契合进去，而“缝隙”（误差）会以大约 1 除以模型宽度（1/width）的速度缩小。

为了证明这不仅仅是他们玩具模型的特例，该团队研究了现实世界的开源大语言模型（如 OPT、GPT-2、Qwen 和 Pythia）。他们测量了“语言模型头”（即AI决定下一个词是什么的部分），发现这些真实的模型确实运行在“强叠加”模式下。代表不同词汇的向量以一种与他们的玩具模型预测完全吻合的方式相互重叠。数据显示，对于这些真实模型，误差率与模型的宽度成反比，其指数非常接近 1。这与著名的“Chinchilla缩放法则”相一致，该法则表明模型大小和数据量需要以特定的方式平衡，才能达到最优性能。

该论文明确排除了这样一种观点，即神奇的缩放法则仅仅是因为AI学会了更多互不干扰的独立特征。他们展示了如果AI不使用叠加（即“弱”机制），那么缩放法则将是非常脆弱的，完全取决于数据的特定分布。相反，他们认为，我们今天看到的这种强大且通用的缩放现象，是由于AI能够通过允许特征在几何上重叠，从而表示比其维度更多的特征。虽然他们并未声称已经解开了AI的所有谜团，但他们的模拟和测量强烈表明，这种几何上的“堆叠”是为什么更大的模型效果如此出色的核心驱动力。他们甚至暗示，如果我们能在未来的训练中更刻意地鼓励这种叠加，我们或许能让较小的模型表现得像大型模型一样，尽管他们也提醒说，这可能会让AI变得更难解释。最终，这篇论文描绘了一幅画面：AI不仅仅是一个装载数据的更大的桶，而是一个聪明的魔术师，它通过让球体在视觉上略微模糊以实现完美契合，从而学会了用比手掌更多的球进行杂耍。

技术摘要：叠加态产生稳健的神经缩放

问题陈述

大规模语言模型（LLMs）通过更大的规模持续实现更低的损失和更好的性能，这一经验观察已被广泛认可，即“神经缩放法则”（neural scaling laws），其中损失随模型规模呈幂律下降。然而，这种缩放法则的根本起源仍不明确。虽然存在多种解释——从改进函数逼近到增强技能学习——但许多解释依赖于对数据分布或无限数据极限的假设，这些假设可能无法充分捕捉实际 LLM 的行为。具体而言，表示叠加（representation superposition）现象——即模型在不产生干扰的情况下，表示比其隐藏维度更多的特征——作为驱动此类缩放法则的角色，尚未得到深入研究。作者调查了叠加程度如何影响损失随模型维度（宽度）的缩放，以及在何种条件下这种缩放遵循幂律。

研究方法

作者采用了一个基于 Anthropic 叠加框架（一个自动编码器）的玩具模型，以将表示学习从 Transformer 层等其他 LLM 组件中分离出来。

玩具模型架构：
- 输入： 一个向量 $x \in \mathbb{R}^n$ ，代表 $n$ 个原子特征。每个特征 $i$ 以概率 $p_i$ （频率）激活，强度为 $v_i \sim U(0, 2)$ 。
- 机制： 模型学习一个权重矩阵 $W \in \mathbb{R}^{n \times m}$ （其中 $m \ll n$ ）将数据嵌入到隐藏空间 $h = W^T x$ ，以及一个偏置向量 $b$ 来重建输出 $y = \text{ReLU}(Wh + b)$ 。
- 损失： 定义为重建输出与原始输入之间的均方误差： $L = \langle \|y - x\|^2 \rangle$ 。
控制叠加：
- 作者使用解耦权重衰减项（ $\gamma$ ）在训练期间系统地调节叠加程度。
- 弱叠加（Weak Superposition）： 通过正权重衰减（ $\gamma > 0$ ）实现。模型仅完美表示最频繁的特征（正交基），忽略其余特征。
- 强叠加（Strong Superposition）： 通过负权重衰减（ $\gamma < 0$ ）实现。模型表示比维度 $m$ 多的许多特征，导致表示向量发生重叠。ReLU 非线性函数和负偏置允许模型抵消这些重叠产生的干扰。
实验设置：
- 作者改变模型维度 $m$ 、数据维度 $n$ 以及特征频率分布（通过控制 $p_i \propto 1/i^\alpha$ 中的指数 $\alpha$ 来控制）。
- 他们在弱叠加和强叠加两种机制下分析了损失随模型维度的缩放情况（ $L \propto 1/m^{\alpha_m}$ ）。
- LLM 验证： 作者分析了开源 LLM（OPT, GPT-2, Qwen, Pythia），以测量语言模型头权重的重叠情况，并将经验损失缩放与玩具模型预测进行对比。

核心贡献与结果

1. 弱叠加机制：“幂律输入，幂律输出”

在弱叠加机制中，模型会忽略频率较低的特征。损失由这些未被表示特征的频率之和主导。

发现： 只有当底层特征频率本身遵循幂律时，损失才会随模型规模呈现幂律关系。
指数： 如果特征频率衰减为 $p_i \propto 1/i^\alpha$ （其中 $\alpha > 1$ ），则损失缩放为 $L \propto 1/m^{\alpha-1}$ 。
启示： 在此机制下，缩放指数对特定数据分布的属性高度敏感。

2. 强叠加机制：稳健的几何缩放

在强叠加机制中，模型同时表示许多特征，依靠几何重叠来编码信息。

发现： 损失与模型维度成反比（ $L \propto 1/m$ ），这在包括非幂律分布在内的广泛类别的频率分布中均成立。
机制： 这种稳健性源于表示向量的几何特性。在高维空间中，随机向量（或旨在最小化干扰的向量）的平方重叠量按 $1/m$ 缩放。作者表明，对于均匀频率，表示向量变得各向同性；对于偏斜频率，最重要的特征会形成类似“等角紧框架”（Equal Angle Tight Frame, ETF）的结构，这两者都导致平方重叠量呈现 $1/m$ 的缩放。
指数： 对于均匀频率，模型的指数 $\alpha_m$ 稳健地接近 1。对于高度偏斜的频率， $\alpha_m$ 可能增加（最高可达 $2(\alpha-1)$ ），但由于几何约束， $1/m$ 缩放仍然是一个主导基准。

3. 对真实 LLM 的验证

作者确认开源 LLM 运行在强叠加机制中：

证据： 语言模型头权重的行范数对于所有 token（词表大小 $n \gg m$ ）均为非零，且归一化权重向量的平均平方重叠量随 $1/m$ 缩放。
缩放法则： 对 LLM 损失相对于模型维度的经验拟合得出指数 $\alpha_m \approx 0.91 \pm 0.04$ ，这与理论预测 $\alpha_m \approx 1$ 一致。
一致性： 这一发现与 Chinchilla 缩放法则相吻合，其中损失随总参数量（ $N$ ）的缩放可以通过宽度缩放（ $\alpha_m \approx 1$ ）结合关系式 $N \propto m^{2.52}$ 推导得出。

意义与主张

本文将表示叠加识别为神经缩放法则的核心驱动力。

机理阐释： 它为为什么损失随模型规模呈幂律缩放提供了一种几何解释，并将这种缩放的稳健性归因于高维向量的干扰特性，而非仅仅是数据分布的特性。
机制区分： 它澄清了以往的理论工作通常隐含地假设了一个弱叠加机制（其中缩放取决于数据分布），而实际的 LLM 运行在强叠加机制中（其中缩放具有几何稳健性）。
实践洞察： 结果表明，“一除以宽度”（ $1/m$ ）的缩放是强叠加机制下表示受限系统的基本属性。这为理解为什么增加模型宽度能持续且可预测地提升性能提供了理论基础，即使在数据分布发生变化的情况下也是如此。
局限性： 作者指出，他们的分析侧重于表示损失，并未对所有配置下的玩具模型进行严格求解。他们承认解析 Transformer 层中的损失以及随数据集规模的缩放是相关但不同的课题，需要进一步研究。他们还警告说，鼓励叠加可能会使机械解释性和 AI 安全性复杂化。

总之，本文认为 LLM 缩放法则的成功不仅是一个统计学上的人工产物，更是叠加几何效率的结果，这种效率使得模型能够在有限的维度内表示庞大的特征空间，并实现可预测的误差衰减。