🤖 machine learning

Super Weights in LLMs and the Failure of Selective Training

本文证明了“超级权重”（Super Weights）的概念并不适用于所有大语言模型，并且尝试孤立地训练这些被单独识别出的关键参数会导致灾难性的性能失效，从而证明了有效的微调依赖于结构化的全层分解，而非针对特定的高重要性权重。

原作者： Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、超级聪明的机器人大脑（一个大型语言模型），它已经学会了阅读、写作和推理。最近，一些科学家在这个大脑内部发现了一些“魔法按钮”。他们称之为超权重（Super Weights）。

令人疯狂的是，如果你仅仅是删除其中一个魔法按钮，机器人的大脑就会彻底陷入混乱。它的性能会大幅下降，就像它完全忘记了如何说话一样。这太令人震惊了，以至于人们一度认为这些是脑部最重要的部分。

于是，一个自然而然的问题出现了：如果这些按钮如此重要，那么如果我们只训练它们会发生什么呢？

这个想法是：“让我们冻结大脑的其他部分，只让这些‘超权重’学习新事物。既然它们是‘明星’，它们应该能够靠自己修复机器人的错误，对吧？”

答案是一个坚定的、响亮的“不”。

事实上，论文表明，试图只训练这些超权重的做法是一场灾难。这就像试图通过只转动方向盘来修理一台坏掉的汽车发动机。无论你多么努力，车子都不会移动。

“魔法按钮”实验

研究人员选取了两个版本的 OLMo 模型（一个拥有 10 亿参数，一个拥有 70 亿参数）。他们尝试通过只更新超权重来教模型一项新任务（回答多项选择题）。

他们尝试了不同数量的按钮：

他们只训练了 100 个超权重。
他们尝试了 1,000 个。
他们甚至尝试了 8,192 个（是第一次尝试的 81 倍）。

结果是？ 模型的准确率降到了随机猜测水平。

对于 10 亿参数的模型，它的正确率约为 25%（这正是你在四选一问题中盲目猜测时的水平）。
对于 70 亿参数的模型，它也同样降到了 25–26% 左右。

甚至当他们尝试变得“宽容”一点，不仅训练超权重，还加上它们周围的“邻居”（大约 36,000 个参数的小型“邻域”）时，实验依然失败了。模型根本无法学习。

“不是按钮的问题，而是策略的问题”这一转折

你可能会想：“好吧，也许问题在于他们只训练了一组极小的、稀疏的按钮。也许如果他们训练任何微小的集合，都会失败。”

论文说：不，事实并非如此。

为了证明这一点，研究人员做了一个聪明的对照测试。他们选择了相同数量的按钮（4,096 个），但这次不是挑选那些“超级”按钮，而是从大脑的同一部分挑选了随机按钮。

结果： 模型反而变好了！它的得分达到了 64.18%（超过了基准线 60.65%）。

这证明了失败并不是因为他们训练的参数太少。失败的原因在于他们专门针对了超权重。这些特定的坐标在孤立训练时是失效的。

为什么它们会失败？“放大器”类比

把这些超权重想象成音响系统中的巨大音量旋钮。它们被调得非常高，可以极大地放大信号。

如果你删除它们： 音响系统会陷入沉默（模型崩溃）。
如果你试图单独调整它们： 那将是一场噩梦。因为它们已经非常响亮了，即使是极其微小的调整也会让音量冲向云霄，导致反馈回路和失真。系统会变得不稳定并崩溃。

论文指出，当你尝试孤立地训练这些旋钮时，数学逻辑会失控。这些位置的“曲率”（即学习坡度的陡峭程度）如此之大，以至于优化器（执行学习的部分）会感到困惑，导致模型崩溃。

真正的英雄：LoRA

那么，我们到底该如何教这些模型新事物而不破坏它们呢？论文指向了一种叫做 LoRA（低秩自适应）的方法。

不要把 LoRA 想象成一个试图修理单个螺栓的机械师，而要把他想象成一位指挥着管弦乐队的指挥家。

LoRA 不会直接触碰那些超权重旋钮，而是在信号到达旋钮之前，加入一层微小的、有结构的音乐。
它使用低秩结构更新注意力层（“管弦乐队”）中的每一个位置，但它只训练了总参数量的约 0.16%。
结果： 模型完美地学习了！
- 在 10 亿参数模型上，它达到了 66.88% 的准确率。
- 在 70 亿参数模型上，它达到了 77.3% 的准确率。

更酷的是，研究人员尝试“冻结” LoRA 中对应于超权重位置的部分（以观察是否这些特定位置是问题所在）。结果发现这并不重要。模型依然表现出色。这证明了更新的结构（指挥整个管弦乐队的指挥家）才是关键，而不是特定的按钮位置。

关于原论文中的“魔法”

论文还检查了最初发现超权重的研究。之前的研究是通过观察仅仅一个例子来发现它们的。而这篇新论文检查了 1,000 个不同的例子。

他们发现，在 100% 的案例中，都有 9 个特定的按钮 至关重要。
这证实了超权重是真实的、具有结构性的脑部组成部分，而不仅仅是某个特定问题下的偶然现象。

核心结论

这篇论文传达了一个明确的信息：仅仅因为大脑的一个部分很重要，并不意味着你可以单独训练它。

删除超权重会破坏模型。
单独训练 超权重会破坏模型。
训练一组随机的小部分效果尚可。
通过结构化的、低秩的方法（LoRA）进行整体训练 效果最好。

事实证明，这些模型的“魔力”并不在于你可以微调的那几个特殊按钮。而在于整个网络的协同工作。你不能仅仅通过转动一颗螺丝来修补引擎；你需要让整台机器和谐地运转。

技术摘要：大语言模型中的“超级权重”与选择性训练的失效

问题陈述

最近的研究（Yu 等人，2025）识别出了“超级权重”（Super Weights）——即在大语言模型（LLMs）中，移除这些特定的标量参数会导致性能下降数个数量级的现象。这一发现提出了一个假设：如果特定参数如此关键，那么通过刻意针对并仅更新这些“重要”参数的微调策略应当非常有效，其效果可能优于更新随机或分布式的参数子集的方法。

本文对该假设提出了挑战。它研究了由参数重要性（由移除后的灾难性失败所定义）是否意味着参数在孤立状态下的可训练性。作者测试了仅训练超级权重或其直接局部邻域是否能成功使模型完成适配，或者这种稀疏的、基于坐标的训练是否会导致灾难性的失败。

研究方法

作者在 OLMo-1B 和 OLMo-7B 上进行了一套全面的实验，并在 10 个不同的模型家族（包括 Llama、Phi、Mistral 和 Gemma 变体）中进行了剪枝复现。

1. 验证超级权重的稳定性

先前的工作通过单次前向传播识别超级权重。作者通过运行 1,000 个随机 WikiText-2 样本，验证了这些权重是模型的结构属性而非输入特有的伪影。他们发现，9 个特定的权重位置在 100% 的输入中始终产生最大的激活峰值，从而证实了其结构的稳定性。

2. 剪枝复现

作者在多种架构上复现了 Yu 等人（2025）的剪枝实验。他们将识别出的超级权重坐标置零，并测量其对困惑度（perplexity）和准确率（ARC-Easy、Winogrande）的影响。他们还测试了简单的基于幅值的排序能否在原论文未覆盖的模型中识别出超级权重。

3. 选择性训练实验

研究的核心在于训练隔离的参数子集，同时冻结其余部分：

直接超级权重训练： 仅训练前 $k$ 个超级权重（ $k \in \{100, 1000, 4096, 8192\}$ ）。
邻域训练： 训练超级权重及其半径为 1 的所有参数（形成 $3 \times 3$ 的补丁），将可训练参数数量增加至约 36,846 个。
随机对照组： 在相同的层（down proj）中选择等量的随机位置进行训练，排除超级权重坐标，以分离稀疏性与坐标选择的影响。
LoRA 变体：
- 原生 LoRA (Vanilla LoRA)： 在注意力层上进行标准的低秩自适应。
- LoRA-dproj-SW-freeze： 限制在对应于下投影（MLP）层中超级权重坐标的注意力位置上的 LoRA 更新。
- LoRA- $\Delta W$ -SW-freeze： 冻结 LoRA 更新矩阵 ( $\Delta W$ ) 本身中前 1,000 个最高幅值的坐标位置。

4. 理论分析

作者提供了关于以下方面的理论论证：

内在维度 (Intrinsic Dimensionality)： 与低秩分解相比，稀疏的坐标对齐更新仅捕捉了微调子空间中极小的一部分 ( $k/N$ )。
优化器动力学： 自适应优化器由于这些离群位置存在 $M^2$ 倍的更高曲率（Hessian），会隐式地抑制对超级权重位置的更新，其中 $M$ 是激活放大比例。

核心结果

1. 孤立超级权重训练的失败

孤立训练超级权重导致性能完全崩溃，在 OLMo-1B 和 OLMo-7B 上，准确率均降至随机猜测水平（4 选 1 的 ARC-Easy 约为 25%，2 选 1 的 Winogrande 约为 50%）。

将训练参数数量从 100 增加到 8,192 个并未带来任何改善。
扩展到局部邻域（高达 36,846 个参数）也未能恢复性能。
优化过程中训练损失有所下降，但验证集困惑度剧增，表明模型过度拟合了训练数据而失去了泛化能力。

2. 失败的特异性

这种失败是针对超级权重坐标的，而非针对稀疏性或模块类型：

随机对照组： 在相同的下投影层中训练等量的随机选择的位置，其准确率高于基准线（OLMo-1B 为 64.18% vs 60.65%）。
低秩对照组： 对下投影层应用秩为 8 的低秩更新也取得了成功（68.77%）。
结论： 崩溃是由针对特定的超级权重坐标造成的，这破坏了预训练模型所依赖的关系结构。

3. LoRA 的鲁棒性

原生 LoRA 使用 0.16% 的参数便取得了成功，实现了 66.88% (OLMo-1B) 和 77.3% (OLMo-7B) 的准确率。
位置限制： 冻结对应于下投影层超级权重坐标的注意力更新位置（LoRA-dproj-SW-freeze）对性能没有产生可测量的影响。10 个种子数的消融实验确认，原生 LoRA 与受限变体之间的结果在统计学上是不可区分的（ $p > 0.05$ ）。
LoRA 内部关键性： 冻结 LoRA 更新矩阵 ( $\Delta W$ ) 中最高幅值的坐标位置同样没有影响，这与冻结基础模型超级权重导致的灾难性失败形成了鲜明对比。

4. 剪枝泛化性

虽然剪枝超级权重会导致 OLMo、Phi-3、Mistral 和 Llama-3-8B（使用原始坐标）发生灾难性退化，但简单的基于幅值的识别无法在其他模型（如 Llama-3.1、Qwen2.5、Gemma-2）中识别出关键权重。这表明超级权重是特定模型家族的激活离群值，而非仅仅由幅值定义的通用属性。

意义与主张

本文确立了参数重要性并不意味着参数在孤立状态下的可训练性。作者认为：

结构性 vs 可训练性： 超级权重充当了固定的、高增益的放大器。孤立地修改它们会破坏网络的协调结构。有效的微调需要更新流经这些权重的表示（通过 LoRA 中的注意力层），而不是权重本身。
协调性优于稀疏性： PEFT 的成功依赖于整个层的结构化分解（如 LoRA 的低秩结构），而非针对单个重要的权重。LoRA 之所以成功，是因为其低秩分解在整个层内协调了更新，从而保留了关系结构；而稀疏训练则孤立了参数，破坏了这些依赖关系。
优化器动力学： 理论分析表明，自适应优化器通过抑制更新来隐式地保护超级权重，因为这些位置具有高曲率。显式训练这些位置会打破这种保护，导致不稳定和崩溃。

作者总结道，未来的 PEFT 方法应通过结构化的、全层范围的分解来获取效率，而不是试图识别并更新“关键”的单个参数。