Measuring Maximum Activations in Open Large Language Models
本文对 27 个现代开源大语言模型检查点的最大激活幅度进行了全面测量，揭示峰值大小随模型家族和架构而非参数量变化近四个数量级，其中混合专家模型（MoE）的峰值显著低于稠密模型，从而确立了最大激活幅度作为确保稳定低比特量化所必须报告的关键非单调属性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在建造一座巨大的数字图书馆，其中的书籍由一个速度极快但略显脆弱的机器人负责阅读。这个机器人（即 AI 模型）逐个读取单词，并将它们通过一系列房间（层）进行处理，以理解故事内容。在这些房间内部，机器人会为它处理的每个单词生成“兴奋度”（激活值）。
大多数时候，这些兴奋度是平静且可控的。但有时，在短短一瞬之间，机器人会对某个特定单词感到极度兴奋，从而产生巨大的能量尖峰。
本文就像是一份针对 27 种不同版本机器人的安全检查报告，这些机器人规模各异（从微小到巨大），且来自不同的制造商（如 Qwen、Gemma 和 GPT-OSS）。研究人员希望回答一个简单却至关重要的问题：这些能量尖峰最高能达到什么程度？机器人的规模是否决定了尖峰的高度？
以下是他们利用简单类比得出的发现：
1. “音量旋钮”问题
将机器人内部的能量想象成一个音量旋钮。为了节省空间并让机器人在廉价硬件上运行得更快，工程师们通常试图将音量调低（量化）。
- 问题所在： 如果机器人突然以 1,000,000 的音量尖叫，而你将音量旋钮设置为仅能处理 10,000，那么这种尖叫就会被“削波”或失真。机器人会忘记该单词的细微差别，导致整个故事变得混乱。
- 发现： 研究人员测量了所有这些机器人中最响亮的尖叫（最大激活值）。他们发现，“响度”差异巨大。有些机器人（如 Qwen3.5）如同耳语，而另一些（如 Gemma3）则如同喷气式飞机起飞。
2. 更大并不总是意味着更响
你可能会认为，更大的机器人（参数更多）自然会发出更响的声音。
- 类比： 这就像假设更大的汽车总是拥有更响的引擎。
- 现实： 研究人员发现事实并非如此。来自一个系列的微小机器人，其尖叫可能比来自不同系列的巨型机器人还要响亮得多。“响度”更多地取决于谁建造了它（架构）以及如何训练它（配方），而不仅仅是它的大小。
- 示例： 研究发现，一个 Gemma3 机器人的响度大约是同等规模的 Qwen3.5 机器人的700,000 倍。
3. "MoE"捷径
有些机器人使用一种称为“混合专家”（Mixture of Experts, MoE）的特殊技巧。想象一下，在一个图书馆里，不是由一个巨大的图书管理员阅读每一本书，而是有 100 位小型专家，每本书只调用其中正确的 2 到 3 位。
- 发现： 这些"MoE"机器人被发现要安静得多。它们最响亮的尖叫比同等规模的“稠密”（非专家型）同类要低 14 到 23 倍。看来，使用专家能让能量更加集中。
4. 尖叫发生在哪里？
研究人员精确追踪了这些尖峰在机器人“大脑”中的具体发生位置。
- 发现： 在几乎所有情况下（24 个机器人中有 22 个），最响亮的尖叫发生在主走廊（残差流）中，即信息从一个房间流向下一个房间的地方。它通常不出现在侧室（如注意力室或数学室）。
- 模式： 有些机器人早期就会尖峰并保持高响度（像跳跃后保持），而另一些则缓慢积累，直到最后才达到最响（像逐渐爬升）。
5. 训练会改变音量
他们还观察了处于不同训练阶段的机器人，就像学生学习新技能一样。
- 发现： 随着机器人训练时间的延长（阅读更多书籍），它的音量往往会略微增大。这并非巨大的跳跃，但随着机器人变得更聪明，“音量”确实会逐渐上升。
给构建者的底线结论
该论文总结道，你不能仅凭机器人的规模就猜测它会有多响。
- 核心启示： 在你尝试缩小这些机器人以便在小型设备（如手机）上运行之前，你必须先测量它们最响亮的尖叫。如果你不这样做，可能会将音量旋钮设置得太低，导致机器人开始产生幻觉或犯错，因为它无法处理突然的能量尖峰。
作者已发布他们的测量工具，以便任何构建这些机器人的人都能在尝试压缩它们之前检查这种“响度”，从而确保机器人保持稳定和准确。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。