🤖 machine learning

The Growing Pains of Frontier Models: When Leaderboards Stop Separating and What to Measure Next

本文提出了一种诊断框架，将前沿模型的性能分解为群体耦合趋势和单次发布残差，以揭示编码与推理能力如何相互作用、因实验室而异并随时间演变，最终在当前排行榜趋于饱和时，为选择下一个最具信息量的基准测试提供战略指南。

原作者： Adil Amin

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Adil Amin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，AI 模型的世界就像一个规模宏大、 stakes 极高的体育联盟。每当有新选手（模型）发布时，媒体和粉丝都会关注两项核心数据：它们的代码能力如何？（好比球员的打击率）以及它们的推理能力如何？（好比他们的战略智商）。

传统上，我们只是单独看待这些数据。“选手 A 的打击率很高！选手 B 的智商很高！”但这篇论文认为，孤立地看待这些数据会错过真正的故事。作者 Adil Amin 提出，最重要的问题不是“谁在获胜？”，而是"在代码能力变强的同时，它们的推理能力会受到怎样的影响？"

以下是用简单类比对论文发现的拆解：

1. “团队化学反应”的发现

该论文分析了来自 10 个不同实验室（如 Google、OpenAI、Anthropic 等）的 34 种不同 AI 模型。他们发现了一个令人惊讶的趋势：代码与推理是最佳拍档。

发现： 当一个模型的代码能力变强时，它的推理能力几乎也会随之变强。它们“协同合作”。
类比： 这就像去健身房的人。通常，如果你举重力量变强了，你的跑步能力也会变好。你不必二选一；提升一项能力有助于另一项。论文将这种现象称为协同耦合（Cooperative Coupling）。

2. “指纹”（h-field）

尽管它们互相促进，但每个实验室都有独特的“风格”或“指纹”。有些实验室训练模型成为代码机器，而另一些则专注于将它们打造成超级聪明的推理者。

工具： 作者创建了一个名为h-field的简单分数。你可以将其视为一个“偏差计”。
- 如果模型正好位于平均线上，它就是“平衡的”。
- 如果读数为负，该模型就是代码专家（代码能力出色，但相对于趋势，推理能力可能略弱）。
- 如果读数为正，该模型就是推理专家（超级聪明，但可能在代码上投入稍少）。
戏剧性变化： 论文显示，实验室并非一成不变。
- DeepSeek 曾经是一个推理天才，但随后突然转向成为代码专家。这就像一支曾经以防守闻名的篮球队，突然决定只打进攻。
- Anthropic 就像一个钟摆。他们猛烈地摆向代码，然后摆回推理，再摆回去。他们正在“振荡”。
- Google 则是稳健之手。他们持续构建的模型，每一代在推理能力上都略高于平均水平。

3. “挤压”（饱和）

这里是棘手之处：你不可能永远在所有方面都变得更强。

问题： “代码”数据（SWE-bench）正在触及天花板。排名前 5 的代码模型彼此如此接近，以至于很难区分它们。这就像一场比赛，前 5 名选手的完赛时间都在 0.01 秒之内。该数据已失去区分胜负的能力。
解决方案： 当一项数据失效时，“比赛”会转向新的数据。论文预测，虽然“代码”停滞不前，但名为HLE（人类最后考试，一项极难的测试）和指令遵循的新数据正成为区分模型的新方式。
类比： 想象一款电子游戏，其中“速度”属性曾是唯一重要的因素。但现在，所有人都快得让速度不再重要。游戏设计师必须引入一个新的属性，比如“魔法力量”，来决定谁能赢得下一关。

4. “级联”式过渡

论文指出，AI 的发展是以“波浪”或“级联”形式发生的。

第一波： 在较小规模下，代码和推理可能会互相冲突（如果你在某一方面变强，另一方面就会变弱）。
第二波： 随着模型变大（约 300 亿至 720 亿参数），它们突然又开始互相促进。
第三波（当前前沿）： 我们现在处于旧数据（代码）已饱和，而新数据（推理/复杂考试）正在接管的阶段。

5. 未来的“战术手册”

作者为所有关注这些模型的人提供了一份三步指南：

定位： 查看两项分数（代码和推理）。你的模型是专家型还是平衡型？
诊断： 模型是否突然改变了性格？（它是否从推理转向了代码？）
轮换： 如果当前的数据过于接近而无法区分（饱和），就停止关注它们，转而测量下一个难题（如 HLE 或指令遵循）。

总结

论文认为，我们需要停止仅仅查看排行榜并问“谁是第一？”，而应该关注技能之间的关系。

好消息： 代码和推理通常会互相促进。
坏消息： “代码”数据的增长空间已所剩无几。
接下来是什么： 前沿正在转移。下一个重大突破将不再是关于谁代码写得最好，而是关于谁能处理最复杂、最像人类的推理任务。

作者甚至构建了一个实时仪表盘（数字工具），你可以输入两项分数，立即看到该模型是“代码专家”、“推理专家”，还是仅仅在随大流。

技术摘要：前沿模型的成长阵痛

问题陈述

当前对前沿模型的评估依赖于独立的排行榜，这些排行榜在特定维度上对模型进行排名（例如，SWE-bench 用于编码，GPQA Diamond 用于推理），但未能揭示不同版本发布之间能力是如何相互作用的。社区通常关注模型是否擅长编码或推理，却很少探究提升某项能力是否会强化或削弱另一项能力。在前沿领域，不同实验室快速连续地发布模型，这种能力间的相互作用——即能力耦合——比孤立的分数提供了更具信息量的信号。本文旨在解决以下需求：诊断能力是协同还是权衡；这种耦合如何随实验室和时间变化；以及如何识别基准测试维度何时趋于饱和并需要轮换。

方法论

作者提出了一种诊断框架，基于公开模型卡片和已验证排行榜中的成对基准分数。该方法论依赖于从两个维度之间的关系中推导出的三个核心量：SWE-bench Verified（自主编码）和GPQA Diamond（研究生水平的科学推理）。

群体耦合 ( $r$ )：在模型面板上计算的皮尔逊相关系数。正的 $r$ 表示能力之间存在协同强化，负的 $r$ 表示存在对抗性权衡。
$h$ -场（实验室相对残差）：对于给定模型 $i$ $i$ ， $h$ $h$ -场是相对于群体回归线（ $\hat{B}_2 = \beta_1 B_1 + \beta_0$ $\hat{B}_{2} = β_{1} B_{1} + β_{0}$ ）的有符号残差。
- $h_i = B_{2,i} - (\beta_1 B_{1,i} + \beta_0)$
- 正的 $h$ 表示相对于编码 - 推理趋势，推理能力更为丰富；负的 $h$ 表示编码能力更为丰富。
- 每个实验室的平均 $h$ 值（ $\bar{h}_{lab}$ ）概括了该实验室相对于群体趋势的特征性偏离。
阶段分类：根据模型 $h$ $h$ -场值相对于回归线的位置，将模型分为三种状态：
- 协同： $|h| \le 10$ 个百分点 (pp)。
- 编码专家偏离： $h < -10$ pp。
- 推理专家： $h > +10$ pp。
饱和比率 ( $\sigma$ )：定义为顶级模型中旧基准维度与新候选维度极差（最大值 - 最小值）的比率。比率 $\sigma < 0.2$ 表明旧维度已失去区分能力，提示需要轮换至新维度。

数据集包含来自 10 个实验室（包括 Anthropic、OpenAI、Google、DeepSeek 等）的 34 个前沿模型，时间跨度为 2024 年 6 月至 2026 年 3 月。分析使用了核心验证子集（ $n=23$ ）和扩展集（ $n=34$ ），并采用留一实验室交叉验证来测试泛化性。

主要结果

1. 前沿的协同耦合

在整个 34 个模型的面板中，SWE-bench 和 GPQA Diamond 表现出强烈的正耦合（ $r = +0.72, p < 10^{-6}$ ）。这种协同结构在所有测试子集中持续存在，并且对架构和训练流程的异质性具有鲁棒性。只有当两个基准测试都具有足够的动态范围（SWE 分数 $\ge 40$ ）时，该信号才可测量，这在 2025 年的发布版本中才得以实现。

2. 按实验室划分的诊断与轨迹

虽然能力在全球范围内协同，但协同的模式因实验室而异，这通过 $h$ -场和耦合斜率进行量化：

Google：保持一贯的推理丰富侧重（ $\bar{h} \approx +5.5$ ），且具有较高的耦合斜率（1.15），表明其能高效地将编码增益转化为推理能力。
DeepSeek：表现出剧烈的反转，在四次发布中从推理丰富（ $h = +11.2$ ）转向编码优先（ $h = -4.7$ ），发生了 15.9 个百分点的偏移。
Anthropic：在编码偏离（例如 Sonnet 4.6， $h = -13.1$ ）和恢复至推理丰富状态（例如 Opus 4.6， $h = +3.5$ ）之间振荡。
耦合效率：各实验室的耦合斜率相差 5 倍（Google 为 1.15，DeepSeek 为 0.23），量化了不同“配方”将编码改进转化为推理增益的效率。

3. 能力级联与饱和

本文指出，协同并非静态，而是通过旧维度锁定在一起、新维度涌现的阶段进行级联：

非对称饱和：在前 5 名编码模型中，SWE-bench 分数几乎持平（1.3 个百分点的极差），而 GPQA 分数仍保留显著方差（9.1 个百分点）。这种压缩表明 SWE 正在饱和。
维度轮换：随着 SWE 饱和，HLE（人类最后考试）和IFEval作为新的独立维度被激活。耦合矩阵显示，SWE 和 GPQA 协同（ $r \approx +0.85$ ），GPQA 和 HLE 协同（ $r \approx +0.72$ ），但 SWE 和 HLE 是解耦的（ $r \approx -0.25$ ）。
$N_{c2}$ 转变：六个开源权重架构确认了在 30–72B 参数处存在第二次能力转变，此时协同崩溃（下降约 59%），随后部分恢复，这表明在此规模下隐藏状态能够协同表示的相互作用数量存在限制。

4. 预测验证

该框架针对 2026 年 3 月数据截止后发布的五个模型（2026 年 4 月）进行了验证。这些样本外模型证实了该诊断的有效性，重新拟合后群体相关性从 $+0.72$ 上升至 $+0.75$ 。 $h$ -场成功预测了 DeepSeek 的转向轨迹以及 Anthropic 的恢复。

意义与贡献

本文声称提供了首个大规模、跨实验室的协同前沿耦合测量，将关注点从“谁领先”转向“这是何种进步”。其主要贡献包括：

诊断框架：一个三级操作手册（定位、诊断、轮换），允许从业者对模型发布进行分类，识别能力重新分配（通过 $h$ -场偏移 $>10$ pp），并检测基准测试何时失去区分能力（通过 $\sigma < 0.2$ ）。
实验室策略量化： $h$ -场和耦合斜率提供了实验室特征侧重（推理丰富 vs. 编码丰富）及其训练配方效率的单值摘要。
可证伪的预测：本文提出了未来 12 个月的七个带时间戳的预测，包括 SWE-bench 在 2026 年 12 月前饱和、IFEval 的激活，以及 SWE 和 HLE 解耦的加深。
操作实用性：该框架仅需两个公开基准分数即可生成可操作的见解，无需访问专有训练数据或模型内部结构。

作者强调， $h$ -场是描述性的而非因果性的；它识别发布序列中发生了什么变化，但不解释为什么（例如，特定的数据策展或架构变更）。然而，通过使这些变化可见，该框架使实验室能够监控能力权衡，并预测评估指标下一次必要的轮换。