💬 NLP

CurveShift: Is Agent Progress Scalar? Separating Level from Shape

本文认为，尽管 AI 向更难任务进阶的大多数表象变化是由于天花板效应和整体能力的提升所致，但在通过 LiveCodeBench 基准测试控制了脚手架混淆因素后发现，在 2024 年 9 月之后发布的模型中，解决最难竞争性编程问题方面出现了明显的、真实的进步。

原作者： Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hanwen Xing, Pengyun Wang, BingXu Meng, Kumail Alhamoud, Xiang Li, Jicheng Wang, Xin Yu, Xinyang Han, Xiaomin Li, Philip Torr, Yuexing Hao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一个电子游戏的排行榜，玩家们正试图解决难度不断增加的谜题。多年来，故事一直很简单：“玩家变得更强了。”我们用一个单一的数字来衡量这一点，比如平均分或“待破纪录时间”指标。这就像是在说一名跑步者变快了，因为他们的平均比赛时间下降了。但如果这个跑步者并不是在所有方面都变快了呢？如果他只是在那些极其困难的山路赛道上变快了，而在平坦路面上速度却完全没有变化呢？或者更糟，如果这种“变快”只是一种错觉，因为他在简单的路面上已经足够优秀，以至于无法再进步多少，从而使得他在面对困难任务时的进步看起来比实际情况更大？

这正是科学家们试图用人工智能（AI）解决的谜题。我们拥有这些庞大的 AI 模型，它们理应每天都在变得更加聪明。研究人员经常用一个单一的“标量”数字来总结这种进步——一个随时间上升的简单分数。但一个数字会隐藏很多秘密。它无法告诉我们 AI 是在全面变得更聪明，还是仅仅在简单任务上稍有进步，同时突然掌握了最难、最复杂的难题。这篇论文提出了一个至关重要的问题：AI 的进步仅仅是普遍的“等级提升”，还是在任务变得极其困难时，发生了一种特殊的、奇特的转变？

这篇论文的作者们是一群来自顶尖大学的研究人员，他们决定使用一种被称为“曲线偏移”（CurveShift）的巧妙技巧来进行调查。他们想要将“等级”（Level，即 AI 普遍有多聪明）与“形状”（Shape，即其性能随任务难度变化的规律）区分开来。把这想象成一个电子游戏角色。如果你赋予这个角色更多的生命值和力量（一种“等级偏移”），他们能更好地击败各种难度的敌人。但如果你赋予他们一种特殊的“困难模式技能”，这种技能只对 Boss 有效，那么他们会碾压 Boss，但在面对弱小的哥布林时几乎没有任何进步。核心问题在于：我们的 AI 模型仅仅是在整体变强，还是已经解锁了一种秘密的“杀 Boss”技能？

研究人员首先观察了大量以往 AI 测试的数据。他们发现，流行的说法——即 AI 突然在最难的任务上表现得好得多——可能大部分只是一个幻觉。当他们使用一种标准的数学模型（称为 Rasch 模型，该模型假设 AI 只是随着时间推行而变得普遍更聪明）时，该模型实际上能够完美地预测出那种“在困难任务上的进步”。事实证明，当你已经在简单任务上达到了 99% 的完美程度时，你就无法再进步多少了。因此，你在困难任务上看到的任何微小进步在对比之下都会显得巨大。这就像是一种“天花板效应”：你无法比天花板更高，所以你只能在地面上看到进步。论文认为，大多数向更难任务转移的增益只是这种统计学上的伪影，而非某种神奇的新能力。

然而，故事并没有到此结束。在剥离了这种“普遍进步”的幻觉后，研究人员发现了一个微小但真实的残留效应。他们专注于一种特定类型的测试，叫做 LiveCodeBench，这就像是一场竞争性编程比赛，人类编写题目，而 AI 尝试解决它们。至关重要的一点是，这个测试不使用任何“脚手架”或额外工具；它仅仅是原始的 AI 在尝试编写代码。这一点非常重要，因为在其他测试中，新的 AI 模型通常会与更新、更好的工具配套使用，这使得人们无法分辨是 AI 变聪明了，还是工具变好了。LiveCodeBench 隔离了 AI 的原始大脑能力。

他们的发现令人惊讶。即使在考虑了新模型普遍更聪明这一因素后，2024 年 9 月之后发布的模型在解决绝对难题方面的表现，仍高于其在简单和中等问题上的表现所能预期的水平。这并非巨大的飞跃，但确实是一个真实的跳跃。研究人员估计，在他们最保守的假设下，这种“难题增益”（hard-item gain）约为 +0.40 logits（概率的一个特定测量单位）。这意味着最难问题的解决率从大约 18% 跳升到了 25%。

但这里有一个陷阱：这种效应是非常特殊的。它只在 AI 独自工作、没有“支架”或工具团队协助的情况下才会清晰显现。在 AI 智能体使用工具（如浏览网页或逐步运行代码）的测试中，研究人员无法判断这种进步是来自 AI 还是来自工具，因为新的 AI 模型总是伴随着新的工具出现的。这种“难题项”的提升主要由最强的“推理”模型（即那些设计为进行步进式思考的模型）引领，并且似乎对那些需要短时间内深度思考的任务最有帮助，而不是对长期的自主任务。

那么，结论是什么？论文表明，关于 AI 突然变成能够处理任何困难任务的“超智能”的叙事，大多是由我们衡量进步的方式所导致的统计幻觉。AI 确实在普遍变得更聪明，这解释了大部分的炒作。但确实存在着一抹微小、真实的、全新的火花：一种超越单纯“普遍变聪明”的、专门应对最难、最复杂逻辑谜题的能力。这并不是解决一切问题的万能钥匙，但它是这些模型处理最艰难挑战时一种真实且可衡量的思维转变，前提是允许它们在没有额外帮助的情况下工作。作者们谨慎地指出，这只是针对编程谜题的一个特定发现，并不一定意味着 AI 已经准备好独立运营一家公司或管理复杂的长期项目。这是在“困难模式”思考领域迈出的一个微小而真实的进步，隐藏在宏大的普遍进步之下的深处。

技术摘要：CurveShift：智能体进展是标量吗？

问题陈述

大型语言模型（LLM）和智能体的进展经常被总结为一个单一的标量指标，例如聚合基准测试得分、潜在能力估计或时间跨度倍增率。虽然这些总结捕捉到了整体性能趋势，但它们混淆了两种截然不同的现象：

水平位移（Level Shift）： 全局能力的统一上升，即性能在所有难度等级上都呈比例地提高。
形状变化（Shape Change）： 集中在困难任务上的不成比例的增益，这意味着难度响应曲线发生了定性变化（例如，在困难任务上的“涌现”能力）。

当前的标量总结无法区分这两者。如果增益向更难的任务迁移，目前尚不清楚这反映的是模型能力谱的真实变化（形状变化），还是仅仅是由于上升的标量能力触及容易任务的效应天花板（水平位移）而产生的伪影。此外，在智能体基准测试中，存在一个混杂变量：较新的模型通常使用较新的“框架（harnesses）”或脚手架进行评估。模型时代与脚手架时代的这种共线性，使得人们无法将增益归因于模型本身还是归因于评估基础设施。

方法论

作者引入了 CurveShift 分析框架，利用项目反应理论（IRT）将整体能力增长与特定难度的增益分离开来。

1. 数据来源与识别策略

研究使用了三个数据集，但通过 LiveCodeBench 识别核心效应，这是一个竞争性编程基准测试。

METR 时间跨度与 SWE-bench： 这些是模型时代与脚手架时代共线性的智能体基准测试。它们用于展示“表象”趋势，但无法隔离模型效应。
LiveCodeBench： 一个无脚手架的基准测试，模型直接从问题陈述生成代码，无需智能体循环。至关重要的是，它拥有一个外生难度排序（基于人类竞赛难度），该排序独立于模型性能。这使得作者能够将模型能力与脚手架改进区分开来。
数据集： 一个包含 66 个带日期的模型面板（跨度为 2019–2026 年），在 1,055 个问题（322 个简单，383 个中等，350 个困难）上进行评估。

2. 统计框架

分析采用纵向 IRT 方法来测试不同时代间的差异项目功能（DIF）（即 2024 年 9 月前后的“推理时代”断点）。

零假设（Rasch 模型）： 单一上升的能力参数 ( $\theta_m$ ) 解释了所有的性能变化。成功的概率为 $logit(p) = \theta_m - b_i$ 。
备择假设（Era-DIF 模型）： 时代指示器专门与困难项目交互。模型为：
$logit(p_{mi}) = \theta_m - b_i + \delta \cdot post_m \cdot hard_i$
这里， $\delta$ 代表在排除整体能力预测之外，后时代模型在困难项目上的额外成功对数几率。

3. CurveShift 分解（锚定敏感性分析）

标准的两参数逻辑回归（2PL）模型无法处理此类数据，因为项目区分度 ( $\alpha$ ) 与时代效应 ( $\delta$ ) 几乎存在共线性，导致估计不稳定。为了解决这个问题，作者使用了锚定敏感性设计：

冻结能力： 仅使用简单和中等项目来估计模型能力 ( $\hat{\theta}_m$ )。这可以防止困难项目的残差被吸收进能力估计中。
固定区分度： 在 $\hat{\theta}_m$ $\hat{θ}_{m}$ 作为偏移量固定的情况下，在困难项目上拟合模型。作者没有自由估计区分度参数，而是将困难项目的区分度参数 ( $\alpha_{hard}$ $α_{ha r d}$ ) 固定在一个网格值上： $\{0.55, 0.83, 1.00\}$ ${0.55, 0.83, 1.00}$ 。
- $\alpha_{hard} = 1.00$ ：假设困难项目与简单项目具有相等的区分度（保守的主标题假设）。
- $\alpha_{hard} = 0.83$ ：去偏差估计。
- $\alpha_{hard} = 0.55$ ：代表二值化导致的降低的区分度伪影。
估计 $\delta$ ： 在该网格上报告时代效应 $\delta$ 。通过聚类自助法（按项目、竞赛和模型家族进行聚类）来量化不确定性。

关键结果

1. 标量零假设解释了大部分“迁移”

在 METR 时间跨度数据上，观察到的向更难任务的增益迁移（即随着时间推移，增长最快的难度区间从简单向中/难度的移动）在简单的单上升能力 Rasch 模型中得到了很大程度的重现。

机制： 随着整体能力的上升，简单项目触及天花板（使斜率变平），而中间项目位于逻辑曲线的最陡部分。这创造了一种表象上的向更难任务的移动，而实际上并没有发生难度响应曲线形状的任何改变。
结论： 这种“迁移”主要是由天花板效应和标量增长引起的测量伪影，而非能力的定性变化。

2. 残余的困难项目效应依然存在

在使用 CurveShift 分解控制了标量水平位移后，在 LiveCodeBench 上仍存在一个微小但显著的残余效应：

量级： 在保守假设相等区分度 ( $\alpha_{hard} = 1.00$ ) 的情况下，后时代模型（2024 年 9 月后发布的模型）在困难项目上的表现比其在简单/中等项目表现所预示的要高出 +0.40 logits。
影响： 这将最难问题的解决率从大约 18% 提高到了 25%。
鲁棒性： 该效应在高达 $\alpha_{hard} \approx 1.22$ 的整个区分度网格上保持为正。它在不同的模型家族（尽管由最强的推理系列主导）和不同的竞赛来源（Codeforces 和 AtCoder）中均成立。
特异性： 该效应特定于需要短推理路径的困难任务（竞争性编程），并且在脚手架会干扰信号的长期自主智能体基准测试中并未观察到这种通用的属性。

意义与主张

本文声称通过区分“水平”与“形状”，为关于智能体进展的叙事提供了修正：

削弱“涌现”主张： 向更难任务的增益迁移在很大程度上是标量能力增长和天花板效应的伪影，类似于此前已被证明是非线性指标伪影的“涌现能力”。
隔离真实效应： 尽管存在上述削减，但仍然存在一个真实的、较小的形状变化。在 2024 年 9 月之后发布的模型，即使在控制了整体能力的情况下，解决最难问题的频率也高于其在较易任务上的表现。
基准测试有效性： 研究表明，由于模型时代与脚手架时代的共线性，标准的智能体基准测试（METR, SWE-bench）无法解决这一问题。只有具有外生难度排序的无脚手架基准测试（LiveCodeBench）才能隔离模型的原生能力。
主张范围： 作者明确限制其主张范围为短时程推理任务（竞争性编程）。他们并不声称这种效应可以推广到将脚手架视为任务定义组成部分的长期自主智能体。

论文得出结论：虽然总体趋势在很大程度上是标量的，但一种集中在最难项目上的“形状变化”是一个真实的、可测量的现象，这在 2024 年 9 月之后的时代尤为明显，并主要由最强的推理模型驱动。