💻 computer science

Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

本文通过分析 26 个 AI 模型在 50 道 Project Euler 问题上的 3,840 次尝试，旨在证明机器投入的增长呈亚线性规模（与更差规模预测相矛盾），同时成功概率遵循指数衰减模型，并最终估算出最先进性能水平的水平线具有 75 天的倍增时间。

原作者： David Holmes, Johannes Schmitt

发布于 2026-06-23

📖 2 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： David Holmes, Johannes Schmitt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Human vs Machine Mathematical Difficulty on Project Euler》（Project Euler 上的人类与机器数学难度对比）的解释，已将其转化为通俗易懂的语言并配以类比。

大局观：一场关于时间与复杂度的竞赛

想象一下，Project Euler 是一个巨大的、面向公众的数学题健身房。人们（以及现在的 AI）报名参加这些谜题的挑战。健身房为最快的选手记录着秒表，精确记录他们找到正确答案所需的时间。

论文的作者想要回答一个简单的问题：随着数学题变得越来越难，AI 系统变差的速度是否比人类更快？

曾有一个理论（由数学家 Timothy Gowers 提出）认为，AI 会像一个很快就会疲劳的短跑运动员。其核心观点是：“AI 在简单的短跑中表现出色，但随着比赛变得更长、更难，AI 的努力程度会呈爆炸式增长，从而被人类甩在身后。”

作者利用 50 道近期数学题的数据和 26 种不同的 AI 模型测试了这一理论。以下是他们的发现。

1. “努力程度”测试：AI 会更快感到疲劳吗？

理论： 他们认为，对于人类解决一道难题所花费的每一小时，AI 需要花费远多于一小时的时间（以计算能力衡量，即生成的“token”或单词量）。他们预期随着题目变难，AI 的努力程度会飙升。

类比： 想象一个人和一个机器人在爬山。

预期： 机器人在山脚下表现很棒，但随着坡度变陡，机器人每走 1 步，可能需要做 100 步的计算工作，而人类只需走 1 步。
现实： 作者发现情况恰恰相反。对于最强的 AI 模型，随着山坡变陡，机器人的相对效率反而提高了。
- 如果人类用 1 小时解决一道难题，AI 可能需要 2 小时的计算工作。
- 如果人类用 10 小时，AI 可能只需要 15 小时的计算工作。
- 结果： 这个“差距”并没有扩大，反而缩小了。在这些特定的题目上，AI 的扩展性（scaling）比人类更好。作者将这一发现称为 $b < 1$ ，这基本上意味着“AI 处理难度的效率提升速度比我们预期的要快”。

为什么？ 作者推测，这些数学题包含大量的“编码”或“实现”步骤。人类在打字和调试代码上花费大量时间，而 AI 在打字和调试方面极其迅速。因此，即使 AI 在“思考”部分进展缓慢，它在“执行”部分的超高速让总体的计算时间看起来非常高效。

2. “可靠性”测试：AI 是否会直接放弃？

理论： 虽然 AI 可能很高效，但也许它会因为变得困惑而更容易失败。作者测试了成功率是否会以一种可预测的方式下降。

类比： 想象在黑暗的森林中行走。

理论： 你走的每一步都有一个微小的、恒定的概率让你绊倒。路径越长（题目越难），你绊倒的可能性就越大。
现实： 数据完美契合了这个模型。AI 的成功率呈现出一种平滑且可预测的曲线下降。
- 如果题目需要人类花费 1 小时，AI 可能会在 90% 的情况下成功。
- 如果题目需要人类花费 4 小时，AI 的成功率会降至约 50%。
- 结果： AI 失败并不是因为它“耗尽了能量”或“在错误的方向上搜索”。它失败是因为它在长时间任务中的不可靠性。它就像一个跑得很快但如果比赛时间过长就会不断被自己鞋带绊倒的跑步者。

3. “极限水平”测试：AI 能坚持多久？

作者计算了一个“50% 极限值”（ $h_{50}$ ）。这是指 AI 有 50% 概率解决问题的临界点。

发现： 本研究中的顶级 AI 模型在人类用时约为 2.5 到 4.3 小时时，达到了 50% 的成功率。
隐喻： 把 AI 想象成一个手电筒。它能发光一段时间，但如果人类需要行走 10 小时才能解决问题，那么 AI 的光芒（保持正确路径的能力）在第 4 小时就已经熄灭了。
趋势： 作者追踪了这些“手电筒”变亮的速度。他们发现，顶尖 AI 提升其“耐力”的速度非常快，大约每 75 天其能力就会翻倍。

4. “智能体”转折：给 AI 一个团队

论文还研究了“智能体”（Agentic）模型。这些 AI 不仅仅是回答一次，它们被赋予了工具来拆解问题、尝试重来并检查自己的工作（就像人类使用计算器和草稿纸一样）。

结果： 这些“AI 团队”可以解决那些需要更长人类时间的题目（对于 50% 成功率的临界点，基础 AI 对应的是 0.3 小时的人类时间，而智能体模型对应的是 1.7 小时）。
代价： 即便有了这些工具，它们仍然无法应对那些顶尖人类需要 10 小时以上才能解决的最难题目。它们只是稍微推高了“耐力极限”。

总结：这意味着什么？

论文得出结论：那种认为 AI 会在问题变难时单纯“耗尽燃料”并变得低效的旧有担忧，在这些特定的数学谜题上是不成立的。

效率： 随着题目变难，AI 在这些任务上的效率实际上比人类更高。
真正的瓶颈： 瓶颈不在于效率，而在于可靠性。AI 可以完成工作，但如果任务持续时间过长，它往往会出错并迷失方向。
限制： 目前，最好的 AI 可以可靠地处理那些人类需要约 4 小时才能解决的问题。一旦超过这个难度，AI 就会开始瞎猜并失败。

简而言之： AI 不是累了，它只是分心了。它是一个聪明、高效的员工，但它需要一个非常短小且专注的任务才能成功。如果你交给它一个漫长且复杂的项目，它很可能会在完成之前就被自己的鞋带绊倒。

技术摘要：Project Euler 上的人类与机器数学难度研究

问题陈述
本文研究了在计算数学问题上，前沿 AI 系统的努力程度和成功概率相对于人类难度是如何缩放的。受 Timothy Gowers 关于证明搜索算法缩放性的提议启发，作者试图确定 AI 系统是否随着任务难度的增加而比人类缩放得更差。具体而言，他们测试了这样一个假设：虽然机器在简单任务上可能更快，但随着问题复杂度（以证明长度或解题轨迹衡量）的增加，其预期运行时间比人类增长得快得多。本研究利用了 Project Euler（一个人类解题时间公开记录的计算数学问题平台）以及 MathArena 基准测试（该基准测试提供了涵盖 50 个近期问题 [943–992] 和 26 种模型配置的广泛 AI 尝试数据）。

方法论
作者将“人类难度”（ $t_{human}$ ）操作化为每个问题前五个最快记录的人类解题时间的几何平均值，将其作为强人类连续工作时间的代理指标。“机器努力程度”（ $t_{machine}$ ）并非由墙钟时间定义，而是由实现成功答案所需的生成 token 总数定义，计算方法为所有尝试的总 token 数除以成功尝试的次数。

研究采用了三种不同的分析框架：

假设 T（时间缩放模型）： 测试幂律关系 $t_{machine} = a \cdot t_{human}^b$ 。指数 $b$ 表示缩放行为： $b > 1$ 意味着机器缩放比人类更差（努力程度随难度超线性增长），而 $b < 1$ 则意味着机器缩放更好。拟合是在经验成功率至少为 50% 的模型-问题对上进行的，以避免被失败案例主导。
假设 P（指数成功模型）： 测试成功概率（ $p_{success}$ ）是否随人类任务时间呈指数级衰减： $p_{success} = p_{model}^{t_{task}}$ 。这被建模为 $\log p_{success}$ 与 $t_{human}$ 之间的线性关系，并约束通过 $(0, 1)$ 点。数据被聚合到分位数箱中以进行衰减率拟合。
METR 式水平线（METR-Style Horizons）： 对成功概率作为函数进行逻辑回归拟合，以提取特定的能力水平线： $h_{50}$ （成功率为 50% 时对应的人类时间）和 $h_{80}$ （成功率为 80% 时对应的人类时间）。该方法改编自 METR 任务长度基准 [KWB+25]。

数据集包含来自 26 种模型配置的 3,840 次尝试（排除一个非代表性配置后，最终拟合使用 25 种配置）。统计不确定性通过非参数 Bootstrap 重采样（1,000 个样本）进行量化，以生成拟合参数的 90% 置信区间。

核心结果

缩放预测的反转（假设 T）： 与最初预测机器会缩放得更差（ $b > 1$ ）的设想相反，研究发现对于 25 个具有可用拟合结果的模型中的 20 个， $b < 1$ 。这包括了最强的具有高覆盖率的基础模型：Claude Opus 4.6 ( $b=0.722$ )、GPT-5.4 (xhigh) ( $b=0.644$ ) 以及 Gemini 3.1 Pro Preview ( $b=0.467$ )。这些顶尖模型的 90% Bootstrap 置信区间完全位于 1 以下。这表明，在这一操作化定义下，每个成功答案的 token 成本随人类难度呈亚线性增长，这意味着随着问题变难，机器的相对效率反而提高了，至少对于模型表现相对可靠的问题而言是如此。
成功的指数衰减（假设 P）： 数据对指数衰减模型提供了中度的经验支持。在 22 个覆盖良好的配置中，中位数箱级 $R^2$ 为 0.92，许多顶尖模型甚至超过了 0.95。拟合的半衰期（成功概率降至 50% 时对应的人类时间）范围从 0.12 小时（Gemini 2.5 Pro）到 4.07 小时（GPT-5.4 xhigh）不等。
能力水平线： 最强的基础模型配置其 $h_{50}$ 水平线大约处于 2.5 到 4.3 小时人类工作时间之间。智能体封装（例如 GPT-5 Euler Agent, Grok 4 Fast Euler Agent）展示了比其基础模型显著更大的水平线，尽管这些比较属于观察性结论。
进展轨迹： 通过对该数据集约 345 天跨度内的最前沿（SOTA）基础模型进行对数线性拟合，暗示其 $h_{50}$ 水平线的倍增时间约为 75 天，从 0.09 小时增加到了 4.28 小时。

意义与主张
论文声称其发现挑战了源自 Gowers 框架的特定“搜索效率”叙事，该叙事预测由于搜索成本快速缩放，AI 系统在处理困难问题时会落后于人类。相反，结果表明在 Project Euler 上，前沿模型在难度增加时，其单位成功答案的 token 成本缩放得更好。

然而，作者对这些结论的含义持谨慎态度。他们指出，虽然缩放趋势是有利的，但这些系统的绝对可靠性仍然有限；模型在仅几小时的人类工作时间后就会达到 50% 的成功阈值，远短于人类可以投入到单个问题上的持续精力。作者提出了五个关于 Project Euler 上的有利缩放与研究级数学领域缺乏可见加速之间差异的推测性解释：

实现 vs. 思考： Project Euler 问题高度依赖实现（编程），LLM 处理这类问题的速度比人类快，这可能会掩盖较慢的数学推理过程。
长轨迹退化： 成功概率随时间衰减，这是由于累积误差或“上下文腐烂”（context rot）导致的，限制了连贯推理的水平线。
工具构建限制： LLM 擅长使用标准工具，但在发明数学研究所需的新型数学框架方面可能存在不足。
脚手架缺失： 当前的架构缺乏研究级任务所需的持久记忆和长程工作流。
过度思考： 模型在处理简单问题时可能会产生恒定的 token 开销（如自我检查），从而人为地平滑了缩放斜率。

论文总结道，这三种分析（缩放、衰减和水平线）提供了一个连贯的图景：这些系统的限制因素在于可靠性（成功的指数衰减），而非搜索效率（努力程度的亚线性缩放）。这些发现被呈现为对特定基准测试下当前能力的描述性总结，而非 AI 进步的普遍规律。