💬 NLP

BRIDGE: Predicting Human Task Completion Time From Model Performance

本文介绍了 BRIDGE，这是一个心理测量学框架，它通过在潜在任务难度与人类完成时间的对数之间建立线性关系，从而通过模型性能数据来预测人类的任务完成时间，实现了无需高昂人类标注成本的可扩展能力预测。

原作者： Fengyuan Liu, Jay Gala, Nilaksh, Dzmitry Bahdanau, Siva Reddy, Hugo Larochelle

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Fengyuan Liu, Jay Gala, Nilaksh, Dzmitry Bahdanau, Siva Reddy, Hugo Larochelle

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚新一代超快速机器人解决谜题的速度有多快。通常情况下，为了衡量这一点，你必须雇佣一支人类专家团队亲自尝试这些谜题，记录他们完成任务所需的时间，然后将其与机器人进行比较。但雇佣人类既昂贵又缓慢，而且很难为每一个新出的谜题都去执行这一过程。

名为 “BRIDGE” 的论文提出了一个聪明的捷径。它建议，我们只需通过观察 AI 模型在某项任务上的表现，就能精准预测人类完成该任务需要多长时间，而无需雇佣哪怕一个人类来进行计时。

以下是他们实现这一目标的原理，通过几个简单的类比来解释：

1. “学校考试”类比（项目反应理论）

把所有不同的 AI 基准测试（如编程测试、数学问题或网络安全挑战）想象成一个巨大的、混合在一起的各类学校考试。有些考试很简单，有些很难，有些则很棘手。

研究人员使用了一种叫做项目反应理论 (Item Response Theory, IRT) 的统计工具。你可以把它理解为一种用于教育领域的复杂评分系统。IRT 不仅仅是计算学生答对了多少题，它还会观察学生答对了“哪些”题。

如果一名学生答对了一道非常难的题目，这说明他非常聪明。
如果一名学生答错了一道简单的题目，我们就知道他在挣扎。

通过将许多不同 AI 模型在许多不同任务上的通过/失败结果输入到这个系统中，论文为每一项任务都创建了一个“隐藏难度分”。这就像是给每个谜题都赋予了一个代表其难度的秘密数字，而这个数字完全是基于机器人的表现得出的。

2. 构建“桥梁”

这是神奇之处。研究人员选取了一组人类已经完成过计时任务的特定任务（来自之前的一项名为 METR 的研究）。他们将“秘密难度分”（来自机器人）与“实际人类时间”（来自人类）进行了对比。

他们发现了一个直线关系：对机器人来说越难的任务（难度分越高），人类完成它所需的时间就越长。 具体来说，随着难度分的上升，人类所需的时间呈指数级增长。

可以将这想象成在建造一座桥梁。河流的一侧是“机器人表现”，另一侧是“人类时间”。研究人员找到了连接这两者的完美木板。一旦桥梁建成，你就可以站在机器人这一侧，观察一个模型的表现，并瞬间得知人类完成同样的事情需要多久，即使你从未见过人类做这件事。

3. AI 进步的“水晶球”

利用这座桥梁，作者观察了 AI 模型（从 2022 年到 2025 年）的历史。他们问道：“随着模型变得越来越聪明，它们能解决多长时间的‘人类任务’？”

他们发现了一个清晰的模式：AI 能力正在呈指数级增长。

想象一下，一个 2022 年的模型只能解决一项人类需要 1 分钟完成的任务。
到 2025 年，最优秀的模型可以解决人类需要约 2 小时才能完成的任务。
论文计算出，AI 所能处理的任务“长度”每 6 个月就会翻倍。

这就像是在看一个电子游戏角色升级的过程，升级速度之快，使得每隔六个月，他们就能挑战一个比之前能打过的 Boss 战时长两倍的任务。

4. 为什么这很重要（根据论文所述）

该论文声称这种方法是一个游戏规则的改变者，因为它：

成本低廉： 你不需要为了计时每一个新测试而支付人类报酬。
速度极快： 在你获得机器人结果的那一刻，你就能预测人类的投入时间。
准确度高： 当他们使用未曾用于构建桥梁的真实人类数据来测试这些预测时，他们的猜测非常接近。

总结

这篇论文介绍了 BRIDGE，这是一种利用 AI 模型的表现来创建“难度图谱”的方法。通过用少量的人类计时数据对该图谱进行校准，只需观察 AI 的表现，我们就能预测任何任务需要人类完成多长时间。这使我们能够追踪 AI 能力的快速增长（任务长度每 6 个月翻倍），而无需经历不断雇佣人类来计时这一缓慢且昂贵的过程。

技术摘要：BRIDGE —— 从模型性能预测人类任务完成时间

问题陈述

评估 AI 系统的现实世界能力通常依赖于基准测试分数和聚合指标。然而，这些分数难以解释为实际的任务难度或现实世界的投入程度。得分的提升可能反映了在短期、常规实例上的进步，而对更长、多步骤任务的改进却可能停滞不前；此外，可比的分数变化可能对应着截然不同的实际能力转变。

由 METR (Kwa et al., 2026) 提出的一个重要替代方案是，通过 AI 智能体成功完成任务所需的“人类任务完成时间”来衡量能力。虽然这提供了一个人类可理解的尺度，但它依赖于昂贵、多噪且难以扩展的人类标注。随着新基准测试的涌现，依赖于为每个基准定制人类研究来锚定基准的做法，导致了基准测试中心化评估与以人为中心的难度概念之间日益扩大的差距。核心挑战在于：我们能否在不进行新的研究的情况下，预测新基准测试的人类任务完成时间？

方法论：BRIDGE 框架

作者提出了 BRIDGE（基于已耗费人类时间的基准响应推断难度），这是一个统一的心理测量学框架，旨在将从模型性能中推断出的潜在任务难度与人类任务完成时间对齐。

1. 项目反应理论 (IRT) 建模

该框架利用 二参数逻辑 (2PL) IRT 模型 来共同估计：

潜在任务难度 ( $b_i$ )： 一个表征单个任务难度的参数。
模型能力 ( $\theta_j$ )： 一个表征单个模型能力的参数。
区分度 ( $a_i$ )： 一个衡量任务在区分不同能力水平的模型方面表现如何的参数。

模型 $j$ 成功完成任务 $i$ 的概率建模为：
$P(y_{i,j} = 1 | \theta_j, a_i, b_i) = \sigma(a_i(\theta_j - b_i))$
其中 $\sigma$ 是逻辑函数。该模型使用马尔可夫链蒙特卡洛 (MCMC) 方法进行拟合，并在跨多个基准测试的二元成功/失败结果上使用层次先验。

2. 锚定至人类时间

虽然 IRT 提供了一个统一的潜在尺度，但其参数本质上是尺度不变的，缺乏内在的语义含义。BRIDGE 通过将锚定 IRT 推断的潜在难度尺度到人类完成时间来解决这一问题。

校准： 利用具有已知人类完成时间的数据集（具体来自 METR），作者拟合了 IRT 推断的潜在难度 ( $b_i$ ) 与人类完成时间对数 ( $h_i$ ) 之间的线性关系：
$\log(h_i) = \text{slope} \times b_i + \text{intercept}$
预测： 一旦完成校准，这种对数线性映射允许仅基于其 IRT 推断的潜在难度，即可预测新基准测试的人类完成时间（无需人类标注）。

3. 预测时界

该框架通过识别特定发布窗口中的最佳性能模型，来追踪前沿模型能力的演进。通过将模型的估计能力 ( $\theta_{max}$ ) 映射到难度尺度（即在 50% 成功率时的 $b = \theta_{max}$ ），该系统可以预测“任务长度时界”——即模型在给定概率下能够完成的任务持续时间。

核心贡献

统一的心理测量学框架： BRIDGE 通过将 IRT 潜在难度与人类完成时间进行校准，弥合了模型性能指标与人类可理解的时间单位之间的鸿沟。
对数线性对齐： 本文证明了一个强有力的经验发现，即潜在任务难度随人类完成时间的对数呈线性变化（在 METR 数据上 $R^2 = 0.81$ ）。这使得从模型性能本身推断人类任务时长成为可能。
可扩展的预测： 该框架能够以人类任务长度的形式预测前沿模型的能力，而无需为每个基准测试进行新的人类研究。
鲁棒性： 研究表明该方法对模型-任务覆盖度的稀疏性具有鲁棒性，即使在观察条目被移除高达 70% 的情况下，仍能保持难度估计的高相关性。

实验结果

作者在几个分布外基准测试上评估了 BRIDGE：SWE-bench Verified、MLE-bench、GDPval 和 Cybench。

时间预测准确性：
- 在 SWE-bench Verified 上，BRIDGE 预测的时间桶比 logit 成功率启发式方法和基于 LLM 的估计器（Gemini 3 Pro, GPT-5.2）更显著地符合人类标注。BRIDGE 实现了 0.284 的加权宏 F1 分数，而 logit 基准线为 0.198，GPT-5.2 为 0.048。
- 在 Cybench 上，BRIDGE 相对于人类首次解决时间实现了 0.45 的 $R^2$ ，92.3% 的任务落在 0.5×–2× 的容差范围内。相比之下，logit 基准线系统性地低估了持续时间，而 LLM 估计器则一致地高估了持续时间。
预测趋势：
- 仅使用模型性能日志，BRIDGE 预测“50% 任务完成时间时界”（即以 50% 概率可完成的任务长度）正在呈指数级增长。
- 估计的 倍增时间约为 6 个月。
- 对于最新的前沿模型（例如 Claude 4.5 Opus, GPT-5），50% 成功时界估计约为 1.4 到 2.5 小时 的人类投入，具体取决于基准测试。
- 在更严格的 80% 成功阈值 下，时界收缩至约 40 分钟，但倍增时间保持在约 6 个月的一致水平。

意义与主张

本文声称 BRIDGE 提供了一种 可扩展、可靠且以人类为基础 的评估和预测 AI 进展的方法。

独立于人类研究： 它证明了可以从以模型为中心的数据中推断出以人类为中心的任务难度，从而降低了追踪现实世界 AI 进展的成本和摩擦。
验证标度法则： 结果独立地重现并证实了 METR 关于任务长度时界呈指数级增长的发现，验证了使用模型性能作为人类时间的代理指标的有效性。
可解释性： 通过将抽象的基准测试分数转化为“人类投入的小时数”，BRIDGE 提供了一个更具行动意义的指标，用于理解 AI 系统究竟能可靠地做什么，以及它们的实际能力改进速度有多快。

作者总结道，虽然 IRT 本质上是尺度不变的，但通过将人类时间进行锚定，创造了一个用于 AI 基准测试的“罗塞塔石碑”，使得在不同且不断演进的任务分布之间，实现人类与模型间难度估计的迁移。