🤖 machine learning

On Randomness in Agentic Evals

该论文通过大规模实验证明，智能体评估中单次运行的 pass@1 分数存在显著随机性，可能导致将评估噪声误判为算法进步，因此建议采用多次运行、统计功效分析及多指标评估等实践来确保评估结果的可靠性。

原作者： Bjarni Haukur Bjarnason, André Silva, Martin Monperrus

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Bjarni Haukur Bjarnason, André Silva, Martin Monperrus

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给现在的"AI 智能体”（能自动干活、用工具的 AI）做了一次**“体检报告”**，结果发现了一个被大家忽视的大问题：现在的 AI 考试成绩太不稳定了，甚至有点“看运气”。

为了让你轻松理解，我们可以把这篇论文的核心内容想象成一场**“超级复杂的迷宫寻宝游戏”**。

1. 核心问题：只跑一次就下结论，太草率了！

现状：
现在的研究者们喜欢这样测试 AI：给 AI 一个任务（比如修好一个软件 Bug），让它跑一次。如果它成功了，就给它打满分；失败了，就打零分。然后大家就根据这“一次”的成绩来排名，说谁比谁强。

论文发现：
作者们做了个实验，让 3 种不同的 AI 模型，在 2 种不同的“游戏环境”里，对 500 个任务，每个任务都跑了 10 次（总共跑了 6 万次！）。

结果吓大家一跳：同一个 AI，做同一个任务，跑 10 次，成绩可能完全不一样！

有时候它一次就成功了（运气好）。
有时候它跑 10 次都失败（运气差）。
即使把 AI 的“随机性开关”关掉（设定为最确定的模式，Temperature=0），成绩依然会波动。

通俗比喻：
想象你在考试。

以前的做法： 你只考了一门数学，得了 85 分。老师就说：“你数学很棒，比那个考 82 分的同学强。”
这篇论文说： 不对！如果你再考 10 次，你的分数可能在 82 到 88 之间乱跳。那个 82 分的同学，下次可能考 87 分。你俩其实水平差不多，现在的排名可能只是因为你今天运气好，抽到了简单的题，或者 AI 刚好“心情好”发挥正常。

2. 为什么会这样？“蝴蝶效应”在作祟

作者深入分析了 AI 的思考过程（就像看它的“内心独白”），发现了一个惊人的现象：分叉点发生得极早。

通俗比喻：
想象两个双胞胎（两个 AI 运行）去同一个迷宫寻宝。

他们刚进门的前几步，走的路线、说的话完全一样。
但在第 5 步（甚至还没走出大门），其中一个双胞胎突然想：“左边好像有光，走左边吧。”另一个想：“右边好像有风，走右边吧。”
就这一个微小的念头不同，就像蝴蝶扇动翅膀。
因为 AI 是“一步接一步”思考的（上一步决定了下一步），这个微小的不同会导致他们后面完全走上不同的路。
最后，一个找到了宝藏（成功），另一个掉进了陷阱（失败）。

结论： AI 的失败或成功，往往不是因为它的“智商”不够，而是因为刚开始那一点点随机的“走神”，导致后面全盘皆输。

3. 这对我们意味着什么？（别被“假进步”骗了）

论文指出了一个很严重的问题：很多所谓的"AI 进步”，可能只是统计学的噪音。

场景： 公司 A 说：“我们的新 AI 比旧 AI 提升了 3%！”
真相： 这篇论文说，这 3% 的提升，很可能只是因为你这次运气好，抽到了 AI 表现最好的那一次运行，而不是真的变聪明了。
后果： 如果基于这种不稳定的数据去决定“买哪个模型”、“投资哪个方向”，可能会花冤枉钱，或者错过真正的好技术。

4. 作者给出的“解药”：怎么测才靠谱？

为了让 AI 的评估更科学，作者提出了三个建议：

多跑几次（不要只跑一次）：
- 就像考试不能只考一次定终身。要测 AI，每个任务至少跑 10 次，取个平均分。这样才能看出它真正的水平。
- 比喻： 就像测一个运动员的百米成绩，不能只看他跑的一次，要看他跑 10 次的平均成绩，排除那天风大或鞋带松了的干扰。
算好“样本量”（统计威力）：
- 如果你想检测出微小的进步（比如提升 1%），你需要跑很多次（论文建议可能需要 30-50 次），否则根本看不出来。如果你想检测巨大的进步（比如提升 10%），跑几次就够了。
看“上限”和“下限”（不要只看平均分）：
- 除了看平均成绩，还要看：
  - 最乐观的情况（Pass@k）： 如果让 AI 多试几次，它最高能考多少分？（潜力有多大）
  - 最悲观的情况（Pass^k）： 如果运气最差，它最低能考多少分？（稳不稳定）
- 比喻： 一个学生平时考 80 分，但运气好能考 95，运气差考 60。另一个学生稳定考 78 分。虽然平均分差不多，但他们的“性格”完全不同。我们需要知道 AI 是“爆发型”还是“稳定型”。

总结

这篇论文就像是一个**“打假卫士”，它告诉我们要警惕 AI 评估中的“运气成分”**。

现在的 AI 评估太像“抛硬币”了，有时候正面，有时候反面。如果我们只记录一次结果就以为发现了真理，那可能会在错误的道路上越走越远。未来的 AI 研究，需要更严谨、跑更多次、更科学地统计，才能分清谁是真正的“学霸”，谁只是“运气王”。

这是一份关于论文《ON RANDOMNESS IN AGENTIC EVALS》（代理评估中的随机性）的详细技术总结。该论文发表于 ICLR 2026 "Agents in the Wild" 研讨会。

1. 研究背景与问题 (Problem)

核心问题： 当前智能体（Agentic）系统的评估方法存在严重的方法论缺陷。

现状： 大多数研究在评估智能体（如代码生成、软件工程任务）时，通常采用**单次运行（Single-run）**来计算 pass@1 分数（即任务在一次尝试中成功的概率），并假设这能可靠地代表模型性能。
缺陷： 这种单次运行评估忽略了评估过程中的随机性（Randomness）。
- 即使温度（Temperature）设为 0（理论上确定性），由于推理引擎的浮点精度、并行化、硬件优化等因素，结果仍可能不同。
- 温度 > 0 时，采样带来的随机性会导致同一任务在不同运行中产生完全不同的结果。
- 环境交互（工具调用、时序效应）也会引入非确定性。
后果： 报告中的微小改进（例如 2-3 个百分点）可能仅仅是评估噪声（Evaluation Noise），而非真正的算法进步。这导致排行榜排名不可靠，误导了模型部署决策和科研方向。

2. 方法论 (Methodology)

为了量化这种随机性，作者进行了大规模实证研究：

实验规模：
- 数据集： SWE-Bench-Verified（500 个软件工程任务）。
- 样本量： 收集了 60,000 条智能体轨迹（Trajectories）。
- 配置： 涉及 3 个模型 和 2 种脚手架（Scaffold），每个配置进行 10 次独立运行。
- 资源消耗： 生成超过 255.8 亿个 Token 和 188 万次工具调用。
实验设置：
- 模型： Qwen3-32B（通用）、DeepSWE-preview（微调版）、Devstral-2-123B（SOTA 开源微调版）。
- 脚手架： nano-agent（作者自研，确保未用于训练）、R2E-Gym（DeepSWE 的训练脚手架）。
- 温度设置： 包含理论上的确定性设置（Temp=0）和模型推荐的随机设置（如 Temp=0.6, 1.0）。
分析指标：
- 单次运行解决率 ( $r_j$ )： 单次运行的成功率。
- Pass@k 与 Pass $\wedge$ k：
  - pass@k： $k$ 次尝试中至少有一次成功的概率（乐观边界）。
  - pass $\wedge$ k： $k$ 次尝试全部成功的概率（悲观边界/一致性指标）。
- 首次分叉点 ( $\tau_{div}$ )： 两条轨迹在 Token 级别首次出现差异的位置，用于分析随机性何时开始影响决策。

3. 关键发现与结果 (Key Results)

A. 评估结果存在巨大方差

单次运行不可靠： 在相同配置下，不同单次运行的 pass@1 估计值差异巨大。
- 差异范围：2.2% 到 6.0% 个百分点。
- 标准差：即使在 Temperature=0 时，标准差也超过 1.5%。
- 结论： 报告 2-3% 的改进可能完全源于随机波动，而非模型能力提升。

B. “确定性”采样并非真正确定

即使在 Temperature=0 的设置下，由于推理引擎（如 vLLM）的底层实现（浮点运算、批处理等），结果依然表现出显著的非确定性。
某些情况下，Temperature=0 的方差甚至高于 Temperature>0 的情况（例如 Qwen3-32B 在 nano-agent 上，0.6 温度方差 0.7%，0 温度方差 1.2%）。

C. 性能边界与随机探索

Pass@k 与 Pass $\wedge$ k 的差距：
- 通过多次重试，性能上限（Pass@5）可比单次运行（Pass@1）高出 18.5% 到 24.9%。
- 性能下限（Pass $\wedge$ 5，即 5 次全对）可能远低于 Pass@1。
- 意义： 智能体的成功高度依赖于随机探索（Stochastic Exploration），而非纯粹的确定性解题能力。

D. 轨迹分叉机制 (Trajectory Divergence)

早期分叉： 轨迹通常在极早期（前 1% 的 Token 内，甚至前几个 Token）就发生分叉。
蝴蝶效应： 早期微小的推理差异（例如“让我搜索文件”vs“让我检查源代码”）会通过自回归条件机制被放大，导致后续的工具调用、观察结果和最终策略完全不同。
案例： 在同一个任务中，两个运行在 Token 94 处出现微小差异，导致一个运行失败（语法错误），另一个运行成功。

4. 主要贡献 (Contributions)

大规模实证研究： 首次通过 60,000 条轨迹量化了智能体评估中的随机性，揭示了即使在相同配置下，结果也存在显著方差。
分叉机制分析： 通过 Token 级分析，证明了轨迹分叉发生在极早期，且这种分叉会级联放大，导致根本不同的解决策略。
性能边界表征： 利用 pass@k（乐观）和 pass $\wedge$ k（悲观）定义了智能体的性能包络线，揭示了随机性对性能的巨大影响（差距可达 24.9%）。
可操作的建议： 提出了改进智能体评估的具体实践指南。

5. 意义与建议 (Significance & Recommendations)

意义：

科学严谨性： 指出当前领域对“进步”的评估可能建立在统计噪声之上，呼吁从单次运行转向统计显著的评估。
决策影响： 防止基于不可靠分数的错误部署决策（如采用新模型、分配工程资源）。

具体建议：

多次运行估计： 不要仅依赖单次运行。对于微小的改进（如 1-2%），必须通过多次独立运行来估计 pass@1。
统计功效分析： 使用统计功效分析（Power Analysis）确定所需的运行次数。
- 例如：在中等方差下，要检测 1% 的改进（80% 功效，p<0.05），每个模型至少需要 36 次运行。
- 检测 2% 的改进需要约 9 次运行。
报告完整性能包络： 除了 pass@1，还应报告 pass@k（乐观边界）和 pass $\wedge$ k（悲观/一致性边界），以全面描述模型在随机性下的表现范围。

总结：
这篇论文有力地证明了随机性是智能体评估中不可忽视的核心因素。忽略这一点会导致对模型能力的误判。未来的评估必须从“单次点估计”转向“基于多次运行的统计分布分析”，以区分真正的算法进步与评估噪声。