💬 NLP

ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning

该论文介绍了 ReasonBench，这是一个基准测试套件，它证明了大型语言模型（LLM）的推理性能在重复执行过程中表现出显著且具有结构性的不稳定性，从而论证了单点评估是不充分的，并主张进行分布感知评估，以准确捕捉质量、成本与可靠性之间的权衡。

原作者： Nearchos Potamitis, Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Lars Klein, Akhil Arora

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nearchos Potamitis, Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Lars Klein, Akhil Arora

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 ReasonBENCH 论文的解释，采用了简单易懂的语言和日常类比。

核心理念：“抛硬币”问题

想象你雇佣了一位厨师来做一道特定的菜。你要求他做 30 次。

旧的方法： 你让他做一次，尝一下，然后说：“这位厨师是 9/10 分。”
现实情况： 当你要求他再做 30 次时，有时这道菜是 10/10 分，有时是 4/10 分，有时甚至会烧掉厨房。然而，其平均分看起来可能仍然是 9/10 分。

这篇论文指出，对于大语言模型（LLM）——即聊天机器人背后的 AI 大脑——我们一直在自欺欺人，因为我们只关注平均值。

研究人员发现，即使你告诉 AI 要保持“贪婪”（意味着它应该始终选择最显而易见、最稳妥的答案，就像一个没有随机性的机器人），结果仍然会剧烈波动。这一次它完美解决了数学题；下一次它在同一个问题上失败了。

新工具：ReasonBENCH

为了证明这一点，作者构建了一个名为 ReasonBENCH 的测试实验室。他们不是让 AI 只解决一次问题，而是让它连续解决同一个问题 30 次。他们针对以下内容进行了测试：

12 种不同的 AI 模型（来自 OpenAI、Google、Anthropic 等公司的模型）。
10 种不同的思考策略（如“思维链 Chain of Thought”、“思维树 Tree of Thoughts”或仅仅是“提问并回答”）。
6 种不同类型的任务（数学谜题、编程、写诗、回答棘手问题）。

关键发现（“顿悟”时刻）

1. “稳定性分类法”（四种类型的厨师）

研究人员意识到，“不稳定”并不只是随机的噪声。它是有模式的。他们创建了一个有两个轴的地图：

全局噪声 (Global Noise)： AI 的表现如何根据你给出的任务而变化？（它是一个只擅长数学但搞不定诗歌的专家吗？）
运行噪声 (Run Noise)： 当你给它同一个任务两次时，AI 的表现如何变化？（它是一个今天做汤好喝、明天做汤难喝，全看心情的厨师吗？）

他们发现了四种类型的系统：

稳定的全才 (Stable Generalists)： 做什么都好，且每次都稳定。（可靠的厨师）。
有噪声的全才 (Noisy Generalists)： 什么都能做，但偶尔会有状态不佳的时候。（偶尔状态不好的全才）。
稳定的专家 (Stable Specialists)： 精通一门，但在其他领域很差，但表现很一致。（专注且稳定的专家）。
双重噪声型 (Doubly Noisy)： 既不可预测也不稳定。（完全无法捉摸）。

令人惊讶的是： AI 使用的“思考策略”类型可以预测它会属于哪一类。无论 AI 模型本身有多聪明，某些策略天生就比其他策略更混乱。

2. “成本 vs. 质量”陷阱

我们通常认为：“如果我花更多的钱买一个更聪明的 AI，或者使用更复杂的思考方法，我就会得到更好的结果。”
论文说：未必如此。

昂贵的失败： 一些非常昂贵的高端模型和复杂的策略，在多次运行时往往失败得更频繁。它们在平均意义上可能得到正确答案，但为了达到这个结果，它们也消耗了大量的计算资源（成本），而且有时它们会直接崩溃。
廉价的免疫力： 令人惊讶的是，那些便宜、简单的策略（比如直接询问 AI）对特定类型的失败具有“免疫力”。它们永远不会耗费巨资，所以即使它们答错了，也不会浪费你的钱。
类比： 想象你在买彩票。
- 廉价方法： 你买了一张 1 美元的彩票。你输了，但你只损失了 1 美元。
- 昂贵方法： 你买了一张 1000 美元的“高级”彩票。你可能会赢得大奖，但也可能损失 1000 美元。论文发现，即使这些昂贵的方法偶尔能赢，但它们出错的频率往往比我们想象的要高。

3. 为什么会发生这种情况？（不仅仅是“随机性”）

你可能会想：“哦，AI 只是在随机挑选单词。”
研究人员通过关闭“掷骰子”功能（将温度设为 0，强制 AI 变为确定性的）测试了这一点。这种不稳定性并没有消失。

这意味着问题不仅仅是 AI 在随机挑选单词。这种不稳定性源于更深层的问题：

API： 运行 AI 的服务器可能在后台移动数据。
策略： 某些思考方式（比如搜索多种可能性）本质上就是混乱的。
评估者： 如果 AI 需要对自己进行评分，而评分者本身有些摇摆不定，那么整个过程也会变得摇摆不定。

我们该怎么办？（核心启示）

论文建议我们需要改变衡量 AI 的方式：

不要只看单一数字： 不要只说“模型 A 的准确率是 85%”。要说“模型 A 的准确率是 85%，但每次运行时，它的表现会在 60% 到 95% 之间剧烈波动。”
检查“共同失败”： 在部署 AI 时，你需要知道：“这个 AI 既昂贵又出错的概率是多少？” 论文显示，昂贵的方法比廉价的方法更容易出现“既昂贵又错误”的情况。
修复评估者，而不只是 AI： 如果你正在使用一种复杂的策略（如搜索树），要让你的系统变得稳定的最有效方法，是确保“裁判”（检查答案的部分）是完美的。优化提示词或改进 AI 模型本身，效果都不如完善“裁判”显著。

总结

ReasonBENCH 是一个警钟。它告诉我们，AI 的推理过程更像是一个天气系统，而不是一个电灯开关。它不是简单的“开”或“关”，而是会波动的。如果我们只看平均天气预报，我们可能会被风暴困住。我们需要观察结果的分布，才能知道一个 AI 是真的可靠，还是仅仅运气好。

技术摘要：ReasonBench：基准测试大语言模型（LLM）推理的（不）稳定性

问题陈述

当前针对大语言模型（LLM）推理系统的基准测试通常将性能报告为单点估计值（例如，单一的准确率得分）。然而，本文指出，LLM 生成是一个本质上具有随机性的过程。即使在贪婪解码（ $T=0$ ）的情况下，相同的“模型-策略-任务”配置在多次重复执行中仍可能产生截然不同的答案、推理路径和成本。

将这些运行层级的输出压缩为一个平均值，会丢弃那些能够区分“可靠正确系统”与“仅在期望上正确系统”的方差。这种方差并非仅仅是统计上的干扰；本文证明，表现最好的策略在面对其最接近的竞争对手时，也仅能在 77% 的对决运行中获胜，而顶尖模型也仅能获胜 88%。因此，观察到的单一得分可能会导致系统排名错误，从而导致次优的模型选择和部署决策。此外，现有文献通常将偏差（系统性误差）和方差（随机性）视为同等性质，但 LLM 评估很大程度上仅报告了前者。

方法论：REASONBENCH

为了解决这一问题，作者引入了 REASONBENCH，这是一个旨在进行受控多轮评估的基准测试套件和开源库。该框架解耦了推理方法、任务环境、模型接口和评估状态，使得策略可以在不改变实验框架的情况下，跨任务和跨模型进行重新运行。

实验设置：

范围： 本研究评估了 12 种当代推理模型（涵盖 OpenAI、Anthropic、Google、DeepSeek 等供应商）和 10 种代表性推理策略（包括 IO、CoT、ReAct、Tree of Thoughts、Graph of Thoughts 等），涵盖 6 个多样化任务（Game of 24、HumanEval、HotpotQA、Humanity's Last Exam、SciBench 和 Shakespearean Sonnet Writing）。
协议： 每种配置独立执行 30 次。这一样本量通过两阶段功效分析（power analysis）得到合理化，以确保能够检测到显著的方差并获得可靠的置信区间。
指标： 研究将质量和成本视为经验分布而非点估计。它引入了两个主要的噪声指标：
1. 全局噪声（Global Noise）： 在经过 z-score 标准化后，捕捉跨基准测试的不均匀性（结构性变异）。
2. 运行噪声（Run Noise）： 捕捉基准测试内的随机性（重复运行的不稳定性）。
方差分解： 通过层次化分解，将得分方差归因于基准测试、系统、条目结构和使用情况，从而隔离出残余的未解释方差。

核心贡献

1. 不稳定性是结构化的，而非随机的

本文确立了方差是显著的、依赖于基准测试且依赖于维度的。通过两成分分类法（全局噪声 vs. 运行噪声），作者展示了：

策略架构预测稳定性： 确定性执行会抑制运行噪声，而基于搜索的执行则会放大运行噪声。策略在噪声空间中所处的象限是由其架构决定的。
层次化归因： 大约四分之三的得分方差是结构化的（可归因于基准测试、系统和条目的交互），同时存在一个由设计因素无法解释的持续残余部分。

2. 模型与策略是不可替代的维度

研究将模型和策略视为两个正交的轴，它们分别移动性能分布的不同部分：

模型移动“天花板”： 模型选择决定了最高可实现的性能（能力）。
策略移动“过程”： 策略选择决定了执行的方差和任务级的敏感度。
成本-质量解耦： 成本与质量是非对称解耦的。廉价的方法在结构上免疫于“联合成本-质量失效”（即同时出现高成本和低质量），而昂贵的方法无论其平均准确率如何，都始终暴露在这种风险之下。

3. 受控来源消除

作者系统地测试了潜在的不稳定性来源：

解码温度： 即使在 $T=0$ 时，方差依然存在，从而排除了 token 级采样作为主要解释的可能性。
提示词与解析器： 优化提示词和解析器可以修正偏差（提高平均质量），但不能降低运行间的方差。
评估器质量： 在基于搜索的策略中，用地面真值（ground-truth）预言机替换启发式评估器，可以同时降低平均质量和方差，从而确定评估器是一个直接的稳定性杠杆。
推理努力程度： 增加测试时计算量（努力程度）会使成本单调增加，但并不能可靠地提高质量或降低方差。

4. 开源基础设施

REASONBENCH 提供了一个模块化库，具有解耦的抽象（方法、智能体、模型、状态、环境），以促进可重复的、分布感知的评估。

关键结果

分布重叠： 策略和模型的运行层级分布存在显著重叠。例如，在 HotpotQA 基准测试中，顶尖策略（FOA）与其最接近的竞争对手（TOT-BFS）的置信区间存在重叠，且顶尖策略仅在 77% 的运行中优于其对手。
噪声分类学： 在（全局噪声，运行噪声）空间中绘制系统，揭示了不同的象限。模型倾向于集中在反角线上（结构性不均匀与随机性不稳定性呈负相关），而策略则根据其架构分布在所有四个象限中。
方差分解： 在策略轴中，75.2% 的方差是结构化的；在模型轴中，73.3% 是结构化的。纯粹的重复效应仅占约 1% 的方差，而基准测试-系统交互以及条目难度占据主导地位。
成本-质量非对称性： 昂贵的方法（例如 DeepSeek R1，它是测试中最昂贵的模型）经常表现出高联合失效率。相反，廉价的方法（如 IO、COT）从未超过成本阈值，因此即使其质量较低，也能免疫于联合失效。
常见修复手段的无效性： 研究发现，降低温度、优化提示词或增加推理努力等标准“修复”手段并不能降低方差。只有提高评估器保真度和增加模型规模（在同一家族内）才能显示出稳定效应。

意义与主张

本文声称，不稳定性是推理系统的一个固有属性，而非实验设计不当的产物。作者认为：

稳定性是能力的一部分： 一个能一致完成任务的系统，与一个仅在期望上完成任务的系统，具有不同的能力剖面，即使它们的平均值相同。
评估必须进化： 单一数字的基准测试是不够的。评估实践应转向报告分布、置信区间以及噪声指标（全局噪声和运行噪声）。
维度的正交性： 模型和策略应该是协同开发而非相互替代。一个能够区分模型的基准测试可能无法有效区分策略，反之亦然。
风险意识部署： 从业者必须为“联合成本-质量风险”做好预算。一个名义上更好但昂贵的方法可能会在平均质量上占优，但在同时面临高成本和低质量风险方面表现显著更差。

论文最后呼吁将“分布感知排行榜”作为社区标准，并建议未来的研究应侧重于稳定性感知的路由技术，以及将问题匹配到适当的模型-策略对的协同开发推理系统。