💻 computer science

The Impact of LLM Self-Consistency and Reasoning Effort on Automated Scoring Accuracy and Cost

本研究证明，虽然策略性模型选择与增加推理投入能显著提升高中数学对话的自动评分准确性，但通过自一致性进行集成并未带来实质性增益，而特定低成本模型在性能与成本之间提供了最佳平衡。

原作者： Scott Frohn

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Scott Frohn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位老师，正在批改数百段学生阐述解题思路的简短数学对话。你想用一台 AI 机器人来帮你完成这项批改工作，但你有两个主要的担忧：这台机器人准确吗？它的成本会太高吗？

这篇论文就像一项实验室实验，研究人员测试了各种 AI 机器人的不同“设置”，以观察哪些机器人在批改这些数学对话时表现最佳。他们比较了来自两家大公司（OpenAI 和 Google）的机器人，并测试了两种主要策略：

“委员会”策略（自洽性）：让同一台机器人对同一份答案进行多次批改，然后进行投票。
“深度思考者”策略（推理投入）：要求机器人在给出评分前先“深入思考”。

以下是他们发现的简要说明：

1. “委员会”策略帮助不大

想法：如果一台机器人有点困惑，也许让它对同一份答案批改五次并采用多数投票，就能平滑掉错误。这就像问五个朋友猜一个谜语的答案；如果他们意见一致，你会感到更放心。

现实：研究人员发现，这些 AI 机器人实际上非常固执。一旦它们决定了答案，就会坚持到底，即使答案是错的。

类比：想象一台坚信天空是绿色的机器人。如果你问它 10 次，它会说 10 次“绿色”。多问几次并不能让它意识到天空其实是蓝色的；这只会让你为 10 个答案付费，而不是 1 个。
结果：让机器人对自己进行投票（从 1 次到 7 次）并没有提高准确率。它只是增加了成本。唯一略有帮助的是让机器人稍微“随机”一点（调整一个称为“温度”的设置），但仅仅让它多投票并不能修正错误。

2. “深度思考者”策略效果参差不齐

想法：较新的 AI 模型可以被要求“逐步思考”后再作答，类似于人类在纸上演算数学题后再写下最终答案。

现实：这确实有效，但完全取决于你使用的是哪台机器人。

“过度思考者”：对于某些更便宜、更小的机器人，让它们“深入思考”实际上使它们的批改表现变差。它们开始过度分析简单的答案并陷入困惑。
“最聪明”的机器人：最强大的机器人（Gemini 3.1 Pro Preview）本身已经非常出色，因此让它更深入思考并没有真正改变其评分。无论它思考一秒还是一分钟，其准确率都很高。
总体趋势：总体而言，让模型多思考一点确实有助于提高准确率，但这种提升并非直线上升。有时多思考有帮助，有时则没有。

3. “价格与性能”的最佳平衡点

研究人员绘制了一张地图（称为“效率前沿”），以展示评分质量与成本之间的最佳平衡。

廉价优胜者：最小、最便宜的机器人（GPT-5.4 Nano 和 Mini），配合零“深度思考”，被发现性价比最高。它们的准确率令人惊讶，且每次批改任务的成本仅几分钱。
昂贵冠军：最强大的机器人（Gemini 3.1 Pro Preview）提供了绝对最高的准确率，但其成本大约是廉价机器人的4 到 15 倍。
中间地带：让较便宜的机器人“深入思考”通常只会增加成本，而不会显著提高准确率。

核心结论

如果你想自动批改学生的数学对话：

不要让 AI 对自己的答案进行多次投票；这只会浪费金钱而无法修正错误。
要根据你的预算选择合适的机器人。如果你需要绝对最高的准确率且资金不是问题，请使用最强大的模型。但如果你需要廉价地批改数千份试卷，那么较小、较“懒惰”（不进行深度思考）的机器人往往同样有效且便宜得多。

重要提示：这项研究仅针对高中数学对话，并使用了简单的“是/否”检查清单。对于论文、历史问题或更复杂的评分量表，结果可能会有所不同。此外，提到的价格基于当前的 API 费率，可能会发生变化。

以下是论文《大语言模型自一致性与推理努力对自动评分准确性及成本的影响》的详细技术总结。

1. 问题陈述

构造性反应问题（如简答题、对话）的自动评分对于可扩展的教育评估至关重要，但其在一致性、成本和准确性方面面临挑战。尽管大语言模型（LLM）在零样本或少样本评分中展现出潜力，但两种特定的优化策略在教育背景下仍未得到充分探索：

自一致性（集成）： 假设通过聚合多个模型输出（多数投票）可以平滑噪声，从而提高准确性。
推理努力： 使用能够生成内部思维链（CoT）轨迹的“思考”模型在回答前进行推理，假设更深入的 deliberation 会带来更高的准确性。

先前的研究表明，这些方法在客观推理任务（如具有单一正确答案的数学问题）中效果良好，但可能无法转化为基于量规的评分，因为后者涉及主观判断。此外，这些策略在大规模教育部署中的成本效益权衡尚不明确。

2. 方法论

数据与背景

数据集： 来自可汗学院高中数学（代数 I 和几何）“解释你的思考”（EYT）项目的 900 个学生对话。
结构： 每个项目包含一个选择反应题，随后是 AI 引导的对话。
评分量规： 二分类（二元）检查表，每个对话包含 2–3 个标准。
真实标签： 由三名经过培训的人类评分员生成的分数，以多数票作为真实标签（共 2,100 个标准分数）。

评估模型

研究比较了来自两家提供商（OpenAI 和 Google）的前沿模型和低成本模型：

OpenAI： GPT-5.4（前沿）、GPT-5.4 Mini、GPT-5.4 Nano。
Google： Gemini 3.1 Pro Preview（前沿）、Gemini 3 Flash Preview。

实验设计

研究操纵了两个变量：

自一致性（集成大小， $j$ ）： 测试了 $j=1, 3, 5, 7$ $j = 1, 3, 5, 7$ 的集成大小。
- 约束： 集成时使用温度采样（$temp=1 $）以引入方差。确定性调用（$ temp=0$）作为基线。
- 注意： 为避免成本过高，自一致性分析中的推理模型（OpenAI 的 reasoning_effort 和 Google 的 thinking_level）被限制为“无”或“最小”。
推理努力： 测试了从“无/最小”到“低”、“中”和“高”的级别。
- 约束： 在 $temp=1 $下作为单次调用（$ j=1$）进行分析。

指标

准确性： 使用科恩 $\kappa$ （与人类真实标签的一致性）和广义线性混合模型（GLMMs）测量统计显著性。
成本： 基于 API 定价（2026 年 3 月费率）估算，计算每 1,000 次调用的输入/输出令牌和推理令牌。
效率前沿： 绘制准确性（ $\kappa$ ）与成本的帕累托最优分析，以确定最佳配置。

3. 主要结果

R1：自一致性（集成）

高模型内一致性： 即使在 $temp=1$ 下，模型与自身的一致性也很高（Fleiss' $\kappa$ 介于 0.88 到 0.97 之间）。这表明无论随机性如何，模型都产生稳定的评分模式，而非多变的推理路径。
无准确性提升： 将集成大小从 $j=1$ 增加到 $j=7$ 并未显著提高评分准确性（ $p = .379$ ）。
温度效应： 对于特定模型（GPT-5.4 Mini/Nano），随机调用（$temp=1 $）比确定性调用（$ temp=0$）显著更准确，但集成并未在单次随机调用之外增加价值。

R2：推理努力

正线性趋势： 总体而言，更高的推理努力与更高的准确性相关（ $b=0.145, p < .001$ ）。
模型异质性： 收益因模型家族而异：
- Gemini 3.1 Pro Preview： 在所有推理级别下保持了最高准确性（ $\kappa \approx 0.794$ ），对该参数表现出较低的敏感性。
- GPT-5.4 Nano/Mini： 在无推理时的表现优于低推理。准确性在“低”努力时下降，随后在“中/高”时恢复。
- Gemini 3 Flash： 显示出从最小到中等推理的清晰改善趋势，随后趋于平稳。
结论： 更高的推理努力并非万能药；它可能会降低较小模型或特定配置的性能。

R3：成本效益分析

成本差异： 成本根据模型大小和推理令牌差异巨大。
- 最低成本： GPT-5.4 Nano（无推理），每 1,000 次调用为 0.27 美元。
- 最高成本： GPT-5.4（高推理），每 1,000 次调用为 6.12 美元。
异常： Gemini 3 Flash Preview 在“中等”推理时出现了反直觉的成本激增，因为其生成的思考令牌过多（716 个令牌），而“高”推理仅为 417 个令牌。
效率前沿：
- 最佳价值： GPT-5.4 Nano 和 Mini（无推理）以极低的成本提供了接近前沿的准确性（ $\kappa \approx 0.75$ ）。
- 最佳准确性： Gemini 3.1 Pro Preview（低推理）提供了最高的准确性（ $\kappa \approx 0.794$ ），但成本是最有效选项的 4–15 倍。
- 低效性： 增加 GPT-5.4 和中级模型的推理努力通常会增加成本，而不会带来相应的准确性提升，使其偏离帕累托前沿。

4. 主要贡献

证伪评分中的自一致性： 本研究提供了实证证据，表明自一致性（多数投票）并未提高基于量规任务的自动评分准确性，因为模型即使在错误时也表现出高度的内部一致性。
推理努力的细微差别： 它证明了“更多推理”并不总是更好。对于某些模型（如 GPT-5.4 Mini/Nano），禁用推理功能比低努力推理模式产生更优的结果。
成本 - 准确性权衡映射： 本文建立了清晰的效率前沿，指出无推理的低成本模型通常能为大规模部署提供最佳平衡，而高成本的前沿模型仅适用于特定的高风险准确性要求。
实际部署指南： 它为教育技术专家提供了可操作的建议：优先考虑温度采样（$temp=1$）而非集成，并根据特定模型家族仔细选择推理级别，而不是假设默认设置是最优的。

5. 意义与局限性

意义： 研究结果挑战了“集成方法”和“深度推理”在 LLM 教育应用中普遍优越的假设。它将重点转向战略模型选择和参数调整，作为优化成本和准确性的主要杠杆。
局限性：
- 范围： 仅限于高中数学的二分类评分；结果可能无法推广到多分类论文评分或其他学科。
- 时间有效性： 成本和性能数据特定于 2026 年 3 月可用的模型版本和 API 定价；快速的模型迭代可能会改变这些数据。
- 集成范围： 仅测试了模型内集成；未探索模型间集成（结合不同架构）。

结论： 对于自动简答题评分，最佳策略通常是使用单次调用，采用低成本模型（如 GPT-5.4 Nano），配合温度采样和无/低推理努力，而不是昂贵的集成或高努力推理配置。