💻 computer science

When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals

本文挑战了将自一致性和跨模型一致性作为大语言模型置信度信号的可靠性，通过一项大规模研究表明，虽然一致性是正确性的一个正向但微弱的预测指标，但在前沿模型中，高一致性往往与频繁的错误同时出现，从而导致过度自信。

原作者： Kaihua Ding

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaihua Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在举办一场规模宏大的才艺表演，旨在寻找最强的 AI 大脑。你有一组评审团（AI 模型），并向他们提出了百万计的刁钻问题。大家遵循的一个大规则是：“如果所有的评审都对一个答案达成一致，那么这个答案一定是正确的。” 这听起来很符合常识，对吧？如果十个人都说天空是绿色的，也许我们都在看某种奇怪的滤镜？但如果有一百个人都这么说，那它很可能就是事实！

这篇论文就像一部侦探故事，它深入幕后去检查这个规则是否真的奏效。作者 Kaihua Ding 进行了大规模实验，使用了 53 个不同的“运行者”（运行 AI 测试的人），并要求他们针对一些最难的数学和科学问题（称为 GPQA Diamond 和 AIME）生成了 26.5 万个答案。

这里有一个转折：达成共识并不等于正确。

“回声壁”陷阱

把 AI 模型想象成一群从同一本略有瑕疵的教科书中学到知识的学生。如果他们都背诵了同一个错误的答案，他们就会同时举手，并对那个错误的答案达成一致。他们达成一致并不是因为他们聪明，而是因为他们拥有共同的偏见或“记忆启发式（memorized heuristic）”。

论文发现，当 AI 模型彼此达成一致（或与自身达成一致）时，这往往只是在重复一个共同的错误，而不是真理的标志。

“过度自信”的明星学生

最令人惊讶的发现涉及到了“前沿（frontier）”模型——即那些最先进、最强大的 AI 版本。你可能会认为最聪明的模型应该是最可靠的。然而，论文显示事实恰恰相反。

发现： 最先进的模型（gpt-4.1）在 89% 的情况下与其自身达成了一致（这是一个非常高的置信度分数）。但即便达成了一致，它也仅在 48% 的情况下是正确的。
类比： 想象一个学生，他对自己给出的答案如此笃定，以至于以 100% 的信心大声喊出来，但实际上他有一半的时间是错的。论文称这种现象为“过度自信”。事实上，这个超强模型在发出“正确信号”方面，甚至不如一个稍逊一筹的“中层”模型。
证据： 研究通过一个统计学联系（称为相关性）来衡量“一致性”与“正确性”之间的关系。对于最聪明的模型，这种联系非常微弱（大约为 0.20），这意味着它的高置信度几乎无法作为信任信号。

“思维链（Chain-of-Thought）”有帮助吗？

有些人认为，如果你要求 AI “展示其推理过程”（一种称为 Chain-of-Thought 的方法），它会变得更加诚实。

结果： 是的，要求 AI 展示其推理过程确实让它变得稍微准确了一些（它答对了更多问题）。
症结： 然而，这并没有让“一致性信号”变得更好。AI 仍然无法通过它与自身达成一致的程度，来可靠地告诉你它何时是正确的。这就像一个学生写下了长篇且详细的解释，但他最终还是答错了题，而你仅仅通过观察他字迹的整洁程度，是无法分辨出他在出错的。

“共同偏见”之谜

研究人员还检查了不同的 AI 家族（如 GPT 和 Claude）是否犯了同样的错误。

发现： 他们发现，当不同的 AI 模型答错时，它们往往会选择完全相同的错误答案。
类比： 这就像两个来自不同学校的学生，因为他们都在课堂上学到了某个特定的错误技巧，所以对同一个数学题都答错了。这表明，当 AI 对一个错误答案达成一致时，这并非巧合，而是植根于它们训练数据中的共同偏见。

那么，我们应该停止使用“一致性”吗？

不完全是。论文并不是说“永远不要信任一致性”，而是说：“谨慎使用，并了解其局限性。”

有利于预算控制： 一致性对于决定投入多少计算资源非常有用。如果模型都表现得不确定（低一致性），你可能需要投入更多的时间或金钱来获得更好的答案。
不利于信任判断： 你绝不应该将一致性作为一个独立的“信任我”按钮。如果一个超强模型说：“我有 90% 的把握”，并且它与自身达成了一致，你仍然无法确定它是对的。事实上，论文建议，根据置信度将难题路由给“最聪明”的模型是一个坏主意，因为那个模型是最过度自信的。

核心结论

论文总结道，自洽性（Self-consistency）是一种“条件代理（conditional proxy）”。它在某些情况下（例如处理中层模型时）是一个有用的提示，但它不是真理的保证。

被证实的是： 在这些特定的测试中，高一致性往往意味着高置信度和低准确度，对于最先进的模型尤其如此。
被建议的是： “过度自信”可能是这些模型训练方式的一种副作用，而共同的错误发生是因为不同的模型学习了相似的数据。
未知的是： 论文指出，这些结果是针对所测试的模型和问题的。我们不知道这种情况是否发生在每种类型的 AI 或每种类型的问题上，但警告是明确的：不要假设仅仅因为大家意见一致，他们就是正确的。 有时候，他们只是在看同一张错误的地图。

技术摘要：当 LLM 达成一致时，它们是对的吗？

问题陈述

大语言模型（LLMs）正越来越多地被部署为“LLM 即评判者”（LLM-as-judge）系统，或是在企业级流水线中以集成或“混合专家”面板的形式存在，用于评估 AI 的输出。这些系统运作于一个普遍的直觉之上：即一致性（无论是多个评判者之间的一致性，还是单个模型在随机采样中的自一致性）信号着正确性。因此，一致性被用作基于成本的路由、自适应样本预算分配以及选择性预测（弃权）的置信度代理指标。

然而，本文指出这一假设是不可靠的。一致性并不等同于准确性。模型之所以与自身或其他模型达成一致，可能是由于共同的偏见、记忆的启发式规则、选项位置先验或系统性幻觉，而非事实本身。核心问题在于：在何种条件下，一致性信号可以作为正确的可用代理？而在何时它会失效？

研究方法

作者进行了一项大规模的跨运行者审计（cross-runner audit），旨在将循环出现的确定性错误与随机噪声区分开来。

数据来源： 本研究分析了由 53 名运行者（研究生课程参与者）提交的 265,000 个样本。虽然运行者共享课程背景，但其运行过程被视为独立的提交。数据集涵盖了 GPQA Diamond（研究生级四选一多项选择题）和 AIME（数学竞赛）中的 394 个唯一案例。
实验设计：
- 模型： 实验重点关注 gpt-4.1 系列（nano、mini 和前沿级 gpt-4.1），并对 Anthropic 的三层 Claude 模型（haiku、sonnet、opus）进行了探索性检查。
- 比较维度：
  - 维度 A（层级）： Nano vs. Mini。
  - 维度 B（提示词）： Mini 模型上的 Zero-shot vs. 思维链（CoT）。
  - 维度 C（规模）： Mini vs. 前沿级 gpt-4.1。
- 参数： 温度（Temperature）= 1.0， $K=50$ 个样本/案例。
指标：
- 自一致性 ( $C$ )： 与多数答案一致的样本比例（ $n_{maj}/K$ ）。
- 多数正确性 ( $M$ )： 多数答案是否匹配地面真值（ground truth）的二元指标。
- 样本准确率 ( $A$ )： 与地面真值匹配的个体样本比例。
- 相关性： $C$ 与 $M$ （以及 $A$ ）之间的 Spearman 秩相关系数 $\rho$ 。
统计推断： 由于数据是非独立同分布的（运行者贡献了多个行；案例是共享的），作者使用了分层运行者聚类自助法（resampling runners，然后是 runner 内的 cases）以及案例聚类自助法以确保稳健性。

核心贡献

大规模审计： 对自一致性作为硬推理基准上的置信度信号进行了 265,000 样本的大规模审计，利用分层自助法来控制运行者和案例的依赖关系。
前沿模型退化证据： 证明了一致性信号在最一致的前沿模型上反而会发生退化。这些模型表现出过度自信（高 $C$ ），但并未带来相应的准确率提升，使得基于一致性进行的向其路由的决策变得适得其反。
循环分析： 将随机噪声与循环发生的确定性错误区分开来。研究表明，许多确定性错误并非采样噪声，而是跨不同运行者和提示词重复出现的。
位置偏见控制： 通过选项洗牌实验揭示，多项选择设置中的很大一部分“置信度”是由选项位置先验（例如避免选择选项 D）驱动的，而非语义理解。
跨家族检查： 探索性分析显示，确定性错误在一定程度上是跨供应商共享的（GPT 和 Claude），这表明跨模型的共识可能反映了共享的预训练偏见，而非独立的验证。
数据集发布： 公开发布了一个去标识化、经过模式验证的数据集和分析流水线。

结果

1. 一致性是正向但微弱的预测因子

在所有 12 个实验单元（模型、提示词和基准测试的组合）中，自一致性 ( $C$ ) 与多数正确性 ( $M$ ) 之间的相关性均为正向但微弱 ( $\rho \approx 0.20–0.59$ )。

没有一个单元超过 $\rho = 0.60$ 。
一个“高一致性自动接受”规则仍会引入大量的错误答案。
该信号具有状态依赖性：它在中层模型中较强，而在前沿模型中较弱。

2. 前沿模型悖论

前沿模型 (gpt-4.1) 表现出最高的自一致性（GPQA 上 $C=0.89$ ），但其一致性与正确性之间的相关性却是最低的 ( $\rho(C, M) = 0.20$ )。

过度自信： 在 GPQA 中，77% 的 gpt-4.1 案例具有 $C \ge 0.8$ ，但这些高一致性答案中有 48% 是错误的。
校准： 在所有测试配置中，该前沿模型的期望校准误差最高（ECE = 0.41）。
启示： 基于高一致性将难题路由至前沿模型是适得其反的，因为它继承了高错误率。

3. 思维链 (CoT) 的影响

准确率： CoT 稳健地提高了准确率 ( $\Delta A \approx +0.067$ 在 GPQA 上)。
信号： CoT 对一致性-正确性信号 ( $\rho(C, M)$ ) 的提升非常有限。虽然它提高了与样本准确率 ( $A$ ) 的相关性，但其对部署标签 ( $M$ ) 的影响取决于重采样方法，效果基本持平或无效。

4. 循环且共享的错误

循环性： 一部分确定性错误（例如 28% 的唯一 GPQA 案例对于 gpt-4.1）对每一个运行者来说都是确定性错误的（ $C \ge 0.8$ ），这表明它们是系统性偏见而非采样噪声。
位置偏见： 在 GPQA 中，洗牌选项显著降低了准确率并改变了多数答案的分布，证实了“置信度”往往反映的是位置先验（如低估“D”选项）而非真相。
跨供应商共享： 在共享的 GPQA 项目上，GPT 和 Claude 模型经常在高度置信的情况下对相同的错误答案达成一致。这一速率超过了标签排列的零假设，表明不同供应商之间存在共享偏见。

5. 系统启示

自适应采样： 一致性对于分配计算资源是有用的（自适应采样）。使用一致性来决定何时停止采样的自适应规则可以在保持错误率的同时节省约 60% 的样本。
路由策略： 置信度路由级联（从廉价 $\to$ 昂贵）的表现优于随机路由，但不如直接始终使用中层模型。将任务路由至过度自信的前沿模型会降低性能。

重要性与主张

论文得出结论：自一致性不是准确性，而是一个有条件的、依赖于状态的经验代理。

可用状态： 一致性是用于分配计算资源（自适应采样）的一种有效的粗略信号，并且在未饱和的中层模型中最为可靠。
不可用状态： 一致性是一个糟糕的独立置信度评分，特别是在前沿模型中，由于过度自信和共享偏见，高一致性与正确性是脱节的。
安全启示： 将自一致性视为确定性置信度阈值的系统，面临着将“确定性错误”路由进信任路径的风险。论文警告不要将一致性作为将难题升级到最一致的前沿模型的理由。

作者强调其主张的审慎性：本研究是对特定基准（GPQA, AIME）和模型家族的审计，研究结果强调需要将一致性视为一种“粗略的、节省成本的信号”，而非可靠的正确性阈值。