💬 NLP

Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study

本文通过引入一个将共识分解为机械偏好驱动成分和残差成分的“多元一致性指数”，定量分析了大语言模型自一致性投票的不稳定性表现，揭示了虽然在多项选择任务中共享偏好占据主导地位，但在开放领域问题上仍存在无法解释的异质性，且高一致性并不保证正确性。

原作者： Lizhuo Zhang, Mengmeng Tang, Chenfeng Long, Xiaoyong Tang, Xiang Luo

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lizhuo Zhang, Mengmeng Tang, Chenfeng Long, Xiaoyong Tang, Xiang Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，大型语言模型常被视为能够通过思考来解决复杂问题的类先知机器。为了提高这些系统的可靠性，研究人员开发了一种名为“自一致性”（self-consistency）的技术。其核心思想很简单：与其向模型寻求单一答案，不如让它对同一个问题进行多次回答，并让答案进行投票。如果模型在大多数情况下产生相同的答案，那么假设是这种共识很可能是正确的。这种方法已成为提高准确性的标准工具，其运作基于一种直觉性的信念，即多次尝试之间的达成一致信号着真理。然而，这一信念面临着一个顽固的现实：有时，模型可以非常强烈地与自己达成一致，却仍然完全错误。这种情况最常发生在难题上，模型可能会自信地陷入一个看似合理但错误的答案中，从而制造出一种虚假的安全感。理解为什么会发生这种情况至关重要，因为如果我们无法区分一个自信的正确答案和一个自信的错误答案，我们就无法在涉及高风险的情况下信任这些系统。

湖南农业大学和岳麓实验室的研究人员最近的一项研究，利用强大的新模型 GPT-4.1 调查了这一特定的失效模式。研究团队并非仅仅观察到错误发生的现象，而是设计了一种方法，精确测量有多少错误的一致性来自于问题本身的性质，又有多少来自于模型思维中更深层的、共同的缺陷。他们将这个问题视为对模型投票过程的一次法证审计，使用了来自先前版本的公开逐次运行数据。当模型回答错误时，他们追问：错误答案之所以聚集在一起，是因为存在一个极具吸引力的错误选项导致每个人都选择了它，还是有其他原因导致它们在错误的道路上达成一致？为了回答这个问题，他们创建了一个模拟实验，通过剥离模型对特定答案的偏好，来观察剩余的一致性情况。

研究人员发现，答案很大程度上取决于所提问题的类型。当模型面对具有固定选项的多项选择题时，情况相对简单。在这些案例中，对错误答案的强烈一致性几乎完全可以用模型对某个特定、具有吸引力的干扰项的机械性偏好来解释。模型本质上是被同一个错误的门扉所吸引，而投票系统仅仅反映了这种单一的吸引力。在这些场景下，导致错误的“共同偏差”被模型对该特定错误选项的个体偏好所捕捉。研究表明，对于这些多项选择任务，模型的内部偏好解释了 81% 到 93% 的错误共识。这表明，在受限任务中，错误并非整个群体中一种神秘的、相关的失效，而是一种对特定陷阱的可预测的趋向。

然而，当研究人员观察开放式问题（例如数学竞赛中那种没有可选列表的问题）时，情况发生了剧烈变化。在这里，模型对特定答案的内部偏好仅解释了约 59% 到 78% 的一致性。在剔除了模型的偏好因素后，仍有相当大比例的错误共识无法得到解释。这种剩余的一致性表明，当模型从头开始生成自己的答案时，它们不仅仅是在挑选一个热门的错误选项；不同的尝试似乎在某种程度上相互协调，以一种超越简单偏好的方式在同一个错误上达成一致。研究人员指出，这种无法解释的一致性符合这样一种观点：模型在其训练过程中携带了一种共同的、系统性的偏差，导致即使在尝试以不同方式思考时，也会重复犯下同样的错误。

该研究还证实，高一致性并不保证正确性。研究人员观察了那些答案最为一致的群体——即模型几乎完美实现自我一致的情况——并发现，即便在这种情况下，准确率也远非完美。在最难的问题上，那些达成最高共识的答案正确率仅为 42% 到 83%。这意味着，即使模型表现得极其一致，它在很大程度上仍是错误的。此外，研究表明，在处理难题时，使用投票法实际上可能比直接进行单次猜测的效果更差。这种“适得其反”的效应在最难的问题上最为显著，此时模型达成错误共识的倾向足以抵消偶尔出现的正确猜测。

最终，这项研究重新定义了我们看待人工智能信心的方式。研究表明，一致性并非真理的认证，而是一个必须谨慎解读的分级信号。在多项选择测试中，错误的共识通常只是模型锁定了一个具有吸引力的错误答案。但在开放式任务中，错误的共识可能隐藏着一种更深层的、无法解释的相关性，即模型的不同尝试在强化彼此的错误。研究人员得出结论，虽然自一致性是一个有用的工具，但它存在上限：它可以显著提升准确率，使其高于单次猜测，但无法将其推向完美，尤其是在问题难度较高时。研究结果表明，我们必须停止将高一致性视为正确的“绿灯”，而应将其视为一种需要进一步审查的细致证据，特别是当模型在没有固定选项的情况下生成自身答案时。

技术摘要：解构 LLM 自一致性中的错误共识一致性

问题陈述

基于采样的推理（自一致性，Self-Consistency）通过生成并聚合多个 LLM 输出（通过多数投票）来提高答案准确性，这是一种标准的优化技术。然而，经验证据表明这一启发式方法并非在所有情况下都同样有效：即使答案是错误的，一致性也可能很高；并且在困难问题上，多数投票有时反而会降低准确率（即“反噬”效应）。

现有文献记录了这些失败现象，但缺乏对“错误共想一致性”（wrong-consensus agreement）的定量、反事实分解。具体而言，目前尚不清楚观察到的错误答案之间的一致性有多少归因于：

机械效应（Mechanical effects）： 在给定的每案例答案偏好下（例如，某个干扰项对模型具有吸引力），样本在统计上必然会集中在单一选项上的现象。
相关误差（Correlated errors）： 共享的偏差或系统性误差，即模型的样本并非相互独立，导致它们在超出机械偏好所能解释的范围内，共同锁定在同一个错误答案上。

方法论

本文引入了一个多元一致性指数 ( $\Gamma$ ) 和一个反事实分解框架，用以区分机械一致性与偏好无法解释的残差。分析完全基于现有的单次运行数据（Ding [2]），涵盖了 GPT-4.1 系列（包括 mini 和 nano 版本）在两个基准测试上的表现：GPQA-Diamond（多选题）和 AIME（开放域问题）。

核心定义

一致性指数 ( $\Gamma$ )： 定义为在一次“错误运行”中，达成多数派标签的样本比例的期望值，并根据参考尺度 $d = (1-p)/(C-1)$ 进行归一化，其中 $p$ 为单样本准确率， $C$ 为选项数量。它衡量了错误运行对于错误共识的“粘性”。
机械反事实模型（Mechanical Counterfactuals）： 本文构建了一个零假设模型层级，用于模拟如果误差是独立的但保留了特定的结构属性时，一致性会呈现何种状态：
1. 均匀零假设 ( $\Gamma_{iid}$ )： 样本从错误选项中均匀抽取。这代表了一个没有任何特定选项被偏好的基准情况。
2. 无泄露每案例偏好零假设 ( $\Gamma_{rival}$ )： 这是核心贡献。对于每个案例，使用留一法（仅使用该案例的其他运行数据）来估计模型的选项偏好分布。随后，从该估计的偏好分布中进行模拟运行抽取。至关重要的是，没有任何一次运行会预测其自身的符合度，从而防止了数据泄露。

分解指标

主要指标是机械覆盖率 ( $\phi$ )：
$\phi = \frac{\Gamma_{rival}}{\Gamma^{(t)}_{emp}}$

$\Gamma^{(t)}_{emp}$ ：在持验证集错误运行上的经验一致性指数。
$\Gamma_{rival}$ ：由无泄露每案例偏好零假设产生的一致性指数。
解读：
- $\phi \approx 1$ ：观察到的一致性几乎完全可以由对特定（尽管可能是错误的）选项的机械吸引力来解释。此时，“共享偏差”的解释存在过度主张。
- $\phi \ll 1$ ：存在显著的偏好无法解释的残差 ( $\delta = 1 - \phi$ )。这表明，即便在考虑了每案例偏好后，样本仍比独立性所预期的更倾向于聚集在错误共识上，这与相关误差或共享训练偏差的观点一致。

关键结果

1. 机械覆盖率与基准测试的相关性

分解结果揭示了约束性多选题任务与开放域任务之间的显著差异：

GPQA-Diamond（多选题）： 机械性的每案例偏好解释了观察到的错误共识一致性的 81–93% ( $\phi \in [0.806, 0.927]$ )。残差很小。这表明在多选题任务中，“共享偏差”通常表现为模型集体锁定在某个具有吸引力的干扰项上，而这种现象可以被每案例偏好通道所捕捉。
AIME（开放域）： 机械偏好仅解释了 59–78% 的一致性 ( $\phi \in [0.586, 0.781]$ )。存在一个显著的残差，规模约为 1.56–2.80 $\Gamma$ 单位。该残差与运行间的偏好变异（通过 Dirichlet-multinomial 零假设建模）是一致的，并表明在开放域任务中，一致性包含了一个无法由固定每案例偏好解释的部分。

2. “反噬”效应的复现

研究复现了多数投票在困难问题上可能产生反噬效应的发现。在按难度分箱的分析中，投票差距（共识准确率减去单样本准确率）在最难的分箱中变为负值（例如，GPT-4.1-nano 在 GPQA 上为 $-0.09$）。

3. 高一致性的低经验上限

高自一致性具有信息量，但并不具备认证性。

“最高一致性分箱”（自一致性前五分位数）的准确率范围在 0.42 到 0.83 之间。
虽然这代表了相对于基准率 1.2–3.6 倍的提升，但远未达到 1.0。一致性是等级证据（graded evidence），而非认证。

4. 冠军的脆弱性（Champion Fragility）

即使两个针对同一案例的独立运行产生了一个高一致性的胜者，该“冠军”（多数派胜者）也是不稳定的。

翻转率（Flip Rate）： 在 AIME 上，翻转率为 0.82；在 GPQA 上为 0.40。
即使在极高自一致性（ $\alpha \ge 0.98$ ）的情况下，GPQA 的翻转率仍为 0.17，而 AIME 为 0.78。

5. 软一致性 vs 硬一致性

将硬性多数投票替换为基于概率加权的软聚合（使用 Jensen 间隙）后，在预测正确性的 AUROC 上没有明显的改进。这意味着“软”一致性并未比“硬”的多数派集中度提供额外的信号。此外，错误运行的 Jensen 间隙比正确运行更大，表明错误运行具有更分散的分布。

意义与主张

本文定位为一项描述性、理解性的贡献，而非提出新的投票方法或发现新的失败模式。其意义在于：

定量分解： 它提供了第一个反事实层级，用于将错误共识一致性分解为机械性的每案例偏好和偏好无法解释的残差。
重构“共享偏差”： 它挑战了认为高错误一致性完全是由相关误差引起的笼统假设。在多选题任务中，大部分一致性是机械性的（由每案例偏好捕捉）；而在开放域任务中，仍然存在显著的残差，这与系统性误差模式相符。
模型无关框架： 该分解完全基于观察到的运行数据和反事实模拟，适用于任何拥有单次运行数据的模型。
经验边界： 它确立了自一致性信心是等级证据而非认证，即使在高一致性分箱中，经验上限也远低于完美准确率。

作者明确指出，残差的具体机制（例如，它是严格的“共享训练偏差”还是运行层面的异质性）尚未被识别，仅表明仅靠每案例偏好模型不足以解释开放域任务中的错误共识一致性。其结论受限于反事实中的 i.i.d. 假设，但研究结果的方向性（GPQA 的高机械覆盖率对比 AIME 的显著残差）对于采样相关性是稳健的。