🤖 AI

Claim-Level Reliability Assessment for Efficient Test-Time Reasoning

本文提出了断言级可靠性评估（Claim-Level Reliability Assessment, CLR），这是一个无需训练的框架，通过从全过程评估转向针对性的断言级证伪，将计算资源重新分配给验证决策关键型断言，从而提升测试时推理效率，在显著提高准确率的同时减少了 Token 使用量。

原作者： Sen Xu, Wei Wang, Shixi Liu, Jixin Min, Yingwei Dai, Zhibin Yin, Yirong Chen, Junlin Zhang

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Sen Xu, Wei Wang, Shixi Liu, Jixin Min, Yingwei Dai, Zhibin Yin, Yirong Chen, Junlin Zhang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个非常棘手的谜题，但你不是独自一人，而是请了一屋子的聪明朋友来写下他们的答案。这就是现代“大语言模型”（LLM）在尝试解决难题时的运作方式。它们不仅仅是进行一次性的猜测，而是可以生成许多不同的尝试，或者说“轨迹”（traces），来解决问题。过去挑选最佳答案的方法很简单：计票。如果五个朋友说答案是“蓝色”，三个说“红色”，你就选“蓝色”。这被称为“自一致性”（self-consistency）。

但问题在于：仅仅因为一群人达成了一致，并不意味着他们就是正确的。有时候，整间屋子的人可能会自信满满地达成一个错误的共识，因为他们都在很早的阶段犯了同一个微小的错误，或者因为被一段冗长且令人困惑的解释分散了注意力，从而隐藏了错误。你即将阅读的这篇论文正是在解决这个问题的。它在问：我们如何能更明智地利用计算机的脑力？与其仅仅要求提供更多的答案，如果我们将这些能量用于检查现有答案中是否存在隐藏的缺陷，情况会怎样？研究人员提出了一种全新的方法，它就像一个超级侦探，寻找那个能证明某个答案是错误的唯一证据，而不是试图证明它是正确的。

侦探的捷径：断言级可靠性评估

这篇论文介绍了一个聪明的全新框架，称为断言级可靠性评估（Claim-Level Reliability Assessment, CLR）。把它想象成一场由一位非常聪明的侦探参与的“找茬/识破谎言”游戏。

通常，当计算机尝试解决数学或逻辑问题时，它会写下一段长长的故事（即“推理轨迹”），解释每一个步骤。如果你试图检查整个故事中的错误，就像是在试图从一部 50 页的小说中寻找一个错别字，而剩下的文本都只是枯燥、正确的填充内容。错误会淹没在噪音之中。

CLR 改变了游戏规则，它要求模型以两种不同的方式进行操作：

提取“锚点”： 模型不再阅读整部小说，而是首先提取出五到六个最关键的句子——即“断言”（claims）——它们支撑着整个论证。这些是逻辑锚点。如果这些特定的句子是真的，那么答案可能是正确的；如果其中一个句子是假的，整个答案就会崩塌。
“证伪”搜寻： 这是神奇之处。论文指出，打破一个断言要比构建一个完美的解决方案容易得多。想象一下你在用积木搭一座塔（构建解决方案）；你需要每一块积木都完美无瑕。但如果你试图证明一座塔是不安全的（证伪一个断言），你只需要找到一个摇晃的积木将其推倒即可。

CLR 利用了这种“不对称性”。它提取每个解决方案中的关键断言，并询问模型：“你能找到一个理由来证明这个特定断言是错误的吗？”它并不是要求模型重新解决问题，而是要求它扮演一个寻找致命缺陷的批评者的角色。

实际运作流程

这个过程分为两个阶段，就像一场两轮面试：

第一轮（生成）： 模型生成多个不同的解决方案（例如 32 个）。对于每个解决方案，它还会写下支持其最终答案的 5 个关键断言。
第二轮（证伪）： 模型回到这些断言面前。它试图“驳斥”它们。模型是否发现了矛盾？数学错误？还是逻辑漏洞？
- 如果一个断言在攻击中幸存了下来，它就会获得一分。
- 如果一个断言被驳回（证明错误），整个解决方案都会受到重罚。

论文使用了一种特殊的评分系统。如果一个解决方案中哪怕只有一个关键断言被击倒，它的得分就会大幅下降。这使得一小部分“可靠”的解决方案（那些在攻击中幸存下来的方案）能够战胜一大群“自信但错误”的解决方案（那些带有隐藏缺陷的方案）。

数据说明

研究人员在四个不同的 AI 模型和四个非常困难的数学基准测试（如 HMMT25 和 CMIMC25）上测试了这个想法。他们将这种新方法与标准的“投票计数”方法进行了对比。

以下是他们的发现：

更高的准确率： 在 GPT-OSS-20B 模型上，使用 CLR 将 CMIMC25 基准测试的准确率从 77.50% 提升到了 82.19%。这是一个 4.69 个百分点 的跨越。
节省成本（Token）： 更棒的是，他们实现这一目标时使用的 Token（计算机生成的数字“单词”）比标准方法减少了 37.0%。
拯救少数派： 在许多情况下，标准方法会因为某个答案最受欢迎（例如 5 比 3 的投票）而选错。CLR 成功地在约 37% 的此类案例中“拯救”了正确答案，通过发现多数派推理中的隐藏缺陷，扭转了错误的共识。

这为什么重要

论文指出，我们并不总是需要让 AI 模型变得更大，或者以同样的方式让它们思考得更久。相反，我们可以更聪明地利用我们现有的计算能力。通过将重心从“生成更多答案”转向“对答案中最重要的部分进行针对性检查”，我们可以以更少的投入获得更好的结果。

作者也谨慎地指出，这并不是一个能瞬间解决一切问题的万能药。它在模型本身具备生成初始想法的能力、但需要帮助识别自身盲点时效果最好。然而，结果表明，这种“断言级证伪”是让 AI 推理变得更加可靠的一种强大的新途径，它将模型从一个自信的猜测者转变为一个严谨的批评家。

技术摘要：用于高效推理阶段测试的命题级可靠性评估

问题陈述

测试时缩放（Test-Time Scaling, TTS）已成为在不更新参数的情况下增强大语言模型（LLM）推理能力的主要范式。现有方法通常分为三类：从单条轨迹中提取内在信号（例如，Token 概率）、聚合多条并行轨迹的结果（例如，自一致性/Self-consistency），以及通过结构化搜索在生成过程中进行干预（例如，分支搜索）。

尽管这些方法具有实用价值，但它们面临一个根本性的瓶颈：随着推理预算的增加，提取准确且具有高判别力的可靠性信号变得十分困难。具体而言：

信号稀释： 全局轨迹评估往往会掩盖决定性的错误，因为常规的推理 Token 会产生微弱的判别性背景，从而降低了信噪比。
逻辑与统计置信度的差异： 高统计置信度（如 Token 概率）并不保证逻辑上的严密性；一条轨迹可能表现出极高的置信度，却隐藏着致命的缺陷。
计算成本： 步级（Step-level）验证在计算上是极其耗时的，且通常需要独立的流程级监督或经过训练的验证器。

目前迫切需要一种中间粒度的方案，以弥合全轨迹评估与逐步评估之间的鸿沟，直接针对锚定推理轨迹的语义内容进行评估。

方法论：命题级可靠性评估 (CLR)

作者提出了命题级可靠性评估（Claim-Level Reliability Assessment, CLR），这是一个实例化了**命题级证伪（Claim-level Falsification）**原则的无需训练（Training-free）框架。CLR 将测试时计算资源从生成额外的解题样本重新分配到对决策关键命题的有针对性的验证上。

核心机制

命题级评估：
CLR 并非评估完整的推理轨迹，而是将每条轨迹压缩为一组紧凑的 $M$ 个决策关键命题（ $C_k$ ）。这些命题是中间结论、约束条件或变换过程，其失败将破坏最终预测。通过过滤掉常规 Token，CLR 将计算资源专门用于决定答案正确性的逻辑锚点。
基于证伪的验证：
CLR 利用了方案构建与命题驳斥之间的不对称性。构建一个有效的方案需要一条完美的路径，而驳斥一个错误的命题仅需识别出一个决定性的缺陷。
- 流程： 在第二阶段，模型被提示仅使用原始问题和命题（不含原始轨迹），为 $C_k$ 中的每个命题寻找反证证据（矛盾、反例、事实错误）。
- 结果： 每个命题都会得到一个二元判定：被驳斥（0）或 未被驳斥（1）。“未被驳斥”标签表示该命题在评估中幸存，并不代表其在形式上被证明是正确的。
非线性可靠性评分与聚合：
CLR 使用非线性函数将命题级判定转换为轨迹级可靠性得分（ $r_k$ ）：
$r_k = \left( \frac{1}{M} \sum_{m=1}^{M} v_{k,m} \right)^M$
其中 $v_{k,m}$ 是第 $m$ 个命题的判定结果。
- 效果： 指数 $M$ 创造了一种非线性惩罚。单个决策关键命题被驳斥会显著降低该轨迹的得分，其程度远超线性平均。这抑制了易错轨迹的影响，即使这些轨迹在数值上占据主导地位，也能让规模较小但更可靠的轨迹覆盖错误的共识。

推理流水线

CLR 在固定的 $K$ 条轨迹预算下分为两个阶段运行：

第一阶段： 采样 $K$ 条解题轨迹。对于每条轨迹，生成最终预测和 $M$ 个决策关键命题。
第二阶段： 复用同一模型来验证每条 $K$ 条轨迹中的 $M$ 个命题。
聚合： 将判定映射为可靠性得分，并进行等价预测的可靠性加权聚合。

核心贡献

命题级证伪原则： 本文将命题级证伪形式化为 TTS 的一种独特原则，将重点从开放式的重新求解转向针对性的负面证据搜索。
无需训练的框架： CLR 不需要额外的训练或外部验证器，利用基础模型自身的能力进行生成和验证。
非线性聚合： 引入的非线性评分机制（ $s^M$ ）有效地压缩了高置信度错误轨迹的生存空间，解决了错误共识的问题。
效率： CLR 表明，将一半的推理预算从生成重新分配给验证，可以根据模型状态的不同，提高准确率或提升 Token 使用效率。

实验结果

作者在四种 LLM（Gemma-4-12B-it, GPT-OSS-20B, GPT-OSS-120B, Qwen3.5-27B）和四个推理基准测试（HMMT25, HMMT26, CMIMC25, Apex-shortlist）上评估了 CLR。对比对象是在匹配的模型调用预算下的标准自一致性（Cons）（即 CLR@32 vs. Cons@64）。

准确率提升：
- GPT-OSS-20B 在 CMIMC25 上： CLR 在减少 37.0% 生成 Token 的情况下，将准确率从 77.50% (Cons@64) 提升至 82.19%。它超过了 Pass@1 达 27.15 个百分点。
- Gemma-4-12B-it 在 HMMT25 上： CLR 将准确率从 76.67% 提高到 88.75%（提升了 12.08 个百分点），尽管这带来了 33.4% 的 Token 使用量增加。
- GPT-OSS-120B： 准确率提升高达 5.00 个百分点，同时减少了约 22% 的 Token 消耗。
- Qwen3.5-27B： 鉴于其已有的高基准（>90%），CLR 匹配或略微提升了准确率（最高 +2.60 个百分点），同时减少了高达 14.5% 的 Token 消耗。
挽救错误的共识：
在约 37% 的案例中，当正确答案存在于初始样本集中但被计数聚合所压制时，CLR 成功地扭转了错误的多数投票。
缩放行为：
在不同的测试时预算下，与自一致性相比，CLR 展示了更稳定的缩放行为，后者在增加更多解法时往往会出现饱和或波动。
关于命题数量 ( $M$ ) 的消融实验：
将命题数量从 1 个增加到 3 个或 5 个通常会提高准确率，这表明更广泛的决策关键覆盖和分级非线性权重是有益的。

意义与主张

本文将 CLR 定位为对以下假设的验证：测试时计算不一定非要完全用于生成更多的解法。通过将部分预算重新分配给针对性证伪，该框架可以：

提升性能前沿： 以更少的 Token 实现更高的准确率，或在相同预算内获得更好的准确率。
利用不对称性： 利用“驳斥一个缺陷比构建一个完美方案在计算上更廉价且更具决定性”这一事实。
缓解信号稀释： 将验证资源集中在决定正确性的特定语义锚点上，而非整个推理轨迹。

作者总结道，虽然 CLR 是基于共识框架的一个初步实现，但命题级证伪原则为未来的测试时缩放范式提供了一个充满前景的方向，特别是在增加采样收益递减的场景下。