💬 NLP

Boosting Self-Consistency with Ranking

本文介绍了排序改进型自一致性（Ranking-Improved Self-Consistency, RISC）方法，该方法通过使用一个轻量级的 LambdaRank 模型取代标准的多数投票法来增强大语言模型的性能，该模型利用多个互补特征对候选答案进行评分，以更好地捕捉频率、语义中心性和推理一致性。

原作者： Maria Marina, Daniil Moskovskiy, Sergey Pletenev, Mikhail Salnikov, Alexander Panchenko, Viktor Moskvoretskii

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Maria Marina, Daniil Moskovskiy, Sergey Pletenev, Mikhail Salnikov, Alexander Panchenko, Viktor Moskvoretskii

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在向一位非常聪明但有时会感到困惑的朋友（即 AI）提一个难题。你知道，如果你问他同一个问题十次，他可能会给出十个略有不同的答案。有些是错的，有些是对的，而有些则是“差一点就对”的。

旧方法： “投票选举”
传统上，为了得到最佳答案，我们使用一种叫做**自一致性（Self-Consistency）**的方法。这就像是问你的朋友这个问题 100 次，记下每一个答案，然后挑选出现次数最多的那个。这是一种“多数票决制”。

问题在于，有时候正确的答案确实在列表中，但它只出现了 3 次，而一个错误的答案却出现了 10 次，因为你的朋友陷入了混乱的循环。多数票法选择了错误的答案，仅仅是因为那个错误答案的声音更大，而不是因为它更正确。

新方法：RISC（“聪明的裁判”）
这篇论文介绍了一种新方法，叫做 RISC（排名改进型自一致性，Ranking-Improved Self-Consistency）。RISC 不仅仅是计数投票，它更像是一个聪明的裁判，通过五个特定的线索来观察整个答案列表，并将它们从“最好”到“最差”进行排序。

你可以把它想象成一场选秀节目。旧方法只是计算有多少人为歌手鼓掌。而 RISC 则拥有一组评委，他们通过五个特定的维度来决定谁才真正值得获胜：

“整洁度”线索（答案长度）：
- 隐喻： 想象一个凌乱的房间对比一个整洁的房间。
- 运作方式： 正确的答案通常看起来整洁且简洁（比如“42”或“巴黎”）。错误的答案往往带有额外的、凌乱的解释或啰嗦的文本。RISC 更青睐那些整洁、简洁的答案。
“受欢迎程度 vs. 质量”线索（与最优值的比例）：
- 隐喻： 一场比赛中，冠军遥遥领先，但第二名紧随其后。
- 运作方式： 如果最常见的答案仅比另一个答案稍微受欢迎一点点，RISC 会意识到：“嘿，也许第二个才是正确的，第一个可能只是个偶然。”这有助于模型不被微弱的领先优势所蒙蔽。
“重心”线索（语义质心）：
- 隐喻： 一群朋友站在一个圆圈里。
- 运作方式： 如果你在地图上绘制出所有的答案，正确的答案通常会聚集在中间。错误的答案则往往散落在远离中心的角落。RISC 会检查一个答案是站在“人群中心”，还是作为一个孤立的离群值站立。
“稳健手感”线索（最差步骤连贯性）：
- 隐喻： 一场接力赛，其中一名跑者掉落了接力棒。
- 运作方式： AI 不仅仅给出一个答案；它还会解释它的步骤（就像讲故事一样）。RISC 会检查这个故事中的每一步。如果故事中的某一个步骤逻辑不通或脱离了轨道，那么即使最终的数字看起来是对的，整个答案也会被判定为低分。这能捕捉到那些“靠运气猜对”但逻辑断裂的答案。
“旅途一致性”线索（共享检查点）：
- 隐喻： 两名徒步旅行者沿着不同的路径走向同一座山峰。
- 运作方式： 如果两个不同的人得出了相同的答案，RISC 会检查他们在过程中的路径是否相似。如果他们在到达最终答案之前，都经过了相似的“检查点”（中间思维过程），那么这是一个强烈的信号，表明他们走在了正确的轨道上。如果他们的路径完全不同且混乱，那就是可疑的。

结果：以更少的努力赢得胜利
论文测试了这种“聪明裁判”（RISC）在三种类型的挑战中对比“多数票法”的表现：

PopQA： 常识性问题。
HotpotQA： 需要连接多个事实的复杂问题。
Math500： 高难度数学问题。

他们发现：

更快： RISC 可以用更少的尝试次数找到正确答案。在某些情况下，它仅用 18 次尝试就能达到与旧方法相同的准确度，而旧方法则需要 9 尝试 99 次。这就像通过 20 分钟的学习就拿到了满分，而不是通过 2 小时的学习。
更聪明： 在给予相同尝试次数的情况下，RISC 比旧方法得到了更多正确的答案。
更擅长处理难题： 在问答类测试中，这种提升最为显著，因为在这些测试中，“多数票法”即使在正确答案就在列表中的情况下，也经常无法选出正确的答案。

总结
论文声称，我们不应该盲目信任“最常见”的答案，而应该使用一个轻量级的系统，去观察答案是如何形成的、它如何与其他答案进行比较，以及其推理过程是否具有一致性。这个“聪明裁判”（RISC）通过表现得更高效、更准确，始终优于那个只会“数票子的”旧方法。

技术摘要：通过排序提升自一致性 (RISC)

问题陈述

自一致性（Self-consistency）是一种重要的测试时缩放技术，即大型语言模型（LLM）生成多条推理路径，并通过多数投票选择最终答案。尽管这种方法很有效，但存在显著的性能差距：正确答案往往存在于采样的候选集中，却因为未能成为多数票而未能被选中。现有的尝试（如依赖于言语不确定性估计的方法 CISC 或内部几何结构的方法 Stable Rank）通常依赖于设计单一的、手工设计的信号。作者认为，这些基于知识驱动的单信号方法难以进行扩展和泛化到多样化的任务中，往往无法捕捉到决定答案正确性的复杂因素之间的相互作用。

方法论：排序改进型自一致性 (RISC)

本文提出了 RISC，它是自一致性的一种轻量级扩展，将答案选择重新定义为一个排序问题，而非简单的频率计数或置信度评分任务。RISC 不再依赖单一信号，而是利用一个学习到的排序器（ranker），基于一组可解释的特征对候选答案进行评分。

核心框架

问题形式化： 给定一个提示词 $x$ 和一组包含 $N$ 个采样候选者的集合 $C(x) = \{y_1, \dots, y_N\}$ ，目标是学习一个评分函数 $f_\phi(x, y | C(x))$ ，用于在集合内对候选者进行排序。最终的预测是得分最高的候选者。
学习目标： 排序器使用通过 LightGBM 实现的 LambdaRank（一种列表学习排序算法）进行训练。该模型使用 NDCG（归一化折损累计增益）作为指标来优化整个候选集的排序。NDCG 会对那些显著破坏最终排序顺序的错误给予更高的权重。
特征工程： 排序器利用了五个精心设计的、具有可解释性的特征，这些特征捕捉了答案频率、语义中心性和推理轨迹的一致性：
- 答案长度： 最终答案的字符长度。直觉在于，正确的答案通常以简洁、紧凑的形式出现，而错误的答案可能包含格式残留或过多的解释。
- 相对于最优值的比例： 候选答案频率与该问题中最频繁答案频率的比值。这有助于模型理解该候选者是处于竞争地位的有力对手，还是一个远离多数派的离群值。
- 与答案质心的距离： 候选者嵌入与该问题所有答案嵌入的加权计数质心之间的平方欧氏距离。这衡量了语义中心性；靠近分布“重心”的答案被认为更具合理性。
- 最差步骤连贯性： 对于推理轨迹（思维链），该特征计算单个步骤与整体轨迹质心之间的最小余弦相似度。它用于检测推理链中是否存在导致语义对齐失效的“脱轨”步骤，即使最终答案看起来看似合理。
- 共享检查点计数： 这衡量了产生相同答案的不同轨迹之间，在相似深度处共享的中间推理前缀的数量。高数值表示存在稳定且可复现的推理模式。

实现细节

嵌入： 所有特征均使用 MiniLM 句子嵌入模型（22.7M 参数）来对答案、推理轨迹和前缀进行编码。
训练： 排序器在数据集的训练集上进行训练，利用根据其对 NDCG 影响加权的成对比较进行学习。
推理： 在推理期间，模型生成 $N$ 个样本，提取每个候选者的五个特征，然后由训练好的排序器选择得分最高的答案。除了初始采样外，不需要额外的 LLM 调用。

核心贡献

重新定义选择机制： 本文引入了 RISC，它将自一致性的范式从多数投票转向了学习排序问题，证明了其性能持续优于多数投票及强基准模型。
可解释特征设计： 作者设计并验证了五个特定特征。研究表明，这些特征在个体上是有效的，并且至关重要的是，它们具有互补性。这些信号的结合所产生的性能增益超过了单个特征贡献之和。
特征交互分析： 通过特征消融研究和 SHAP 分析，论文揭示了特征之间存在非加性的相互作用。这为“学习如何结合多个信息信号优于依赖任何单一手工信号”提供了证据。

实验结果

作者在涵盖不同推理复杂度的三个数据集上评估了 RISC：PopQA（开放域问答）、HotpotQA（多跳推理）和 MATH500（数学推理），使用的是 Llama-3.1-8B-Instruct 模型。

准确率-效率权衡： RISC 在标准自一致性和基准模型（CISC, Stable Rank, ReASC）之间始终实现了更好的权衡。
- 成本降低： RISC 以显著减少的 LLM 调用次数达到了与标准自一致性相当的准确率（例如，在 PopQA 上仅用 18 个样本就达到了 99 个样本的标准自一致性的准确率）。
- 准确率提升： 在固定预算下，RISC 始终优于基准模型，在 QA 数据集上的增益范围约为 4% 到 6%。
性能上限： 在 QA 数据集上，RISC 达到了标准自一致性即使在最大样本预算下也无法达到的准确率水平，有效地缩小了与“预言机（oracle）”选择之间的差距。
泛化能力： 在一个数据集上训练的 RISC 能很好地迁移到其他数据集（例如从 PopQA 迁移到 HotpotQA），但在迁移到重数学逻辑的 MATH500 数据集时性能有所下降。
模型无关性： 该方法也在 Olmo-3-7B-Instruct 模型上进行了测试，显示出类似的收益。

重要性与主张

论文声称，RISC 展示了超越单一信号启发式方法的价值。通过将答案选择视为一个排序问题，并利用一组轻量级、可解释的特征，RISC 有效地利用了候选集中存在的信息，而无需昂贵的额外模型调用或复杂的神经奖励模型。作者强调，所提特征的互补性是关键：通过学习结合频率、语义中心性和推理一致性信号，系统能够识别出那些经常被简单多数投票所遗漏的正确答案。这种方法为通过改进推理时选择策略来提升 LLM 性能提供了一条切实可行且可扩展的路径。