🤖 machine learning

Training-free LLM Verification via Recycling Few-shot Examples

该论文提出了 ReFeri，这是一个无需训练的框架，它通过结合前向置信度评分和后向重构惩罚来回收少样本示例以评估候选输出，从而提升大语言模型的准确性，在多种任务中实现了平均 8.2% 的相对增益。

原作者： Dongseok Lee, Jimyung Hong, Dongyoung Kim, Jaehyung Kim

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongseok Lee, Jimyung Hong, Dongyoung Kim, Jaehyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是强大的工具，它们可以写故事、解数学题以及调试计算机代码。它们通过预测句子中的下一个词来工作，通过学习海量文本来模仿人类的推理能力。然而，由于这些模型是基于概率生成文本的，它们并不总是保持一致。如果你两次询问同一个问题，或者要求它同时生成多个答案，它每次给出的响应可能会有所不同。其中一些答案非常精彩，而另一些则包含细微的错误或逻辑漏洞。这种随机性使得在没有验证正确版本的方法时，很难信任模型的输出。传统上，研究人员试图通过让模型生成许多答案并挑选最常见的那个，或者训练一个专门的计算机程序来充当“裁判”来解决这个问题。但当任务是开放式的（例如写诗或生成复杂的代码）时，这些方法往往会失效，因为这类任务不存在可以用来计数的单一“正确”答案，或者这些方法需要昂贵的新训练，而这并不总是可行。

来自延世大学和韩国科学技术院（KAIST）的一个研究小组提出了一种无需额外训练或专门裁判的新方法来解决这个问题。他们将这种方法称为 ReFeri，意为“回收利用少样本示例来验证大语言模型输出”（Recycling Few-shot examples to verify LLM outputs）。其核心思想出奇地简单：研究人员决定不再仅仅将提供给模型的示例视为生成答案的起点，而是将这些相同的示例作为评估模型生成答案的“衡量标准”。当用户提出一个复杂问题时，通常会提供一些之前解决类似问题的例子。这些例子充当了指南，展示了期望的风格和逻辑。研究人员意识到，这些示例包含了关于一个好答案应该长什么样的隐藏信息，并且他们找到了一种利用这些信息来过滤掉糟糕答案的方法。

该过程通过对同一个问题的多个不同响应进行生成来运作。系统随后使用源自原始示例的两个相互竞争的信号对每个响应进行评分。第一个信号衡量响应对示例引导的遵循程度，本质上是在问：“这个答案看起来属于这个集合吗？”第二个信号则充当惩罚项，检查响应是否仅仅是在模仿示例的表面模式或特定特征，而不是在解决实际问题。如果一个响应在没有理解新问题的基础上过度模仿示例，它就会受到高额惩罚。最终得分是遵循引导与避免盲目模仿之间的平衡。通过从引导得分中减去惩罚项，系统选择了那个最好地利用示例作为逻辑基础、而非将其作为模板进行复制的答案。

在实验中，研究人员在七个不同的任务上测试了这种方法，涵盖了从解决困难数学题到回答复杂科学问题以及编写代码等多种任务，测试对象包括三种不同的主流大语言模型。他们发现 ReFler 一致地提高了模型的准确性。与仅仅从生成的选项中随机挑选一个答案相比，该方法平均提升了 8.2% 的性能。即使与现有的最强且无需训练的方法相比，ReFeri 仍能额外提高 2.6% 的准确率。研究人员特别感兴趣的是，当模型必须从大量选项中进行选择时，这种方法是否依然有效。他们测试了包含多达二十个候选答案的系统，并发现随着选项数量的增加，该方法表现得越来越好，而其他方法往往会随着选择数量的增加而性能下降。这表明，当有更多样化的选择时，该系统能更好地识别出最佳答案。

最重要的发现之一是，这种性能提升并不依赖于使用庞大的、功能强大的计算机来进行检查。研究人员展示了规模较小的、轻量级的模型可以像大型模型一样有效地执行验证工作。这至关重要，因为这意味着该方法是高效且具有成本效益的。它不需要通常用于训练新裁判或运行复杂验证系统的沉重计算资源。该方法的成功似乎源于其对少样本示例的巧妙利用，而非检查工作的计算机本身的原始算力。研究人员还在生成个性化新闻标题和编写代码等开放式任务上测试了该方法，在这些场景下，传统的投票法会失效，因为不存在可以计数的单一正确答案。在这些场景中，ReFeri 仍然优于其他方法，证明了其处理复杂、创造性任务的能力，在这些任务中，“正确”答案并非一个简单的事实，而是一个构建良好的解决方案。

研究人员还通过分析当他们故意使示例变差或改变答案顺序时会发生什么，来探索该方法为何如此有效。他们发现，即使示例并不完美，该系统依然保持稳健，并且不会轻易被答案的呈现顺序所迷惑。这种稳定性表明，该方法不仅仅是在记忆模式，而是真正理解了示例与新问题之间的关系。通过回收利用少样本示例进行验证，研究人员创造了一个工具，有助于大语言模型在无需重新训练或人类监督的情况下变得更加可靠。这种方法为优化现有模型提供了切实可行的方式，使它们在对准确性要求极高的现实应用场景中更加值得信赖。这项工作强调了我们提供给这些模型的示例不仅是启动任务的指令，也是检查其产出质量的宝贵资源。

技术摘要：通过回收少样本示例进行无需训练的 LLM 验证 (ReFeri)

问题陈述

大语言模型（LLMs）在复杂推理任务中展现出了卓越的能力，然而其固有的随机性往往导致针对相同输入产生不同的结论。虽然通过多数投票（Majority Voting）和 Best-of-N 选择等方法可以缓解这种随机性，但这些方法面临显著的局限性。多数投票受限于易于提取答案的任务，无法处理开放式生成（如代码或对话）。训练外部验证器（奖励模型）需要大量的特定任务标注数据，且往往缺乏对未知领域的泛化能力。相反，依赖模型内部置信度（如 Self-Certainty, CoT-WP）或 LLM-as-Judge 框架的无需训练的替代方案，往往存在校准偏差（miscalibration）问题，特别是在模型遇到陌生领域或其内在知识不可靠的复杂推理路径时。

方法论：ReFeri

作者提出了 ReFeri（通过回收少样本示例来验证 LLM 输出），这是一个旨在从通过 few-shot 提示生成的 $N$ 个候选响应中选择最优响应的无需训练的框架。其核心创新在于利用提供的少样本示例不仅进行生成，还将其作为一种严谨的验证信号。

ReFeri 基于对给定查询 $e_q$ 下候选响应 $r_n$ 的似然性 $P(y_n)$ 的类贝叶斯分解。ReFeri 不仅仅依赖于可能存在校准偏差的直接似然性 $P(r_n | e_q)$ ，而是将评分分解为两个互补的项：

前向置信度得分 ( $S_{Forw}$ )：该项衡量给定少样本示例下候选响应的似然性 ( $P(r_n | e_q, X)$ )。它确保输出与 few-shot 上下文中展示的推理模式和格式保持一致。
后向重构惩罚 ( $S_{Back}$ )：该项会对过度依赖于少样本演示的候选响应进行惩罚。它衡量以候选对为条件时，增加重构原始少样本示例的似然性程度 ( $P(X | r_n) - P(X)$ )。较高的后向得分表明候选响应可能只是在模仿表面特征或对演示进行过拟合，而非针对特定的目标查询进行推理。

最终的选择得分定义为：
$S_{Fin}(y_n) = S_{Forw}(y_n) - \tilde{S}_{Back}(y_n)$

为了确保计算效率，后向项使用最近邻策略进行近似。ReFeri 并非评估所有的 $K$ 个少样本示例，而是利用嵌入模型识别出与测试查询语义最相关的单个示例 ( $x_{i^\dagger}$ )，并基于重构该特定示例来计算惩罚。这使得复杂度从每个候选响应 $O(K)$ 降低到了 $O(1)$ 。

核心贡献

新颖的验证框架：ReFeri 引入了一种无需训练的方法，通过回收少样本示例来进行生成和验证，解决了内部置信度评分存在的校准偏差问题，且无需外部标注数据。
双向评分机制：该方法独特地结合了前向引导信号与后向重构惩罚。这种设计明确抑制了仅模仿演示模式（过拟合）的候选响应，同时奖励那些遵循底层推理逻辑的响应。
轻量且可扩展：该框架能够有效运行在轻量级估计模型（例如 1B 参数模型）上，并能随候选响应数量的变化而扩展，与较重的基准方法相比，具有更优的成本-准确度权衡。
泛化性：不同于受限于可提取答案的方法，ReFeri 适用于开放式生成任务，包括代码生成和个性化文本生成。

实验结果

作者在三种不同的 LLM（GPT-4o, GPT-4o-mini, 和 LLaMA-3.1-8B）以及七个多样化的基准测试（MATH500, MMLU-Pro, HotpotQA, DROP, GPQA-diamond, 和 MuSR）上评估了 ReFeri。

性能提升：ReFeri 相比于随机选择（Few-shot CoT）实现了平均 8.2% 的相对准确度提升，相比于最强的无需训练基准（Self-Certainty）提升了 2.6%。
测试时扩展性：随着候选响应数量 ( $N$ ) 从 1 增加到 20，ReFeri 的选择准确度持续提高。相比之下，CoT-WP 和 USC 等基准方法在 $N$ 增加时往往会出现性能下降或进入平台期。
鲁棒性：即使使用轻量级的 1B 估计器模型，该方法依然有效，这证明了性能的提升源于评分设计而非估计器的容量。它在面对少样本示例质量、提示格式以及估计器校准的变化时也表现出了鲁棒性。
开放式任务：在开放式生成任务（用于个性化的 LaMP 和用于代码的 LiveCodeBench）中，ReFeri 在多数投票法和答案提取法无法应用或无效的情况下，依然优于基准方法。

重要性与主张

论文声称 ReFeri 提供了一种实用的、无需训练的解决方案，能够以极低的人力参与度来识别可靠的 LLM 输出。通过将少样本示例重新诠释为验证机制而非仅仅是生成指南，ReFeri 缓解了在陌生领域中置信度校准偏差的问题。作者强调，该方法为训练外部验证器提供了一个可扩展的替代方案，这对于标注数据稀缺或进行微调不切实际的场景尤为有价值。结果表明，“后向重构惩罚”作为一个正交信号，能够有效地捕捉演示特有的依赖关系，从而使模型能够区分真实的推理与表面的模仿。