💬 NLP

Logic-Regularized Verifier Elicits Reasoning from LLMs

本文介绍了 LOVER，这是一种无监督验证器，它利用推理路径上的逻辑约束，从现成的语言模型中激发出稳健的推理能力，无需昂贵的监督数据，即可达到与监督基线相当的性能。

原作者： Xinyu Wang, Changzhi Sun, Lian Cheng, Yuanbin Wu, Dell Zhang, Xiaoling Wang, Xuelong Li

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyu Wang, Changzhi Sun, Lian Cheng, Yuanbin Wu, Dell Zhang, Xiaoling Wang, Xuelong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但有时过于自信的朋友（即人工智能），他热衷于解决谜题。当你问他一道难题时，他不仅会给你一个答案，还会写下他得出该答案的完整推理过程。有时，这个过程非常精彩；有时，他会在自己的逻辑中迷失，犯下愚蠢的错误。

问题在于：如果不亲自核对答案，你如何知道哪条推理过程是正确的？

通常，为了教会计算机检查这些推理过程，我们需要聘请人类专家阅读成千上万份答案，并判定“正确”或“错误”。这既昂贵又缓慢，而且有时专家们思维趋同，会忽略那些巧妙却不寻常的解决方案。

本文介绍了一种名为LOVER（逻辑正则化验证器）的新工具，它就像人工智能的自我检查内部指南针。它不需要人类教师，而是利用逻辑规则进行自我教学。

以下是其工作原理，借助几个简单的比喻来说明：

1. “如果……会怎样”游戏（对比性断言）

LOVER 不仅仅查看人工智能的最终推理过程，而是玩起“如果……会怎样”的游戏：

它给人工智能的推理过程加上一个标签，声称"这是一个真实的答案"。
然后，它对同一份推理过程加上另一个标签，声称"这是一个错误的答案"。

它询问人工智能的“大脑”（其隐藏层）：“当我声称这是真的时，这个故事感觉是真的吗？当我声称这是假的时，它感觉是假的吗？”这有助于揭示人工智能对其自身工作实际上“相信”什么。

2. 游戏的三条规则（逻辑约束）

由于没有人类教师来评分，LOVER 遵循三条严格的“家规”以保持人工智能的诚实：

规则 #1：翻转规则（否定一致性）
如果人工智能认为某条推理过程是“真”的，那么它必须认为同一条被标记为“假”的推理过程是“假”的。它们不能同时正确，也不能同时错误。它们必须是相反的。
规则 #2：团队规则（组内一致性）
想象人工智能生成了 10 条不同的推理过程，其中 3 条最终得出了相同的数字（例如"42"）。即使到达那里的路径不同，只要它们对最终答案达成一致，LOVER 就会假设它们很可能同时正确（或同时错误）。它将它们视为一个团队。
规则 #3：唯一获胜者规则（组间一致性）
如果人工智能生成的推理过程分别以"42"、"100"和"7"结尾，那么只有一个这样的组别可能是正确答案。LOVER 迫使系统只选出一个获胜组别，防止人工智能声称"42、100 和 7 实际上都是这道数学题的正确答案”。

3. 结果：一个自我改进的裁判

通过迫使人工智能在审视自身内部思维时遵循这些逻辑规则，LOVER 变成了一个自我纠正的裁判。

无需作业：它不需要人类评分的答案数据集。它利用人工智能自己生成的“未标记”数据。
适用于任何人：它适用于任何你如今可以下载的标准人工智能模型。
优于猜测：在测试中，这种方法比仅仅选择最常见答案（多数投票）或查看概率数值（思维链解码）要好得多。其表现几乎等同于由人类专家训练，但无需承担相应成本。

核心结论

将 LOVER 视为一个基于逻辑的过滤器。它将人工智能杂乱多样的思维，通过一组逻辑“筛子”（即上述三条规则）进行筛选，过滤掉无意义的部分，留下最可靠的推理路径。它证明，如果你能教会学生利用逻辑法则进行自我评分，就不需要人类去批改每一份试卷。

关于局限性的说明：论文指出，该工具需要查看人工智能的“内部大脑”（其隐藏状态）才能工作。这意味着它在开源模型上效果极佳，因为你可以查看其代码；但它无法用于那些无法窥探内部的“黑盒”模型（例如某些商业聊天机器人）。

技术摘要：LOVER（逻辑正则化验证器）

问题陈述

验证器对于通过优化参数（经由强化学习）或选择最优输出（经由推理扩展）来增强大语言模型（LLM）的推理能力至关重要。然而，现有的验证器面临两个主要局限性：

数据依赖性：传统的监督验证器需要昂贵且资源密集型的标注数据集。收集高质量标注数据，特别是针对特定领域或步骤级过程标注，成本高昂且耗时。
多样性与泛化性：依赖专家标注可能导致解决方案缺乏多样性，因为标注者可能倾向于熟悉的推理模式，而非同样有效但直觉性较弱的模式。此外，最近的无监督方法（如 CoT-Decoding）对骨干模型的选择敏感，而其他方法（如 CCS）仅限于“是/否”问题，难以扩展到通用推理任务。

本文探讨的核心问题是：是否有可能利用 LLM 内部已有的固有知识，在不经过监督过程的情况下构建有效的验证器。

方法论：LOVER

作者提出了LOVER（逻辑正则化验证器），这是一种由逻辑规则正则化的无监督概率验证器。LOVER 将验证任务视为基于 LLM 内部激活推断二元潜在变量（真值），无需修改 LLM 的权重，也无需标注数据。

核心组件

对比断言：
对于给定的问题 $q$ 和生成的推理路径 $s_i$ ，输入通过文本模板进行增强，形成对比断言：
- $x^+_i = q \oplus s_i \oplus \text{"这是一个正确的答案。"}$
- $x^-_i = q \oplus s_i \oplus \text{"这是一个错误的答案。"}$
  该过程旨在激发模型关于推理路径有效性的内部“信念”或“知识”。
潜在验证器模型：
验证器是一个轻量级的多层感知机（MLP），以断言的隐藏状态表示（具体来自中间层）作为输入。它输出概率 $p_\theta(z|x)$ ，其中 $z \in \{0, 1\}$ 表示陈述的有效性。
逻辑约束（正则化）：
为了弥合离散逻辑规则与连续神经网络之间的鸿沟，LOVER 通过软概率目标强制执行三个逻辑约束：
- 否定一致性：对于一对对比断言（ $x^+_i, x^-_i$ ），其真值概率之和必须为 1 且差异显著（排中律）。这防止了两者被分配相同概率的退化解。
- 组内一致性：由相同最终答案分组的推理路径应具有相似的正确性概率。这强制了导向相同结论的解决方案之间的一致性。
- 组间一致性：在多个推理路径组（每组对应一个不同的最终答案）中，恰好有一组的“真”断言应为有效。这通过求和约束和熵正则化项来强制执行，以防止各组间概率分布均匀。
训练与推理：
- 训练：模型通过最小化源自三个逻辑约束的损失函数之和进行端到端训练。不使用任何真实标签。
- 推理：给定一个问题，生成 $N$ 个候选解决方案。对于每个解决方案，验证器预测“真”断言的正确性概率。解决方案按其最终答案分组，具有最高聚合得分（使用最大值或求和策略）的组被选为最终答案。

主要贡献

原则性无监督框架：LOVER 提供了一个可扩展的框架，通过利用由逻辑规则正则化的 LLM 固有知识来验证推理路径，消除了对监督数据的需求。
软概率目标：本文引入了离散逻辑约束的软概率公式，实现了验证器的可微分、端到端训练。
通用兼容性：该方法兼容任何现成的白盒 LLM，并适用于通用推理任务，不仅限于“是/否”等特定问题类型。

实验结果

实验在 10 个数据集上进行，包括数学推理（GSM8K, iGSM）、开放域知识（HotpotQA, MMLU-Pro）以及来自 BIG-Bench Hard 的分布外（OOD）任务。

性能与基线对比：LOVER 显著优于无监督基线（贪婪搜索、多数投票、CoT-Decoding）。
- 平均而言，LOVER（求和） 实现了与监督验证器相当的性能，达到了监督验证器性能水平的约 95%。
- LOVER（求和）在多数投票基础上实现了 3.3% 的平均绝对准确率提升，在 CoT-Decoding 基础上实现了 2.9% 的提升。
- LOVER 在不同模型规模（从 0.5B 到 32B 参数）和解码策略下均表现出鲁棒性。
消融研究：
- 逻辑约束：移除组间一致性损失（ $L_{inter}$ ）导致了最显著的性能下降，表明其在区分正确答案组方面的关键作用。否定一致性（ $L_{nega}$ ）对于防止真/假断言获得相同评分也至关重要。
- 解码策略：LOVER 在自然 CoT 解码下表现最佳，且与严重依赖特定输出格式的 CoT-Decoding 相比，对解码策略变化的敏感度较低。
- 隐藏状态：利用中间层（例如 Mistral-7b 中的第 15 层或第 20 层）的隐藏状态可获得最佳性能。
OOD 泛化性：LOVER 在 OOD 数据集（布尔表达式、谎言网等）上表现出强大的泛化能力，在所有测试场景中均优于多数投票和 CoT-Decoding，表明其学习了评估断言正确性的领域无关模式。

意义与主张

本文声称，LOVER 代表了构建不依赖昂贵监督过程的验证器的重要一步。通过将验证器视为二元潜在变量并在多条推理路径上强制执行逻辑一致性，LOVER 有效地利用了 LLM 内部的“潜在知识”。

作者将 LOVER 定位为一种由逻辑规则引导的无监督探针，为监督验证器提供了一种实用的替代方案。它通过提供一种灵活、可扩展的通用推理任务解决方案，解决了现有无监督方法的局限性（即要么基于启发式且对模型选择敏感，要么仅限于特定问题类型）。这项工作表明，逻辑约束可以作为有效的先验，在不依赖人工标注的情况下解锁 LLM 的推理能力。

指出的局限性：该方法本质上需要访问 LLM 的隐藏状态，限制了其仅适用于白盒模型，无法直接在黑盒场景中使用。