💬 NLP

Coupled Variational Reinforcement Learning for Language Model General Reasoning

本文介绍了 CoVRL，这是一个新颖的框架，它通过混合采样策略将变分推断与强化学习相结合，以确保证推理轨迹与最终答案之间具有强一致性，从而克服无验证器方法的低效性，显著提升语言模型的通用推理性能。

原作者： Xueru Wen, Jie Lou, Yanjiang Liu, Hongyu Lin, Ben He, Xianpei Han, Le Sun, Yaojie Lu, Debing Zhang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Xueru Wen, Jie Lou, Yanjiang Liu, Hongyu Lin, Ben He, Xianpei Han, Le Sun, Yaojie Lu, Debing Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位才华横溢但略显困惑的学生如何解开一道难题。这位学生懂得如何思考，但他们常常迷失在自己的思绪中，或者虽然得出了正确答案，却用一段杂乱无章、令人费解的解释来呈现，导致其答案与教师的评分标准不符。

本文介绍了一种名为CoVRL（耦合变分强化学习）的新教学方法，旨在专门解决人工智能语言模型面临的这一确切问题。

以下是其工作原理，分解为简单的概念：

问题所在：“猜测与检查”的陷阱

目前，当 AI 模型尝试在没有严格答案密钥（例如在化学或通用逻辑中）的情况下学习推理时，它们通常玩的是“猜测与检查”的游戏。

旧方法：模型查看问题，并尝试生成一系列思维链以找到答案。这就像要求学生从零开始撰写一篇文章，没有任何提示。
缺陷：这效率低下。学生可能会在找到正确答案之前，在成千上万条错误路径上徘徊。更糟糕的是，即使他们找到了正确答案，其推理过程可能过于杂乱，或者格式与“正确答案”不同，导致系统判定其失败。这就像学生正确解出了一道数学题，却用不同颜色的墨水写下了最终数字，因此被老师判错。

解决方案：“双轨”训练系统

作者提出了CoVRL，这就像给学生安排了一次特殊的训练课程，让他们同时以两种不同的模式进行练习，而不仅仅是单一模式。

将其想象为一次混合驾驶课程：

模式 A（“现实世界”驾驶）：学生独自驾驶，只看着道路（问题）。这是先验（Prior）。它教导模型如何在没有答案密钥的现实世界中进行思考。
模式 B（“副驾驶”驾驶）：学生驾驶时，有一位副驾驶低声告知目的地和完美路线（问题以及答案）。这是后验（Posterior）。它向模型展示了完美、连贯的路径是什么样子的。

魔法技巧：
CoVRL 不是选择其中一种模式，而是将两者混合。

有时模型独自练习（模式 A），以学习如何探索。
有时它与副驾驶一起练习（模式 B），以学习如何保持正轨并保持连贯性。
关键在于，系统使用一种特殊的数学“胶水”（复合分布），确保学生在“副驾驶”模式下学到的内容，实际上能帮助他们在之后独自驾驶时发挥作用。

为何这更好

该论文声称，这种“双轨”方法解决了两个大难题：

速度更快：通过偶尔瞥见“正确路径”（答案），模型不会浪费时间原地打转。它能更快地学会正确的推理模式。
一致性更强：因为模型在学习推理的同时看到了答案，它学会了以一种能真正导向正确结论的方式书写其思路。它不再撰写那些看似正确却被判错的“杂乱”答案。

结果

研究人员在各种棘手难题上测试了这种方法，从数学问题到常识性问题。

与标准的“独自驾驶”方法相比，他们的新模型将推理能力提高了12.4%。
它还比当前最佳的“无验证器”方法多提升了2.3%。

核心结论

该论文认为，通过将“现实世界”练习与“答案引导”练习相结合，你可以获得一个更智能、更高效的人工智能，它能够推理复杂问题，而无需人类为它们检查每一个步骤。这就像教导一名学生成为侦探，既能破案，又能写出一份法官真正会接受的报告。

技术摘要：用于语言模型通用推理的耦合变分强化学习

问题陈述

具有可验证奖励的强化学习（RLVR）在增强大语言模型（LLM）推理方面已展现出显著成功，特别是在数学领域，其中基于规则的程式可以验证最终答案。然而，该范式受限于对可验证奖励的需求，将其适用范围限制在通用推理任务（例如化学、开放式问题）中，在这些任务中形式化验证往往困难或不可能。

最近的“无验证器”方法试图通过使用 LLM 自身生成正确参考答案的概率作为奖励信号来绕过这一限制。虽然有效，但这些方法通常依赖于仅基于问题的生成，即模型仅根据输入问题采样推理轨迹。作者指出了该设计中的两个根本局限性：

低样本效率：缺乏指导的情况下，模型难以针对难题生成有用的推理轨迹，导致对推理空间的探索效率低下。
轨迹 - 答案不一致性：在无法访问目标答案的情况下进行采样，可能导致推理轨迹在逻辑上成立，但未能与真实答案的具体格式或表示形式保持一致，从而导致正确的推理获得低奖励。

方法论：耦合变分强化学习（CoVRL）

本文提出了CoVRL，这是一个将变分推断与强化学习相结合以解决仅基于问题训练局限性的框架。其核心创新是通过混合采样策略耦合先验分布和后验分布。

1. 变分公式化

推理过程被构建为一个潜在变量问题，其中推理轨迹（ $z$ ）在问题（ $x$ ）和答案（ $y$ ）之间起中介作用。目标是优化边缘似然 $p(y|x) = \int p(y|z, x)p(z|x) dz$ 。

先验分布（ $p_\phi(z|x)$ ）：代表仅基于问题的生成，反映了答案未知的真实推理条件。
后验分布（ $q_\psi(z|x, y)$ ）：代表答案引导的生成，基于问题和正确答案两者采样轨迹以确保一致性。

标准方法要么优化先验（效率低下），要么优化后验（导致训练 - 推理不匹配）。CoVRL 引入了一个复合分布 $p'(z|x, y)$ 来耦合这两者：
$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$
该复合分布允许模型从答案引导的信号中学习，同时保持与推理时条件的一致性。

2. 混合采样策略

直接从令牌级复合分布采样在计算上非常复杂。相反，CoVRL 采用离线混合采样策略：

对于每个训练样本，模型以概率 $\alpha$ 随机从先验采样，或以概率 $1-\alpha$ 从后验采样。
重要性加权：为了利用来自混合分布的样本来优化目标复合分布，该方法对策略梯度更新应用重要性加权。
提示工程：先验和后验使用具有不同提示模板的单个 LLM 实现：
- 先验：问题 $\to$ 推理 $\to$ 答案。
- 后验：问题 $\to$ 答案 $\to$ 推理（将答案作为推理生成的上下文提供）。

3. 优化目标

训练目标最大化证据下界（ELBO），包括：

重构项：鼓励生成能导向正确答案的轨迹。这使用组相对策略优化（GRPO）进行优化，奖励源自模型自身的答案预测概率（消除了外部验证器）。
正则化项：KL 散度项 $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ 约束复合分布保持接近先验。这确保了训练期间学到的推理模式（可能使用答案引导）能有效迁移到推理阶段（此时没有答案可用）。
KL 估计：本文利用基于 Bregman 散度的控制变量推导了低方差、非负的 KL 估计量，以处理混合采样与目标复合分布之间的分布不匹配问题。

主要贡献

推理的变分公式化：作者将推理优化构建为变分推断问题，在可处理的框架内理论上统一了先验（仅基于问题）和后验（答案引导）生成模式。
混合采样策略：他们提出了一种机制，平衡了答案引导的学习（用于效率和一致性）与推理时的可迁移性（通过先验），解决了样本效率与轨迹 - 答案对齐之间的权衡。
复合分布优化：通过构建和优化复合分布，CoVRL 实现了高效探索，同时保持了强大的思维 - 答案一致性，避免了仅后验训练的覆盖范围问题。

实验结果

作者在广泛的基准测试上评估了 CoVRL，包括通用推理（MMLU-Pro, GPQA, TheoremQA）和数学推理（AIME'24, MATH-500 等），使用了 Qwen2.5-7B-Base 和 Qwen3 模型。

性能提升：CoVRL 相比基线模型实现了12.4% 的提升，相比最强的无验证器 RL 基线（如 VeriFree, RLPR 和 LaTRO）平均实现了2.3% 的提升。
泛化能力：尽管主要在非数学问题上进行训练，该模型在数学基准测试上仍显示出显著增益，表明学到的推理能力具有跨领域的泛化性。
训练动态：实验表明，后验分布为奖励提升提供了有效指导，而先验分布稳步提升，证实了指导作用能迁移到推理阶段。
消融研究：
- 采样比例（ $\alpha$ ）：平衡的采样比例（ $\alpha=0.5$ ）优于极端设置，证实了耦合两种分布的必要性。
- 鲁棒性：该方法在不同模型尺寸（7B 到 14B）和架构上均表现出一致的改进。
- 推理质量：人类评估和“LLM 作为裁判”的评估表明，中间推理轨迹的事实性、有效性、连贯性和实用性均有所提升。

意义与主张

本文声称 CoVRL 提供了一个原则性框架，用于在不依赖外部验证器的情况下增强语言模型的通用推理能力。通过显式耦合先验和后验分布，该方法克服了仅基于问题采样的低效率以及答案引导训练带来的推理不匹配问题。

作者强调，他们的方法通过消除对稳健的、特定领域验证引擎的依赖，使高级 AI 推理的获取更加民主化。虽然承认潜在的滥用风险（例如生成复杂的虚假信息），但这项工作将其定位为迈向 LLM 更稳健和可泛化推理的一步，特别是在目前形式化验证不可行的领域。结果表明，通过这种耦合变分方法开发基础推理模式，比针对特定领域解决方案进行优化更为有效。