Generalization of RLVR Using Causal Reasoning as a Testbed

本文通过因果推理实验发现，强化学习验证奖励（RLVR）相较于监督微调（SFT）能显著提升大语言模型在概率查询中的泛化能力，但其效果取决于模型规模与训练查询层级的匹配，且仅在模型具备足够初始推理能力时，RLVR 才能通过优化边缘化策略和减少中间计算错误来改善复杂推理任务的表现。

要点

这篇论文探讨了一个非常前沿的话题：如何教人工智能（大语言模型）像人类一样进行“因果推理”，以及一种名为RLVR（带可验证奖励的强化学习）的训练方法是否真的有效。

为了让你轻松理解，我们可以把大语言模型想象成一个正在学习破案的新手侦探，而这篇论文就是关于如何训练这位侦探，让他不仅能背下案情，还能真正学会推理。

1. 核心任务：侦探的“因果推理”考试

想象一下，侦探面对三个不同难度的案件类型（论文中称为“因果阶梯”）：

• 关联推理（Association）： 就像看到“地上湿了”，推断“可能下过雨”。这是基于观察到的现象找联系。
  • 比喻： 看到猫在窗台上，推断猫可能刚跳上去。
• 干预推理（Intervention）： 就像你主动“把猫抱到窗台上”，然后问“猫会开心吗？”。这是人为改变一个条件，看结果如何。
  • 比喻： 你强行把猫抱到窗台，猫的反应和它自己跳上去一样吗？
• 反事实推理（Counterfactual）： 这是最难的。就像问“如果昨天我没把猫抱走，它现在会在窗台上吗？”。这需要构建一个“平行宇宙”来思考。
  • 比喻： 侦探在脑海里构建一个“如果当时没发生那件事”的平行世界，并计算那个世界里会发生什么。

这篇论文的任务就是给这些侦探（AI 模型）出题，看它们能不能算出正确的概率答案。

2. 两种训练方法：死记硬背 vs. 实战演练

论文比较了两种训练侦探的方法：

• SFT（监督微调）： 就像死记硬背。老师直接给侦探看“题目 + 正确答案”。侦探的任务是记住这道题的答案，下次遇到类似的直接背出来。
  • 缺点： 遇到稍微变通一点的题目，侦探就懵了，因为它只背了答案，没懂逻辑。
• RLVR（带可验证奖励的强化学习）： 就像实战演练 + 即时反馈。侦探先自己写推理过程（思考链），然后系统会立刻告诉它：“你算错了，正确答案是 X，你刚才哪一步逻辑崩了？”
  • 优点： 侦探学会了怎么思考，而不仅仅是答案。

3. 主要发现：并不是越练越好，要看“底子”

论文得出了几个非常有趣的结论，我们可以用**“练武”**来打比方：

发现一：RLVR 是“神助攻”，但前提是徒弟得有“内功”

• 现象： 对于大模型（比如 70 亿参数以上，相当于有一定天赋的徒弟），RLVR 训练出来的侦探，不仅能在原题上考高分，遇到没见过的难题（泛化能力）也能举一反三，比死记硬背的强很多。
• 现象： 对于小模型（30 亿参数，相当于刚入门的徒弟），RLVR 反而不管用了。
  • 原因： 小模型本身“智商”不够，连基本的逻辑推理都搞不定。这时候给它们 RLVR 训练，就像让一个连马步都站不稳的人去练高深剑法，它学不会，最后干脆放弃思考，直接瞎蒙答案。
  • 比喻： 如果徒弟连加减法都算不对，你教他微积分，他只会更困惑，最后直接乱写。

发现二：RLVR 治好了“粗心”和“逻辑跳跃”

• 经过 RLVR 训练的大模型，在解题时变得更严谨了。
• 以前： 它们可能会跳过中间步骤，或者错误地假设两个不相关的事情有关联（比如认为“猫在窗台”和“下雨”有直接因果关系）。
• 现在： 它们学会了**“分步走”**（Incremental Marginalization）。就像解数学题一样，一步一步地消去无关变量，不再跳步，也不乱假设。
• 比喻： 以前侦探是“拍脑袋”猜凶手，现在学会了“按线索一步步推导”，虽然慢点，但更准。

发现三：越难的题，RLVR 优势越大

• 对于简单的题目，死记硬背（SFT）也能考个及格分。
• 但对于复杂的、变量很多的难题，RLVR 训练的侦探优势巨大。因为它学会了处理复杂逻辑的“套路”，而不仅仅是背答案。

4. 总结与启示

这篇论文告诉我们一个关于 AI 训练的重要道理：

“强化学习（RLVR）不是万能药，它更像是一个‘放大器’。”

• 如果模型本身已经有了一定的推理能力（比如大参数模型），RLVR 就能把它从“背题机器”变成“推理高手”，让它学会举一反三，解决从未见过的复杂问题。
• 如果模型基础太差（小参数模型），RLVR 也救不了它，因为它连基本的逻辑链条都构建不起来。

一句话总结：
想要让 AI 真正学会像侦探一样思考，不能只靠喂答案（SFT），也不能盲目地用强化学习（RLVR）。最好的策略是：先确保模型有足够的“智商”底子，然后再用 RLVR 这种“实战演练”来打磨它的逻辑，让它从“死记硬背”进化为“融会贯通”。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为《使用因果推理作为测试床的 RLVR 泛化性研究》（Generalization of RLVR Using Causal Reasoning as a Testbed）。

该论文通过构建一个基于因果图模型的概率推理任务，深入研究了带可验证奖励的强化学习（RLVR）在大型语言模型（LLM）后训练阶段的泛化能力，并将其与监督微调（SFT）进行了对比。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

尽管 RLVR 在数学解题、定理证明和代码生成等领域取得了显著进展，但其在复杂推理任务中何时能产生鲁棒的泛化能力（Generalization）仍不清楚。

• 核心挑战：现有的研究多关注自然语言场景，缺乏对结构化推理能力的严格控制。
• 研究目标：探究 RLVR 与 SFT 在不同推理难度（查询层级）和不同模型规模下的泛化表现，特别是 RLVR 是否仅在特定条件下（如模型具备初始推理能力时）才有效。

2. 方法论 (Methodology)

2.1 任务定义：因果推理 (Causal Inference)

作者构建了一个名为 RLCausal 的数据集，基于结构因果模型（SCM），包含三个层级的查询（因果阶梯）：

1. 关联（Association）：观察性查询，如 $P(v_i | v_j = v_j)$。
2. 干预（Intervention）：外部干预查询，如 $P(v_i | do(v_j = c))$。
3. 反事实（Counterfactual）：假设性查询，如 $P(v_i(v_j=c) | v_k = v_k)$。

难度控制：

• 查询层级：上述三个层级。
• 结构复杂度：通过查询相关的子图大小（$|V_{rel}|$）来衡量，即需要参与边际化（Marginalization）计算的变量数量。
• 数据生成：随机生成包含 10 个二元变量的有向无环图（DAG），并指定条件概率表（CPT）。

2.2 实验设置

• 基座模型：Qwen2.5-Instruct 系列（3B, 7B, 32B）。
• 训练方法：
  • RLVR：使用 GRPO 和 DAPO 算法，奖励函数基于答案的格式正确性和与真实分布的总变差距离（Total Variation Distance）。模型输出包含推理链（Thought Process）和最终答案。
  • SFT：直接最大化参考答案（概率分布）的条件似然，不强制输出推理链。
• 变量控制：改变模型规模（3B-32B）和训练时接触的查询层级（同层级训练/跨层级测试）。

3. 关键贡献与发现 (Key Contributions & Results)

3.1 泛化能力：RLVR 优于 SFT，但有条件

• 同层级泛化（Within-level）：
  • 对于 7B 及以上 的模型，在关联和干预查询上，RLVR 显著优于 SFT。
  • 对于 3B 模型，RLVR 在所有层级上均表现不佳，甚至不如 SFT 或基线。
  • 对于反事实查询，无论模型大小，RLVR 均未能展现出显著优势（甚至表现较差）。
• 跨层级泛化（Across-level）：
  • 当训练和测试的查询层级不同时，7B 及以上的 RLVR 模型表现出比 SFT 更强的跨层级泛化能力。
  • 随着模型规模增大，SFT 和 RLVR 的跨层级性能差距缩小，但 RLVR 在复杂查询上仍保持精度优势。

3.2 核心发现：初始推理能力是 RLVR 生效的前提

• “冷启动”问题：RLVR 的有效性高度依赖于模型在微调前的初始推理能力。
  • 3B 模型：在微调前几乎无法执行正确的边际化推理。微调后，它们倾向于放弃推理，直接猜测答案（退化为直接预测），导致性能下降。
  • 7B/32B 模型：在微调前已具备一定的推理能力。RLVR 能够进一步强化这种能力。
• 规模效应：随着模型规模增加，推理先验（Reasoning Prior）显著提升。32B 模型的零样本（Zero-shot）推理能力甚至超过了经过 SFT 微调但直接预测答案的模型。

3.3 机制分析：RLVR 如何提升性能？

通过 LLM 裁判（o4-mini）对推理链的分析，发现 RLVR 在具备初始能力的模型上产生了以下具体改进：

1. 优化边际化策略：RLVR 促使模型从“暴力求和”（Brute Force，一次性列出所有项）转向更稳健的增量边际化（Incremental Marginalization，逐步消去变量）。这种策略在复杂查询中减少了错误累积。
2. 减少抽象推理错误：显著降低了概率推导错误（如错误地假设独立性、混淆干预与观察、错误应用贝叶斯规则）。
3. 减少计算错误：虽然算术错误也有减少，但主要提升来自逻辑推导的准确性。
4. 反事实推理的瓶颈：即使在 RLVR 下，模型仍难以构建“双子网络”（Twin Network）进行反事实推理，表明该任务对当前 LLM 仍极具挑战性。

3.4 对比实验：推理链 vs. 在线数据

• 作者对比了“使用拒绝采样生成的正确推理链进行 SFT"与"RLVR"。
• 结果显示，虽然 SFT 使用推理链能提升性能，但RLVR 的在线（On-policy）。这表明 RLVR 不仅教会了模型“如何推理”，还通过在线探索优化了策略选择。

4. 结论与意义 (Significance)

1. RLVR 的适用边界：RLVR 并非万能。它仅在模型具备足够的初始推理能力（如 7B+ 模型在关联/干预任务上）时，才能显著提升泛化能力和推理精度。对于能力不足的模型（如 3B），RLVR 可能导致策略退化。
2. 推理策略的习得：RLVR 能够引导模型学习更优的解题策略（如增量边际化），而不仅仅是记忆答案。这解释了其在复杂任务上优于 SFT 的原因。
3. 对因果推理领域的贡献：论文揭示了 LLM 在处理形式化因果推理（特别是反事实推理）时的局限性，指出当前的模型在构建双子网络和进行多步反事实推断上仍存在巨大困难。
4. 未来方向：研究强调了在 RLVR 之前进行高质量的 SFT 预热（Warm-start）的重要性，并建议未来的工作应关注如何提升模型在极难任务（如反事实）上的初始推理能力，以解锁 RLVR 的潜力。

总结：这篇论文通过严谨的因果推理测试床，证明了 RLVR 是提升 LLM 复杂推理泛化能力的有效工具，但其成功依赖于模型规模的扩大和初始推理能力的积累。它揭示了 RLVR 不仅仅是“刷分”，而是能够实质性地修正模型的推理策略和减少逻辑错误。