RLP: Reinforcement as a Pretraining Objective

本文提出了 RLP（强化预训练）目标，通过将思维链视为探索性动作并利用信息增益作为无验证器的稠密奖励信号，在预训练阶段引入强化学习精神，使模型在普通文本上即可习得独立推理能力，从而显著提升了其在数学与科学任务上的表现。

要点

这篇论文提出了一种名为 RLP (Reinforcement Learning Pre-training，强化学习预训练) 的新方法。为了让你轻松理解，我们可以把训练大语言模型（LLM）想象成教一个超级聪明的学生读书和解题。

1. 现状：传统的“填鸭式”教学

目前，大多数大模型（如 ChatGPT、Qwen 等）的训练方式是这样的：

• 方法：老师（模型）看着一段文字，然后预测下一个字是什么。比如看到“今天天气很”，模型就猜下一个字是“好”。
• 问题：这就像学生只会机械地背诵课文，虽然能接上下一句，但并不真正理解为什么要这么说，也不会主动去思考“为什么”。
• 补救：如果学生想学会复杂的逻辑推理（比如做数学题），通常要在“毕业”后（预训练结束后），再请专门的老师进行“强化训练”（后训练），教它怎么一步步思考。但这就像先让学生死记硬背，最后才教它怎么思考，效率不高。

2. 核心创新：RLP 的“思考习惯”培养法

这篇论文提出的 RLP，就像是在学生刚开始读书（预训练）的时候，就强制要求它养成“先思考，再回答”的好习惯。

核心比喻： “草稿纸”与“信息增益”

想象一下，当学生读到“今天天气很____"时：

• 旧方法：直接猜下一个字。
• RLP 方法：
  1. 先写“草稿”：模型被要求在正式回答前，先在脑子里（或草稿纸上）写一段思考过程（Chain-of-Thought）。比如：“根据上下文，这里在描述天气，通常接‘好’、‘热’或‘冷’。”
  2. 再看效果：模型用这段“思考”作为辅助，去预测下一个字。
  3. 打分机制（关键！）：
     • 系统会对比两个版本：一个是没思考直接猜的，一个是带着思考去猜的。
     • 如果带着思考让猜对下一个字的概率变大了，系统就给这个“思考过程”发一个高分奖励。
     • 如果思考了也没用，甚至猜错了，就没有奖励。

这就好比： 老师不再只看学生最后的答案对不对，而是看学生写的解题思路是否真的帮他更准确地猜出了下一个字。如果思路有用，就奖励；没用，就不奖励。

3. 为什么这个方法很厉害？（三大优势）

A. 不需要“标准答案”（Verifier-Free）

• 传统强化学习：通常需要有人工或程序来检查答案对不对（比如数学题必须有标准答案）。这在海量互联网文本中很难做到，因为大部分文本没有标准答案。
• RLP 的魔法：它不需要外部检查。它只问一个问题："你的思考让预测下一个字变得更准了吗？"只要变准了，就是对的。这让模型可以在任何文本（新闻、小说、代码）上学习思考，而不仅仅局限于数学题。

B. 像“肌肉记忆”一样深入（Pre-training）

• 以前的做法是：先死记硬背（预训练），最后再练思考（后训练）。
• RLP 的做法是：在一开始读书的时候，就把“思考”变成一种本能。就像教小孩走路，不是等他长大了再教他怎么平衡，而是从学步车开始就让他练习平衡。这样训练出来的模型，思考能力是刻在骨子里的，而不是后来贴上去的标签。

C. 效率极高（Data Efficiency）

• 论文发现，用 RLP 训练，只需要很少的数据量，就能达到甚至超过那些用海量数据“死磕”出来的模型效果。
• 比喻：普通学生读 100 本书才能学会解题，RLP 培养的学生读 3 本书就能学会，而且学得更透彻。

4. 实验结果：真的有用吗？

论文在两个不同大小的模型上做了测试：

• 小模型 (1.7B)：在数学和科学推理任务上，成绩提升了约 19%。
• 大模型 (12B)：在科学推理任务上，成绩提升了 23%，整体平均分从 42% 飙升到 61%。
• 结论：无论模型大小，这种“先思考再预测”的训练方式，都能让模型变得更聪明，尤其是在需要逻辑推理的领域（如数学、科学）。

5. 总结

RLP 就是把“思考”变成了一种奖励机制，并在模型学习的最初阶段就植入进去。

它不再把模型当作一个只会接龙的鹦鹉，而是把它培养成一个懂得在开口前先过脑子的智者。这种方法不需要昂贵的标准答案，不需要复杂的后期调教，就能让大模型在海量数据中自动学会“如何思考”，从而变得更聪明、更可靠。

一句话概括：RLP 让 AI 在学说话之前，先学会了“动脑筋”，而且是用一种最自然、最高效的方式。

技术摘要

这是一篇关于大语言模型（LLM）预训练范式的创新论文，提出了一种名为 RLP (Reinforcement Learning Pre-training) 的新方法。该论文发表于 ICLR 2026。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现有范式的局限性：目前大模型的主流训练范式是“预训练（Next-Token Prediction, NTP）+ 后训练（SFT + RLHF/RLAIF）”。
  • 预训练阶段：仅使用最大似然估计（Next-Token Prediction），缺乏显式的推理机制，模型难以在早期学习世界知识与长程推理。
  • 后训练阶段：强化学习（RL）通常仅在最后阶段引入，且依赖监督微调（SFT）作为前置步骤。
• 核心问题：这种分阶段的方法是否是最优的？人类的理解过程并非线性的逐词预测，而是输入与先验知识的并行整合。当前的预训练缺乏这种机制，限制了模型在预训练阶段形成独立推理能力。
• 现有尝试的不足：之前的强化预训练方法（如 RPT）通常依赖稀疏的二值奖励、需要辅助模型过滤“简单”token，或者依赖蒸馏后的强基座模型，难以在基础模型（Base Model）上直接有效应用。

2. 方法论 (Methodology)

论文提出了 RLP，一种基于信息增益的强化预训练目标，将“思维链（Chain-of-Thought, CoT）”视为一种在预测下一个 token 之前采取的探索性动作。

核心机制

1. 动作定义：在预测下一个观测 token $x_t$ 之前，模型首先采样一个内部的思维链 $c_t$（CoT）。
2. 奖励信号（无验证器、稠密奖励）：
   • 基线（No-Think Baseline）：使用一个指数移动平均（EMA）教师模型 $\bar{p}_\phi$，在没有思维链的情况下预测 $x_t$ 的对数似然。
   • 推理模型（Reasoned Predictor）：使用当前模型 $\pi_\theta$，在包含思维链 $c_t$ 的上下文中预测 $x_t$ 的对数似然。
   • 奖励计算：$r(c_t) = \log p_\theta(x_t | x_{<t}, c_t) - \log \bar{p}_\phi(x_t | x_{<t})$。
   • 意义：奖励衡量了思维链带来的信息增益。如果思维链提高了预测下一个真实 token 的概率，则获得正奖励。这是一个**无验证器（Verifier-free）且稠密（Dense）**的信号，适用于普通文本流。
3. 优化目标：
   • 优化策略 $\pi_\theta$ 以最大化期望奖励 $J(\theta) = E[r(c_t)]$。
   • 理论证明：最大化该期望奖励等价于最小化推理模型与数据分布之间的交叉熵（Cross-Entropy），即奖励直接对应于预测能力的提升。
4. 训练算法细节：
   • 组相对优势（Group-Relative Advantages）：为每个上下文采样 $G$ 个思维链，计算相对优势以减少方差。
   • 截断代理损失（Clipped Surrogate）：类似 PPO，对思维 token 的更新进行截断，防止策略剧烈变化。
   • EMA 基线：教师模型参数 $\phi$ 通过 $\phi \leftarrow \tau \phi + (1-\tau)\theta$ 缓慢更新，防止奖励黑客（Reward Hacking）并稳定训练。
   • 梯度流向：梯度仅作用于生成的思维 token，奖励值本身作为常数（Stop-gradient）。

3. 关键贡献 (Key Contributions)

1. RLP 框架：提出了首个将强化学习作为预训练目标的框架，利用信息增益作为无验证器的稠密奖励，在预训练阶段即诱导模型进行“思考”。
2. 算法稳定性与理论保证：
   • 开发了结合组相对优势和 EMA 基线的稳定训练算法。
   • 提供了理论证明，表明期望奖励与交叉熵降低直接相关，并给出了可计算的下界。
3. 广泛的实证验证：
   • 在 Qwen3-1.7B 和 Nemo-12B (Mamba-Transformer 混合架构) 上进行了验证。
   • 证明了该方法在数学、科学推理及通用基准上的显著提升。
   • 展示了其在不同数据分布（SFT 数据、通用网页、学术论文）上的泛化能力。

4. 实验结果 (Results)

实验在 Qwen3-1.7B-Base 和 NEMOTRON-NANO-12B-V2 模型上进行，对比了基线（Mbase）、连续预训练（MCPT）和 RLP 模型（MRLP）。

• Qwen3-1.7B-Base 表现：

  • 预训练阶段：RLP 模型（MRLP）在 8 个数学和科学基准上的平均得分比基线（Mbase）提升了 19%，比连续预训练（MCPT）提升了 17%。
  • 后训练后：经过相同的 SFT + RLVR 后训练，RLP 模型的优势不仅保留，反而进一步放大。MRLP + Post 比 Mbase + Post 高出 8%，比 MCPT + Post 高出 7%。
  • 特定任务：在 AIME25 和 MMLU-Pro 等重推理任务上提升最为显著。

• NEMOTRON-NANO-12B-V2 (混合架构) 表现：

  • 在仅使用 0.125% 的数据量（相对于基线训练量）的情况下，RLP 将整体平均分从 42.81% 提升至 61.32%（相对提升 43%）。
  • 科学推理平均分提升了 23%。
  • 证明了该方法在不同架构（Transformer vs Mamba-Transformer）和不同规模模型上的可扩展性。

• 对比实验：

  • vs. RPT (Reinforcement Pre-training)：在 Token 匹配和 FLOP 匹配的设置下，RLP 均优于 RPT。RLP 在 FLOP 匹配下比 RPT 高出约 20% 的相对提升。
  • vs. 连续预训练 (CPT)：即使 CPT 使用了 35 倍于 RLP 的数据量（FLOP 匹配），RLP 依然保持显著优势，证明其收益来自方法论而非算力堆砌。
  • 数据泛化性：RLP 在通用网页（Web-Crawl）、学术论文（ACAD）等非结构化数据上同样有效，不仅限于精心设计的数学数据集。

5. 意义与影响 (Significance)

• 范式转变：打破了“预训练仅做 NTP，推理能力靠后训练”的传统观念，证明了在预训练阶段引入强化学习可以更早、更有效地激发模型的推理能力。
• 数据效率：RLP 展示了极高的数据效率，能够在极少的数据量下（相比基线）实现巨大的性能飞跃，降低了训练高性能推理模型的成本。
• 通用性与可扩展性：该方法不依赖外部验证器，适用于任何文本数据，且在不同模型架构（纯 Transformer、混合架构）和不同规模（1.7B 到 14B+）上均表现优异。
• 理论价值：将强化学习重新定义为预训练目标，建立了“思考”与“预测准确性”之间的直接数学联系，为理解大模型推理能力的涌现提供了新的视角。

总结：RLP 通过引入基于信息增益的无验证器稠密奖励，成功地将“思考”这一行为嵌入到预训练的核心目标中。实验表明，这种方法不仅能显著提升模型在数学和科学推理任务上的表现，还能在后续的后训练阶段产生协同效应，为构建更强大、更具推理能力的下一代大语言模型提供了一条高效且通用的路径。