🤖 AI

Base Models Know How to Reason, Thinking Models Learn When

本文揭示了虽然基座模型已经具备了底层的推理机制，但通过强化学习训练的“思考型”模型主要学习的是编排这些既有能力的启发式方法，而通过 SFT 蒸馏训练的模型则获得了全新的推理机制。

原作者： Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Base Models Know How to Reason, Thinking Models Learn When》的解释，采用了通俗易懂的语言和类比。

核心问题

想象你有一个博学多才、阅读量巨大的学生（基座模型/Base Model），他掌握了大量的知识并能进行基础数学运算。然后，你训练这个学生成为一名“思考型模型”（就像那些通过花费额外时间来解决难题的新型 AI 模型）。

这篇论文试图解决的核心谜题是：这个学生在训练过程中究竟学到了什么？

他们是学会了以前并不具备的新思考方式吗？
还是他们仅仅学会了何时去使用已有的聪明思考技能？

侦探工作：“构造性模型差异分析”（Constructive Model Diffing）

为了回答这个问题，研究人员构建了一个特殊的“侦探工具”，叫做构造性模型差异分析。你可以把它想象成拆解一台复杂的机器来观察其运作方式，然后尝试仅使用两个特定的部件来重新组装它：

“如何做”（推理机制/Reasoning Mechanisms）： 这些是实际的技能，比如“做长除法”、“检查自己的作业”或“在出错时回溯”。研究人员通过观察基座模型的“大脑”，并识别出能够强制执行这些操作的特定“开关”（向量）来找到这些技能。
“何时做”（推理启发式/Reasoning Heuristics）： 这是决策部分。它像是一个内在的小经理，会说：“好了，这个问题很难，现在是时候检查一下作业了，”或者“我们卡住了，现在是时候进行回溯了。”

研究人员尝试通过将基座模型（拥有技能的人）与思考型模型的经理（知道何时使用技能的人）相结合的“配方”来重建“思考型模型”。

两种训练类型

论文观察了训练这些思考型模型的两种不同方式：

1. “强化学习”（RL）组

这些模型通过玩游戏进行训练：如果答对则得分，答错则扣分。它们必须自己摸索策略。

结果： 当研究人员使用“基座模型 + 经理”的配方重建这些模型时，效果惊人地好。他们恢复了大约 76% 的性能差距。
类比： 想象一位才华横溢的钢琴家，他已经完美掌握了每一个音符。RL 训练就像是聘请了一位指挥家，教他何时弹得快，何时慢下来，以及何时停顿以营造效果。钢琴家不需要学习新的音符，他只需要学习时机。
结论： RL 教会模型如何编排其已拥有的推理技能。

2. “SFT-蒸馏”（SFT-Distillation）组

这些模型通过模仿一个“老师”模型进行训练。它们被展示了聪明 AI 如何解决问题的例子，并被要求模仿它。

结果： 当研究人员尝试用同样的“基座模型 + 经理”配方重建这些模型时，实验失败了。他们仅恢复了约 11% 的性能差距。
类比： 想象一个学生在学习模仿老师的字迹。但老师使用的是一支学生从未握过的笔。学生学会了模仿字母的形状，但并没有学会如何握笔，也没有掌握写字所需的肌肉记忆。这里的“经理”（时机）虽然在，但“基座模型”（学生的手）实际上并不知道如何完成老师所做的那些具体动作。
结论： SFT-蒸馏迫使模型学习新的推理机制（新的思考方式）——即基座模型原本并不具备的东西。你不能仅仅告诉基座模型何时去做，你必须先教会它如何去做。

“顿悟时刻”

论文发现了一个显著的区别：

RL 模型 就像一位大师级厨师，已经掌握了切菜、煎炒和烘焙的技巧。训练只是教会了他们何时使用哪种技法来烹饪出一道完美的菜肴。
蒸馏模型 就像一位厨师，在观看一位大师使用一种自己从未见过的秘密香料烹饪视频。学生学会了使用这种香料的动作，但他们必须从根本上改变自己的烹饪风格，以包含这种新成分。

为什么这很重要？

论文的结论是，强化学习（RL） 是从模型中获取推理能力的一种非常高效的方式，因为它释放了模型已有的潜能。它教会模型如何成为自身管弦乐队的优秀指挥家。

相比之下，蒸馏（模仿老师）通常试图教会模型全新的技能。如果老师使用的推理风格是基座模型天生不具备的，那么基座模型仅仅通过观察很难学会，这导致了较低的“转向”成功率。

一句话总结

基座模型已经知道“如何”推理；强化学习教会它们“何时”使用这些技能，而蒸馏则试图教会它们基座模型原本并不知晓的“新”技能。

技术摘要：基座模型已知如何推理，思考型模型学习何时推理

问题陈述

大型语言模型（LLMs）在被训练在回答前进行“思考”（例如通过思维链，Chain-of-Thought）后，展现出了显著提升的推理能力。然而，一个基本问题仍然存在：这些“思考型模型”究竟学到了哪些其基座模型所缺乏的东西？ 先前的假设认为，它们可能获得了全新的能力、学会了更有效地构建推理结构、重新利用了现有的表示，或者仅仅是从增加的推理时计算中获益。本文旨在通过实证研究，确定基座模型与“思考型”微调版本之间知识差距的本质，具体对比了通过强化学习（RL）训练的模型与通过监督微调（SFT）蒸馏训练的模型。

方法论

作者引入了一种两部分的方法论，用于分析和重构基座模型与思考型模型之间的差异：

1. 无监督发现推理分类法

为了避免主观的人工检查，作者采用了在从推理轨迹中提取的句子级激活上训练的稀疏自编码器（Sparse Autoencoders, SAEs）。

架构： 他们使用 Top-K SAEs，并刻意采用较小的字典大小（5–50 个类别）和低稀疏度（ $k=3$ ），以迫使模型学习基本的推理变化轴，而非偶然的语言细节。
训练： SAEs 在基于 MMLU-Pro 提示词生成的思考型模型推理展开过程中的句子级平均激活上进行训练。
解释： 一个基于 LLM 的可解释性流水线根据激活度最高的示例句子，为每个聚类（推理机制）生成人类可读的标题和描述。
评估： 分类法通过一致性（分类的 F1 分数）、完整性（分配的置信度）和独立性（类别间的语义正交性）进行评分。

2. 构造性模型差异分析（Constructive Model Diffing）

其核心贡献是一个显式重构基座模型与思考型模型性能差距的框架，该框架包含两个可解释的组件：

推理机制（“是什么”）： 在基座模型中优化的类别向量（转向向量），用于诱导由 SAE 分类法识别出的特定推理行为。这些代表了认知操作（例如，回溯、算术运算）。
推理启发式（“何时”）： 从思考型模型中提取的分类器，用于确定何时激活特定的机制。该分类器源自 SAE 激活以及基座模型与思考型模型在 Token 预测上的分歧点。

混合模型： 作者构建了一个“混合”模型，该模型结合了基座模型的生成能力、思考型模型的启发式策略以及基座模型优化的类别向量。如果该混合模型能够恢复思考型模型的性能，则意味着思考型模型主要学习了编排预先存在的基座能力的启发式策略。如果它未能恢复性能，则表明思考型模型学习了基座模型中不存在的新机制。

核心贡献

无监督推理分类法： 一种无需人工标注即可发现可解释的、人类可理解的推理机制（如“回溯”、“算术计算”、“元认知自我提示”）的方法，并在九种不同的模型配置下得到了验证。
构造性模型差异分析框架： 一种创新的方法，将基座到微调的差异分解为“机制”（向量）和“启发式”（定时分类器），从而实现对微调模型行为的因果重构。
训练范式的实证区分： 该框架的应用揭示了 RL 训练与 SFT 蒸馏模型在学习本质上的根本分歧。

结果

研究评估了九组基座/思考型模型对（四组 RL 训练，四组 SFT 蒸馏，一组混合模型），涵盖了 GSM8K、MATH500 以及一个留出的 Hendrycks-MATH 数据集。

RL 训练模型 (Open-Reasoner-Zero)： 由 RL 训练对构建的混合模型平均恢复了约 76% 的基座到思考型的性能差距。在某些情况下（例如 ORZ-0.5B），恢复程度甚至超过了差距的 100%。
SFT 蒸馏模型 (DeepSeek-R1-Distill)： 由混合模型恢复的差距显著较低，平均仅为 11%。对于较小的模型，恢复几乎为零；对于较大的模型（14B/32B），恢复率提升至约 15–30%，但仍远低于 RL 的表现。
混合模型 (QwQ-32B)： 先进行 SFT 后进行 RL 训练的模型恢复了约 20% 的差距，其行为更接近于纯 SFT 蒸馏模型。
类别向量收敛性： 在 RL 对上训练的类别向量比在 SFT 对上训练的类别向量具有显著更低的交叉熵损失，这表明 RL 模型利用的是基座模型激活空间中已经存在（或易于获取）的推理行为。
转向稀疏性： 成功的 RL 混合模型仅需对 5–12% 的 tokens 进行转向，而 SFT 混合模型通常需要更高的干预率，但即便如此也未能恢复性能。

意义与主张

论文声称，性能恢复的差异源于训练范式的性质：

RL 教会启发式策略： 强化学习主要教会模型何时部署基座模型已经具备的推理机制。基座模型“已知如何推理”，而 RL 优化了这些预存能力的编排。这就是为什么构造性差异分析（基座机制 + 思考型启发式）能够成功重构 RL 模型行为的原因。
SFT 蒸馏新机制： 监督微调（蒸馏）往往迫使学生模型采用基座模型自然具备或无法轻易获取的推理行为或机制。因此，仅仅使用思考型模型的启发式策略来转向基座模型，不足以复制 SFT 模型的性能，因为底层的“机制”（向量）在本质上是不同或缺失的。
规模依赖性： 论文指出，较大的基座模型（如 32B）比较小的模型能恢复更多的 SFT 差距，这表明较大的模型天生包含更广泛的潜在推理机制，SFT 可以激活这些机制，而较小的模型则完全缺乏这些机制。

局限性： 作者承认，由于训练数据（MMLU-Pro）的原因，目前的分类法目前偏向于数学推理；此外，SFT 模型较低的恢复率可能反映了其类别向量优化能力的局限性，而非基座模型本身缺乏机制。

结论： 本文为训练范式提供了一个新的视角，表明高效的推理模型开发可能受益于基于 RL 的方法——即编排潜在基座能力的实现方式，而非试图安装全新推理模式的 SFT 方法。