💬 NLP

SkillFactory: Self-Distillation For Learning Cognitive Behaviors

SkillFactory 提出了一种无需依赖更强模型蒸馏的自蒸馏方法，通过利用模型自身生成的“银标”轨迹进行监督微调，使模型在强化学习前习得认知技能，从而显著提升其在强化学习后解决复杂任务的能力及跨领域鲁棒性。

原作者： Zayne Sprague, Jack Lu, Manya Wadhwa, Sedrick Keh, Mengye Ren, Greg Durrett

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Zayne Sprague, Jack Lu, Manya Wadhwa, Sedrick Keh, Mengye Ren, Greg Durrett

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SkillFactory（技能工厂） 的新方法，旨在教会人工智能（大语言模型）像人类一样“动脑筋”——比如自我检查、发现错误并重新尝试，而不是死板地一次就给出答案。

为了让你轻松理解，我们可以把训练 AI 的过程想象成培养一名“数学竞赛选手”。

1. 传统方法的困境：要么“抱大腿”，要么“瞎蒙”

在 SkillFactory 出现之前，想让 AI 学会这种复杂的“思考技能”，通常只有两条路，但都有大毛病：

方法 A：找“学霸”带（蒸馏法）
- 比喻：你想教一个小学生解题，直接让他去抄“清华学霸”的解题笔记。
- 问题：这得先有一个超级厉害的“学霸”模型。如果没这个学霸，或者学霸太贵买不起，这招就行不通。而且，小学生抄了笔记，可能只是死记硬背，换个题目就不会了。
方法 B：直接扔进“题海”里练（强化学习）
- 比喻：直接把小学生扔进考场，告诉他：“做对了给糖，做错了挨打”，让他自己摸索。
- 问题：如果学生基础太差（模型本身不会思考），他可能根本不知道“检查”和“重试”是什么，只会瞎猜。而且，这种方法容易让学生“偏科”，只会做训练过的题，换个题型就傻了。

2. SkillFactory 的妙计：自己“演戏”给自己看

SkillFactory 的核心思想是：不需要找学霸，也不需要瞎蒙，而是让模型自己“演”出思考的过程，然后把它变成教材。

这就好比那个小学生虽然还不会解题，但他偶尔也会犯一些错，或者偶尔灵光一闪做对了一道题。SkillFactory 的做法分三步走：

第一步：疯狂“试错”与“复盘”（数据收集）

让模型对同一个问题，尝试回答 64 次（就像一个人对着镜子反复试不同的解题思路）。

有些尝试是错的，有些是对的。
然后，再让模型扮演“考官”，去检查刚才那 64 次尝试。
- 如果刚才做错了，考官就说：“哎呀，这里算错了，因为……"
- 如果刚才做对了，考官就说：“嗯，这个思路是对的，但我再确认一遍。”

第二步：剪辑“教学视频”（数据重组）

这是最精彩的一步。研究人员把模型刚才那些零散的、混乱的尝试和检查，像剪辑电影一样，重新编排成一条完美的“思考剧本”。

剧本长这样：
1. 尝试：学生说：“我觉得答案是 35。”
2. 反思（自我检查）：学生突然说：“等等，我算了一下，35 不对，因为……"
3. 重试：学生说：“那我换个方法，试试 42。”
4. 验证：学生说：“这次算出来是 42，再检查一遍……没错，是 42！”
5. 最终答案：学生自信地给出答案。

这个剧本里，包含了**“尝试 -> 发现错误 -> 自我纠正 -> 再次尝试 -> 最终成功”**的完整逻辑。

第三步：先学“套路”，再上“实战”

SFT（监督微调）：先把这个“完美剧本”教给模型。这时候模型可能还不太会灵活运用，但它已经记住了这种“思考的套路”（比如知道什么时候该停下来检查，什么时候该重试）。这就好比学生先背熟了“解题心法”。
RL（强化学习）：最后再让模型去真正的考试中做题。因为已经背熟了“心法”，模型就能在考试中灵活地运用这些技能，遇到难题也能通过“自我检查”和“重试”来找到正确答案。

3. 为什么这个方法很厉害？

论文通过实验证明了三个惊人的效果：

举一反三能力强（泛化性）：
- 比喻：用传统方法训练的学生，可能只会做“加减法”。但用 SkillFactory 训练的学生，虽然刚开始做题分数不高，但一旦上了考场（强化学习），它就能把“加减法”里的思考习惯用到“乘除法”甚至更难的题目上。
- 结果：在没见过的难题上，SkillFactory 训练出来的模型表现最好。
不容易“翻车”（鲁棒性）：
- 比喻：有些学生为了拿高分，死记硬背了特定题目的答案。一旦题目稍微变一下（比如数字变了），他就彻底懵了，甚至把以前会的也忘了。
- 结果：SkillFactory 训练出来的模型，即使遇到完全陌生的领域，也能保持稳定的发挥，不会“忘本”。
不需要“学霸”老师：
- 它完全利用模型自己生成的数据，不需要依赖更强大的外部模型。这意味着任何公司，哪怕只有一个小模型，也能通过这种方法把它训练成“思考者”。

总结

SkillFactory 就像是一个聪明的“教练”。它不直接告诉学生答案，也不指望学生天生就是天才。它通过让学生自己犯错、自己检查、自己修正，把这些过程剪辑成“教科书”，让学生先学会**“如何思考”**的套路，然后再去实战。

最终，这个模型不仅学会了做题，更学会了**“在遇到困难时如何冷静下来，检查错误，换个思路，直到解决问题”**。这就是论文所说的“认知技能”（Cognitive Behaviors）。

1. 研究背景与问题 (Problem)

核心问题：
大型语言模型（LLM）在推理任务中展现出多种“认知技能”（Cognitive Skills），如验证答案（Verification）、回溯/重试（Backtracking/Retrying）以及尝试替代策略。虽然强化学习（RL）可以增强这些技能，但前提是基座模型（Base Model）本身已经具备这些能力的雏形。如果基座模型缺乏这些技能，直接进行 RL 训练往往难以奏效，或者需要依赖更强的教师模型进行蒸馏（Distillation），这增加了成本和门槛。

现有方法的局限性：

纯 RL 方法：依赖基座模型中潜藏的推理行为，若基座模型缺乏相关先验，跨任务泛化能力差。
强模型蒸馏：需要访问更强大的模型（如 R1、Claude 等）生成高质量推理轨迹，成本高且难以泛化到蒸馏数据之外的领域。
数据构建复杂：现有的数据策展方法通常需要人工设计或复杂的搜索算法（如 MCTS）。

研究目标：
如何在不依赖更强教师模型的情况下，让基座模型在监督微调（SFT）阶段学会这些认知技能，从而为后续的 RL 训练打下良好基础，实现更鲁棒的推理能力？

2. 方法论：SkillFactory (Methodology)

SkillFactory 提出了一种**自蒸馏（Self-Distillation）**框架，通过重新排列模型自身的输出样本，构建出展示特定认知技能（重试和验证）的“银色（Silver）”训练轨迹。

核心流程（三步走）：

数据采样 (Solution Generation)：
- 对基座模型 $M$ 针对每个问题 $q_i$ 进行多次采样（例如 $N=64$ 次），使用不同的提示词（Prompts）以鼓励多样性。
- 自动解析每个采样的最终答案，判断其是否正确（Correct/Incorrect）。
反思生成 (Reflection Generation)：
- 针对每一个采样得到的解 $y$ ，再次提示模型进行“反思”（Reflection）。
- 模型需要评估该解是否正确，并生成理由。
- 筛选出那些判断准确的反思（即：模型正确识别了错误答案，或正确确认了正确答案）。
轨迹构建 (Trace Construction)：
- 将“解 - 反思”对重组为结构化的训练数据。
- 关键策略：构建包含“尝试 -> 反思 -> 发现错误 -> 重试 -> 最终成功”的序列。
- 格式设计：使用特殊的 XML 标签（如 <sample>, <reflect>, <verdict>, <answer>）显式标记认知行为。
- 混合策略：在一个训练轨迹中，混合包含错误尝试（带反思）和正确尝试，但确保轨迹以正确答案结束。
- 添加过渡短语（Glue Phrases），如“让我再试一次”、“等等，我需要验证一下”，使逻辑流更自然。

两阶段训练：

SFT 阶段：使用上述构建的“银色”轨迹对基座模型进行监督微调。此阶段不追求任务准确率的直接提升，而是旨在让模型习得认知行为的结构（即学会何时重试、如何验证）。
RL 阶段：在 SFT 初始化的基础上，使用强化学习（如 GRPO 算法）进行微调，利用稀疏奖励（正确答案得 1 分，否则 0 分）来优化技能的使用效率和准确性。

3. 关键贡献 (Key Contributions)

无需强教师模型的自蒸馏：证明了模型可以从自身的重组输出中学习复杂的推理技能，无需依赖 R1 等更强模型的蒸馏数据。
结构优于内容：发现 SFT 阶段的关键在于让模型掌握技能使用的结构（Structure），而非单纯的任务知识。这种结构化的先验知识（Inductive Bias）能显著提升 RL 阶段的泛化能力。
卓越的泛化与鲁棒性：
- 由易到难泛化：在 Countdown 任务上，从 3 个数字训练，能更好地泛化到 4-6 个数字的更难变体。
- 域外泛化 (OOD)：在未见过的任务（如缩写生成、长乘法、常识问答）上，SkillFactory 初始化的模型比纯 RL 或蒸馏模型表现出更强的鲁棒性，减少了灾难性遗忘。
支持推理扩展 (Inference Scaling)：SkillFactory 模型在推理时能更有效地利用“思考时间”（通过 Budget Forcing 技术），在增加 Token 预算时性能提升显著。

4. 实验结果 (Results)

实验在多个基座模型（Qwen2.5-1.5B/7B, Olmo-3-7B）和多个数据集（Countdown, OpenThoughts, GSM8K, GPQA 等）上进行。

Countdown 任务（由易到难）：
- 在 Countdown-3arg 上训练，评估 Countdown-4/5/6arg。
- SkillFactory -> GRPO 取得了 25.1% 的准确率，显著优于 RL Only (15.8%) 和 STaR -> GRPO (9.7%)，甚至超过了依赖强模型蒸馏的 R1 Distill -> GRPO (21.2%)。
- 这表明 SFT 阶段的“技能结构学习”比单纯的任务知识积累对 RL 更有帮助。
域外任务 (OOD) 鲁棒性：
- 在 Letter Countdown, Acronym, Multiplication 等未见过的任务上，SkillFactory 模型保持了较高的性能。
- 相比之下，R1 蒸馏模型在 OOD 任务上往往表现波动较大，而 SkillFactory 模型表现出更强的稳定性，减少了性能回退。
复杂数学推理 (OpenThoughts 设置)：
- 在 GPQA, AIME 2025, AMC, Math500 等基准测试中，SkillFactory (10k 数据) 达到了 40.6% 的总分，接近 QwQ 蒸馏模型 (42.5%)，且在 AMC 和 Math500 上甚至超越了蒸馏模型。
- 有趣的是，增加 SFT 数据量（从 1k 到 10k）对 SkillFactory 提升有限，说明核心技能在少量数据下即可习得，这与蒸馏方法不同。
技能使用分析：
- 分析显示，SkillFactory 模型在推理过程中会显式地生成更多的“重试”和“验证”步骤（Reflected/Retried），且验证器的 F1 分数很高（正确判断错误答案的能力强）。
- 在 Budget Forcing（强制增加思考长度）实验中，SkillFactory 模型能利用更长的上下文进行有效推理，而纯 RL 基线模型往往陷入循环或生成退化输出。

5. 意义与结论 (Significance & Conclusion)

核心洞察：

先验知识的重要性：在 RL 之前，通过结构化数据让模型“预演”认知技能（如自我纠错、验证），比单纯追求 SFT 阶段的任务准确率更重要。
低成本高效益：SkillFactory 提供了一种低成本、可扩展的路径，让中小规模模型也能掌握高级推理技能，无需昂贵的强模型蒸馏。
通用性：该方法不仅适用于数学推理，也适用于需要多步规划、验证和回溯的各种复杂任务。

总结：
SkillFactory 通过一种巧妙的“自蒸馏”策略，将模型自身的失败尝试和反思重组为教学样本，成功地将认知技能的结构注入模型。这种基于结构的 SFT 初始化，成为了 RL 训练的高效催化剂，使得模型在面对更难的任务变体和域外任务时，展现出更强的泛化能力和鲁棒性。这项工作为构建更智能、更可靠的推理模型提供了新的范式。