想象一下，你正在训练一个智能机器人（一种视觉语言模型）来解决复杂的几何谜题。这篇论文研究了在将这个机器人送入名为“强化学习（RL）”的高强度训练营之前，最好的“热身”方式是什么。
有两种主要的预热方式：
- SFT（监督微调）： 你给机器人展示一本由超级聪明的老师编写的完美答案教科书，并对它说：“完全照着这些内容背下来。”
- OPD（在策略蒸馏）： 你让机器人尝试自己解决问题，但每当它卡住或犯错时，超级聪明的老师就会在旁边低声提示正确的下一步。机器人通过模仿老师的“过程”，而不仅仅是最终答案来学习。
研究人员想知道：我们热身的方式会改变最终结果吗？
以下是他们的发现，使用了简单的类比：
1. “最终得分”出奇地相似
把最终考试（解决几何问题）想象成一场比赛。研究人员尝试了三种不同的热身方法。
- 发现： 无论使用哪种热身方式，机器人在比赛结束时的成绩几乎完全一样（大约在 53–54% 的准确率）。
- 类比： 这就像三个跑步者从赛道上略微不同的起点出发。当他们到达终点线时，他们都挤在一起，形成了一个微小的集群。热身并没有给任何人带来那种能持续到最后的巨大领先优势。
2. 关于“遗忘”的迷思
有些人担心，如果你教了机器人太多特定的数学知识（SFT），它会忘记如何做其他事情（比如通用的数学谜题）。
- 发现： 只有当你训练得太久或者使用了错误的指令时，这种情况才会发生。如果你在正确的时间停止训练，机器人并不会遗忘任何东西。
- 类比： 这就像为一场特定的历史考试而学习。如果你死记硬背了 10 个小时，你可能会连自己的名字都忘了。但如果你只学习了 1 个小时，你既能记住考试内容，也能记得自己的名字。问题不在于学习方法，而在于学习时间太长了。
3. 真正的区别：“熵”（机器人的情绪）
这是本论文最大的发现。虽然最终得分相同，但机器人的“内部状态”却非常不同。
- SFT 机器人： 它们变得非常自信且僵化。它们知道答案并坚持自己的观点。它们的“熵”（衡量随机性或多样性的指标）非常低。它们就像一个会说：“我知道答案是 4，我绝不会说是 5”的机器人。
- OPD 机器人： 它们保持着好奇心和多样性。它们会同时考虑几种不同的可能性。它们的“熵”要高得多。它们就像一个会说：“答案很可能是 4，但也可能是 5 或 6”的机器人。
- 类比： 想象一位厨师。
- SFT 厨师是一个只能完美烹饪一种特定食谱的机器人。
- OPD 厨师是在掌握主食谱的同时，还记得老师曾说过的“也许可以加一点盐”或“也许可以多加点香料”。OPD 厨师拥有更广泛的创意菜单。
4. “好奇心”会有帮助吗？
研究人员问道：“拥有这种额外的多样性（高熵）是否能帮助机器人解决更多问题？”
- 初期阶段（在最终训练之前）： 是的！OPD 机器人（那个好奇的机器人）如果你给它 16 次尝试机会，它可以生成许多不同的正确答案。它更擅长探索各种选项。
- 最终训练后（RL 之后）： 不。一旦机器人经历了高强度的训练营，最初的那种好奇心就消失了。无论是僵化的 SFT 机器人还是好奇的 OPD 机器人，最终解决的问题数量都是一样的。
- 面对新谜题（领域外问题）： 这种好奇心也无法帮助机器人解决新型的数学问题。这种优势完全消失了。
总结
论文的结论是，选择热身方式（SFT 与 OPD）就像是在选择一个严厉的教官还是一个灵活的教练。
- 它控制了什么： 它控制了机器人在早期阶段的“个性”（它是思维僵化还是思维灵活）。
- 它没能控制什么： 它并不能保证更高的最终得分，也不能保证在面对未见过的全新问题时表现更好。
核心启示： 如果你希望现在的机器人拥有更多元化的思维，请使用灵活的教练（OPD）。但不要指望这种多样性在机器人完成训练后会自动转化为更高的最终得分。热身设定了“情绪”，但“训练营”（RL）才是决定最终结果的关键。
技术摘要：第一阶段控制的是熵值状态，而非最终结果
问题陈述
视觉语言模型（VLM）的两阶段后训练流水线——由第一阶段热启动（监督微调 SFT 或 在策略蒸馏 OPD）和第二阶段强化学习（RL）组成——正日益成为标准配置。社区中存在一种普遍假设，即热启动的选择会显著决定最终的 RL 结果。具体而言，支持者认为 SFT 可能会导致基础能力的灾难性遗忘，而 OPD（在教师的 Token 分布下，让学生模型在其自身的采样轨迹上进行训练）则为 RL 提供了更优的初始化。本文通过使用 Qwen2.5-VL-7B 模型在小规模数据集（约 1–2k 个样本）上的实验，旨在探究这些主张，并确定第一阶段究竟控制了什么，以及它是否能实质性地改变下游的终点。
方法论
本研究采用了一个受控实验设置，对比了三种不同的热启动策略，随后紧跟高度匹配的第二阶段 GRPO（组相对策略优化）方案：
- OPD： 在所有 2,101 个 Geometry3K 训练提示词上，从同模态的 72B Qwen2.5-VL 教师模型进行在策略蒸馏。
- SFTID： 使用教师的正确轨迹（通过拒绝采样）并配合系统提示词，进行领域内优化的 SFT。
- SFTOOD： 使用相同的教师轨迹但没有系统提示词，并在 100 步时提前停止，进行领域外优化的 SFT。
设置中的关键区别：
- 教师一致性： 所有热启动均源自同一个 72B 教师模型，消除了教师身份带来的混淆变量。
- 数据覆盖度混淆： 设置中存在刻意的差异。SFT 轨迹通过拒绝采样获得，仅保留了教师在 4 次采样内能解决的 807 个问题。而 OPD 则在所有 2,101 个提示词上进行训练，包括 1,294 个教师从未解决的问题。作者将此视为已知的设置差异，并分析其对熵值的影响。
- 评估： 模型在领域内（Geometry3K 内部验证集）和领域外（MathVista testmini）进行评估。指标包括策略熵、pass@k（其中 k∈{1,4,8,16}）以及答案多样性。
核心发现
1. 遗忘是依赖于训练方案的 (F1)
研究挑战了“小规模数据 SFT 必然导致灾难性遗忘”的观点。
- 一个过拟合的 SFT 变体（200 步，无系统提示词）显示出明显的领域外 MathVista 性能下降（−9.5 分）。
- 然而，一个匹配方案且提前停止的 SFT（100 步）实际上将领域外性能提升了 2.1 分。
- 结论： 所观察到的遗忘并非 SFT 的内在属性，而是特定训练方案选择（如训练时长、提示词工程）的结果。
2. 领域内终点处于一个狭窄的区间内 (F2)
尽管热启动方式不同，但在经过 GRPO 后，Geometry3K 的最终领域内性能都收敛到了一个很窄的范围。
- 所有三种热启动模型在经过 GRPO 后，其最佳内部验证得分均落在 53% 到 54% 之间。
- 这与近期的专门化方法相吻合，表明在该特定基准测试上，热启动之间存在有限的“提升空间”，而非该任务本身达到了普遍饱和。
3. 第一阶段控制的是熵值状态，而非最终结果 (F3)
不同方法之间最显著且可靠的区别在于进入 RL 阶段时的熵值状态（entropy regime）。
- 熵值差距： 与 SFT 变体（0.015–0.04）相比，OPD 进入 RL 阶段时的策略熵显著更高（初始为 0.10–0.16）。这一差距在可用的轨迹中持续存在，即使在训练后期，OPD 仍保持较高的熵值。
- 领域内初始化的优势： 在初始化阶段（RL 之前），高熵的 OPD 模型展现出更高的探索潜力。虽然贪婪准确率（pass@1）相当或略低，但 OPD 在 pass@16 上取得了显著优势（比 SFT 基准高出 +2.0 到 +5.2 个百分点），并具有更高的答案多样性。
- 收益消失： 这种优势是严格受限的：
- RL 之后： 在第二阶段 GRPO 之后，pass@16 的优势消失了。所有模型的最终终点彼此之间的差距在 1.1 个百分点以内，置信区间跨越了零。
- 领域外迁移： 在 MathVista 上，熵值的排序完全消失。所有六个模型（三种初始化 × 两个阶段）在 pass@16 上的表现差距均在 1.2 个百分点以内。
意义与主张
论文明确将其贡献界定为一种受限的经验特征描述，而非提出一种新方法或刷新排行榜记录。
- 第一阶段控制了什么： 主要发现是，第一阶段与进入 RL 阶段的策略熵值状态强相关。OPD 维持了高熵状态，而 SFT 则坍缩为低熵、确定性的状态。
- 第一阶段未控制什么： 研究发现，在这一小规模数据设置下，没有证据表明热启动的选择（OPD vs. SFT）决定了最终的 RL 终点或领域外泛化能力。所谓的“下游收益”——即熵值优势——是非常微小的，仅局限于领域内的初始化阶段，并且无法在 RL 优化过程中存续。
- 局限性： 作者承认存在一个混淆因素：熵值差距可能部分是由 OPD 接触到了 SFT 未曾接触到的“困难尾部”问题（1,294 个教师未解决的问题）所驱动的。虽然基于目标层面的直觉（逆 KL 散度 vs. 交叉熵）支持了熵值机制，但由于缺乏数据对齐的对照（即在与 SFT 相同的 807 个问题上训练 OPD），本文并未声称具备因果关系。
结论
在这项针对 VLM 的小规模数据研究中，第一阶段热启动的选择是熵值状态的强决定因素，但不是最终结果的决定因素。虽然 OPD 提供了具有更高探索能力的（pass@16）高熵初始化，但这并不能转化为更优的 RL 终点或领域外性能。论文得出结论：熵值是观察到的最清晰的区别，但这并不意味着 OPD 是一个普遍更好的 RL 热启动方案。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。