Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training
本文通过数据中心视角解释了视觉语言模型（VLM）中强化学习（RL）泛化性优于监督微调（SFT）的原因，即 RL 具有一种隐式的数据过滤机制，倾向于选择中等难度的样本；据此，作者提出了通过筛选难度样本的“难度策展式 SFT”（DC-SFT），在提升模型分布外（OOD）泛化能力的同时，实现了比 RL 更高的效率与稳定性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇文章探讨了一个人工智能（AI）领域非常深刻的问题：为什么用“强化学习（RL）”训练出来的模型，比用“监督微调（SFT）”训练出来的模型更聪明、更不容易“死记硬背”？
为了让你轻松理解，我们可以把训练 AI 模型想象成**“培养一名学生”**。
1. 现状：两种不同的“教学方法”
假设我们要教一个学生如何通过看图说话来考试。
方法 A：监督微调 (SFT) —— “标准教科书教学法”
老师给学生一套练习题，每道题后面都附带了标准答案。学生的目标就是：把这些题背下来，确保每次看到类似的题都能写出和标准答案一模一样的字。- 问题在于： 如果练习题里混进了一些极其变态、甚至逻辑错误的“难题”，学生为了拿高分，会拼命钻研这些难题。结果，他把精力都花在了这些“怪题”上，反而把基础知识搞乱了，一旦考试题目稍微变个花样（也就是所谓的“分布外测试” OOD），他就傻眼了。
方法 B：强化学习 (RL) —— “闯关游戏教学法”
老师不直接给答案，而是让学生去尝试回答。如果答对了，给个糖果；答错了，不给糖。学生在不断尝试的过程中，通过“奖励”来摸索规律。- 神奇之处在于： 这种方法自带一个“自动筛选器”。如果题目太简单（闭着眼都能答对），学生拿到的奖励很稳定，没什么好学的；如果题目太难（怎么试都错），学生也拿不到奖励，学不到东西。学生会把所有的注意力都集中在那些“跳一跳够得着”的中等难度题目上。 这种“适度挑战”的学习方式，让学生掌握了真正的逻辑，而不是死记硬背。
2. 论文的核心发现：问题的根源在于“题目的难度”
研究人员通过实验发现，SFT 表现不好的罪魁祸首，其实是那些**“太难的题目”**。
这些难题就像是教科书里的“陷阱题”。在 SFT 模式下，由于学生必须对每一道题都进行学习，这些难题产生的“学习压力”（梯度）非常大，会强行把学生的思维带偏，导致他过度关注这些极端情况，从而失去了处理普通情况的灵活性。
结论是：RL 之所以强，不是因为它算法有多高级，而是因为它在无意中帮学生“过滤”掉了那些没用的简单题和会带偏人的难题，只练“中等难度”的精华题。
3. 论文的创新方案：DC-SFT —— “精选题库教学法”
既然知道了 RL 的优势在于“只练中等难度的题”，那我们为什么还要用复杂的强化学习（它又慢、又费钱、还容易让学生情绪不稳定/训练不稳定）呢？
作者提出了一个非常简单粗暴但极其有效的办法：DC-SFT（难度筛选微调）。
做法很简单：
在开始教学生之前，我们先用一套测试方法把题库分个类：
- 太简单的题： 扔掉（或者少练）。
- 太难的题： 直接扔掉！（这就是关键，不让学生被难题带偏）。
- 中等难度的题： 重点练。
- （进阶版）：把简单题和中等题混在一起练。
结果如何？
实验证明，这种“精选题库”的 SFT 方法，不仅比传统的 SFT 强得多，甚至比强化学习（RL）还要强！ 而且，它非常稳定，训练速度极快，省钱又省力。
总结一下
- 以前的看法： RL 强是因为它会“探索”，会“思考”。
- 这篇论文的看法： RL 强是因为它自带“自动过滤功能”，只练最有价值的中等难度题。
- 作者的贡献： 我们不需要复杂的 RL，只要在 SFT 之前把“难题”剔除掉，就能用最简单的方法，让 AI 变得既聪明又稳健！
一句话总结：不要让 AI 在“送分题”上浪费时间，更不要让它在“送命题”上钻牛角尖，把精力放在“有挑战性的中等题”上，才是通往真智慧的捷径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。