Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models
本文表明，尽管程序性技能监督微调在 0.8B 至 4B 规模的 Qwen3.5 模型上带来了均匀的绝对增益，但其性能演变轨迹却呈现出受非对称基座能力驱动的 W 形模式，其中监督微调为那些最初在程序执行上存在困难模型提供了最显著的绝对提升。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是该论文的通俗化解释，使用了类比手法。
宏观图景：向不同水平的厨师传授食谱
想象你有三位经验水平不同的厨师：
- 新手（0.8B）： 一位热情但容易不知所措的厨房助手。
- 学徒（2B）： 一位掌握基础知识，但有时会偷懒或跳过步骤的厨师。
- 副主厨（4B）： 一位非常称职的厨师，通常能独立解决问题。
研究人员想要看看，如果给这三位厨师一份具体的、书面的5 步食谱（一种“程序性技能”），让他们应对 200 种不同的烹饪挑战，会发生什么。他们想知道：提供食谱真的能帮助他们更好地烹饪，还是他们只是在假装遵循？
主要发现："W"形曲线
研究人员发现了一些令人惊讶的事情。在给他们食谱之前，如果按从小到大的顺序观察，厨师们处理任务的能力呈现出一种奇怪的**"W"形**：
- 新手（0.8B）： 在训练之前给予食谱，他们的表现反而更差。这 5 个步骤太复杂了；他们在第 1 步就感到困惑，导致整道菜都搞砸了。食谱成了一种负担。
- 学徒（2B）： 给予食谱后，他们的表现更好。他们处于“甜蜜点”。食谱就像辅助轮，帮助他们检查工作并避免通常犯的错误。
- 副主厨（4B）： 在训练之前给予食谱，他们的表现略差（或保持不变）。他们烹饪技术已经非常娴熟，阅读食谱感觉像是额外的文书工作。这拖慢了他们的速度，却没有增加价值。
转折点： 在研究人员使用食谱训练了这些厨师（这一过程称为 SFT）之后，神奇的事情发生了。所有三位厨师的提升幅度几乎相同。
- 新手学会了遵循步骤而不再困惑。
- 学徒变得更加敏锐。
- 副主厨学会了不再将食谱视为烦人的文书工作，而是将其作为有用的工具。
教训： 训练（SFT）在厨师最挣扎的地方发挥最大作用。它解决了新手的困惑和副主厨的懈怠，从而为所有人带来了相似的“提升”，尽管他们的起点截然不同。
“格式”陷阱（他们修正的一个重大错误）
这篇论文强调了一个他们差点犯下的巨大错误。
想象一位严格的法官，只接受写在特定行上的答案："ANSWER: [菜肴名称]"。
- 新手和副主厨经常用句子写出答案，例如：“我得出结论，这道菜是披萨。”
- 严格的法官（一个计算机脚本）找不到"ANSWER"这个词，便将他们标记为失败，尽管他们给出了正确的答案。
- 学徒碰巧以法官想要的确切格式书写，因此看起来像是赢家。
研究人员意识到他们的“法官”存在偏见。它衡量的不是烹饪技能，而是打字技能。
修正方案： 他们切换到了一位类人的法官（一个能阅读整个句子的 AI）。
- 结果： 新手和副主厨的分数大幅跃升！
- 偏见： 严格的法官一直不公平地惩罚那些用“自由形式”句子书写的厨师。研究人员发现，“精选”（遵循食谱）的组别实际上受到了严格法官更严厉的惩罚，因为他们详细的解释经常将最终答案埋没在文本中。
“天花板”与“前沿”
研究人员将他们训练后的副主厨（4B） 与一位世界级名厨（称为"Haiku-4-5"）进行了比较。
- 训练前，副主厨表现不错，但尚未达到名厨的水平。
- 经过食谱训练后，副主厨与名厨打成平手。他们都在 200 道菜中做出了 197 道完美的菜肴。
- 这证明训练不仅仅是让副主厨“看起来”在遵循步骤；它实际上让他们在这些特定任务上达到了与世界最佳水平相当的高度。
未奏效的部分（“负面”结果）
研究人员试图通过改变训练食谱（更改文本、删除部分步骤等）来让新手（0.8B） 变得更好。
- 结果： 没有任何方法奏效。新手仍然无法完美地烹饪这些菜肴。
- 原因： 新手根本没有足够的脑力（容量）一次性在脑海中记住所有步骤。无论他们如何尝试教导，所谓的“天花板”是新手的自身局限，而不是教学方法。
关键要点总结
- 训练对所有人都有帮助，但原因不同： 它拯救了困惑者， sharpened 了胜任者，并重新唤醒了过度自信者。这种“提升”在各方面都惊人地相似。
- 不要盲目信任僵化的法官： 如果你只检查特定的格式（如"ANSWER: X"），你可能会忽略模型实际上已经正确解决了问题的事实。
- 规模很重要，但并非你想象的那样： 一个小模型可以像大模型一样学会使用一个程序，但如果任务对于其大脑规模来说太难，它就不一定能完美地执行整个任务。
- "W"形曲线： 小模型会被程序搞糊涂；中等模型喜欢它们；大模型觉得它们很烦人，直到被训练去看到其价值。
简而言之： 该论文表明，教授分步过程是一个强大的工具，但你必须公平地衡量它（忽略僵化的格式规则），并理解模型的规模决定了它能多好地执行步骤，即使它能像大模型一样好地学会遵循它们。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。