Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM: Unpacking the Trade-offs for Code Generation
这项实证研究调查了将无奖励对齐技术（DPO 和 BoNBoN）应用于预训练和指令微调大语言模型进行代码生成的权衡关系，结果表明，虽然对齐预训练模型会产生更大的相对提升，但从指令微调模型开始通常能保持更高的绝对准确率，尽管其提供的增益较小或可能出现性能退化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个才华横溢、极具天赋的原始天才，他懂得如何编写代码，但还没有学习过“交通规则”。他可能会写出一个可以运行的程序，但它可能很混乱、不安全或难以阅读。这就是**预训练大语言模型（Pretrained LLM）**的状态：聪明，但尚未经过打磨。
现在，想象你拥有一个经过微调的 LLM（Fine-Tuned LLM）。这是同一个天才，但他已经参加了编程训练营。他知道如何遵循指令并编写整洁的代码，但他可能变得有些刻板或固执。
这篇论文提出了一个重大问题：我们该如何教这些 AI 模型成为“更好”的程序员？ 具体来说，我们应该是在他们去参加训练营之前（从原始天才开始）就教他们安全和质量规则，还是在他们已经学会编程之后（从训练营毕业生开始）再教？
研究人员将这个过程称为**“对齐”（Alignment）**。这就像是教一个模型去偏好一个“好”答案而非“坏”答案，不仅针对文本，也针对代码。
两种训练路径
该研究对比了两种不同的训练路线，使用了两种特定的教学方法（称为 DPO 和 BoNBoN）：
“原始天才”路径（从预训练到对齐）： 你拿走一个原始的、未经训练的模型，先教它编程规则和安全性。
- 类比： 拿走一个原始的、未经训练的艺术家，在他们尝试创作杰作之前，先教他们透视和色彩理论的规则。
- 结果： 这些模型在“软技能”（如代码可读性、风格和安全性）方面表现出了巨大的进步。它们很好地掌握了规则，因为它们的心智非常灵活。然而，由于它们的起点非常低，即使有了巨大的进步，与训练营毕业生相比，它们并不总是最擅长解决那些最难的编程难题。
“训练营毕业生”路径（从微调到对齐）： 你拿走一个已经懂得编程的模型，然后教它安全和风格的规则。
- 类比： 拿走一位已经能做出美食的专业厨师，然后试图教他们新的卫生规则。
- 结果： 这些模型本身已经非常擅长解决问题。当它们进行对齐时，并没有太多进步，因为它们已经接近顶峰。事实上，有时训练会适得其反，它们解决问题的能力反而下降了（这种现象被称为“灾难性遗忘”，就像一个学生因为太专注于学习新语法而忘记了如何做加法）。
两种不同维度的“更好”
研究人员观察了两种不同类型的代码质量：
- 功能性需求（“它能运行吗？”测试）： 代码是否真的可以运行？它是否解决了数学问题？
- 发现： 这是很难通过对齐来修复的。有时会变好，有时会变差。这就像试图通过更换跑鞋来教跑步者跑得更快；有时会有帮助，有时会绊倒他们。
- 非功能性需求（“这是一段好的代码吗？”测试）： 代码是否安全？是否易于阅读？是否遵循风格指南？
- 发现： 这是对齐大显身手的地方！模型在这里表现出了持续的进步。这就像教作家使用更好的语法和标点符号；几乎所有的模型在这一方面都变好了，无论它们是从原始天才还是从训练营毕业生开始。
核心权衡：灵活性 vs. 稳定性
论文使用了一个概念——**“稳定性-塑性困境”（Stability-Plasticity Dilemma）**来解释所发生的情况：
- 原始模型（高塑性）： 它们就像黏土。它们可以很容易地被塑造成新的形状（快速学习新规则），但如果你用力过猛，它们可能会失去原有的形状（忘记如何编程）。它们在质量上的百分比增幅最大。
- 微调模型（高稳定性）： 它们就像硬化的石头。它们能很好地保持形状（保留其编程技能），但很难被塑造（很难在不破坏原有能力的情况下学习新规则）。它们起步较高且保持在高位，但进步不大。
实践者应该怎么做？（9 条建议）
基于对五种不同 AI 模型的实验，作者给出了九条建议：
- 根据你的目标选择路径： 如果你想要最大的相对提升（让一个差的模型变得好得多），请从原始模型开始。如果你需要一个已经可靠且只需要一点润色的模型，请从微调后的模型开始。
- 先关注“软技能”： 教模型编写安全、可读的代码（非功能性）比强迫它解决更难的数学问题（功能性）更安全且更成功。
- 选择合适的模型： 专门的编程模型（如 CodeLlama 或 DeepSeek）比通用的聊天模型学得更好。更大的模型（7B 参数或更多）通常比微型模型更好。
- 不要盲目猜测教学方法： 不同的模型喜欢不同的老师。有些模型（如 Llama）最适合一种方法（DPO），而另一些（如 DeepSeek）则更喜欢另一种（BoNBoN）。你必须进行测试。
- 留意警告信号： 如果模型在早期的“练习”阶段（监督式微调）开始变差，请立即停止！这是一个强烈的信号，表明完整的训练将会失败。
- 检查所有维度： 不要只检查代码是否能运行；也要检查它的可读性和安全性。有时模型在某一方面变好了，但在另一方面却变差了。
总结
如果你想让一个 AI 程序员变得更安全、更专业，当从一个原始模型开始并从头学习规则时，对齐的效果最好。 然而，如果你已经拥有一个聪明、经过微调的程序员，那么在尝试对其进行“对齐”时要非常小心，因为你可能会不小心破坏它解决问题的能力。
论文得出结论，虽然对齐是一个强大的工具，但它并不是魔杖。它需要对起始模型、教学方法以及具体目标（安全性 vs. 问题解决能力）进行仔细的选择，以避免适得其反。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。