Value Drifts: Tracing Value Alignment During LLM Post-Training
本文研究了大语言模型后训练阶段价值对齐的动态机制，揭示了监督微调主要确立了模型的价值观，而随后的偏好优化很少对其进行重新对齐，且不同的算法即使在相同的数据集上也会产生截然不同的结果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个全新的、超级聪明的机器人，它几乎读遍了互联网上的所有内容。它知道事实，能写诗，也能解数学题。但目前，在面对“观点”时，它就像一张白纸。如果你问它：“是拯救地球更好，还是快速赚钱更好？”它可能只会列出事实，而不会表明立场。为了让这个机器人对人类有用且安全，我们需要教会它如何思考这些棘手的问题。这个过程被称为“对齐”（alignment）。
把对齐想象成训练一只小狗。首先，你要教它基础指令，比如“坐下”和“待命”（这被称为监督微调，或 SFT）。你通过展示优秀行为的范例来让它学习规则。然后，你把它带到狗公园与其他狗一起玩耍，学习社交技巧，并在它表现良好时奖励它，在它咬人时惩罚它（这被称为偏好优化）。科学家们一直提出的核心问题是：小狗到底是什么时候学到它的个性的？ 是它在基础训练阶段就形成了核心价值观，还是在狗公园阶段才获得的个性？理解这一点至关重要，因为如果我们不知道机器人的价值观从何而来，我们可能会在不知不觉中教会它无礼、偏见或危险的行为。
这篇题为《价值漂移》（Value Drifts）的论文深入探讨了这一训练过程的幕后，观察大型语言模型（LLM）究竟是在何时以及如何学习其价值观的。研究人员将训练过程视为一段延时摄影视频，在训练的每一个步骤中检查机器人的“观点”，而不是仅仅在最后只看成品。
以下是他们的发现，可能会让你感到惊讶：
1. 第一课是最重要的
研究发现，“监督微调”（SFT）阶段才是机器人获得个性的时刻。这就像小狗学会“坐下”的那一刻；一旦完成，核心行为就定型了。研究人员发现，一旦模型开始在指令数据集上进行训练，它在重大话题（如移民或气候变化）上的立场就会发生剧烈且迅速的变化。如果训练数据充满了中立的、“我不确定”式的回答，机器人就会变得中立。如果数据充满了支持性的、“是的，让我们去做吧！”式的回答，机器人就会变得支持。这种“价值印记”发生在过程的极早期，通常是在训练的前几百步之内。
2. 狗公园并没有改变太多
在初始训练之后，模型进入了“偏好优化”（即狗公园阶段），在此阶段，人类会向它展示成对的答案，并告诉它更喜欢哪一个。研究人员原本预期这一阶段会微调机器人的价值观，比如让它变得更礼貌或更有帮助。但他们发现，在很大程度上，这个阶段对第一阶段建立的价值观几乎没有任何改变。机器人的观点依然停留在第一阶段训练所留下的位置。
3. 为什么狗公园失败了（以及如何修复它）
为什么第二阶段没有改变任何事情？团队意识到，这是因为“训练零食”（偏好数据集）过于相似了。在标准的数据集中，一个“好”答案和一个“坏”答案往往只是在风格上有所不同（一个长一点，一个短一点），但在观点上完全一致。这就像试图通过给狗展示两根一模一样的木棍，然后对它说：“选出更好的那一根”，来教它捡球。如果选项是一样的，狗就无法学会新技巧。
然而，研究人员证明，如果你确实给机器人一个明确的选择——展示一个支持某种价值观的答案和另一个强烈反对该价值观的答案——机器人可以改变主意。但它改变的方式取决于用于教学的具体算法。有些算法（如 DPO）就像固执的老师，只会强化机器人已经相信的东西，而另一些算法（如 SIMPO）则更为谨慎，进行更小、更慢的改变。
底线结论
论文指出，如果我们希望 AI 拥有特定的价值观，我们不能依赖最后的“偏好”阶段来修正问题。重头戏发生在最初的指令训练阶段。如果我们希望 AI 在敏感话题上保持中立，我们需要确保初始训练数据是中立的。如果我们希望它是支持性的，初始数据必须是支持性的。最后的润色阶段主要只是为了风格，而不是为了改变机器人的灵魂。这是一个巨大的洞察，因为它告诉我们，构建安全 AI 最关键的部分是策划我们展示给它的第一组示例，而不仅仅是最后的反馈轮次。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。