TRACE: Trajectory-Based Safety Patch Learning for LLM Post-Training Realignment
该论文提出了 TRACE，一种基于轨迹的安全补丁学习框架，该框架通过生成渐进式损坏的状态来优化插件式安全补丁，从而在不损害定制化微调任务所获得的效能的情况下，有效地恢复模型的安全性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个你可以租用超级智能机器人大脑的世界，你可以根据自己的需求对其进行定制，让它帮你做作业、写邮件，甚至协助你开发电子游戏。这就是“微调即服务”（Fine-Tuning-as-a-Service, FTaaS）所承诺的愿景。你上传自己的数据，服务提供商根据这些数据训练这个机器人大脑，然后你就会得到一个个性化的版本。但问题在于：这些机器人大脑被训练得既乐于助人又无害。如果你无意中（或故意）喂给它们坏数据，它们可能会忘记礼貌，开始说出危险或粗鲁的话。对于这些机器人大脑的所有者来说，大问题在于：我们如何在不丢弃它刚刚学会的所有酷炫新技能的前提下，修复一个学会了坏习惯的机器人呢？
长期以来，解决方案就像是在一个乱糟糟的房间中间插上一块“请勿触摸”的告示牌来试图整理房间。研究人员尝试将一个“安全补丁”（一套阻止不良行为的规则）与定制化的机器人大脑进行合并。但他们发现了一个重大问题：安全规则和新技能经常在机器人的大脑空间内发生争夺。如果你过度强调安全规则，就会不小心抹除机器人做作业的能力；如果强调得不够，机器人仍然会说些难听的话。这是一个令人沮粉的拉锯战，你无法两全其美。
这篇论文介绍了一种解决这种拉锯战的新方法，叫做 TRACE。TRACE 不再是试图在成品机器人上强行贴上安全补丁并听天由命，而是在任何特定的用户定制发生之前，就在后台进行工作。它通过模拟机器人大脑如何被坏数据一步步破坏的过程——就像观察一个学生如何逐渐丧失礼貌的过程——来学习一个特殊的“安全适配器”。然后，它会创建一个通用的补丁，这个补丁知道如何精准地让任何被破坏的机器人恢复礼貌，无论这种破坏有多严重，且完全不会触及该特定机器人学到的新技能。你可以把它想象成一个神奇的“撤销”按钮，它只针对坏的部分，而对好部分毫发无伤。
研究人员在两个不同的机器人大脑（Llama 和 Qwen）上测试了它，发现 TRACE 改变了游戏规则。在他们的模拟实验中，即使机器人在接受了海量坏数据的训练后，TRACE 仍能让机器人实现 100% 安全，能够抵御有害请求。与此同时，它几乎完全保留了机器人的工作能力（如编写 SQL 代码或总结故事），性能变化不到 1.7%。
论文指出，过去那种试图在联网状态下（在机器人已经完成定制后）“合并”安全补丁的方法从根本上就是行不通的，因为安全方向和任务方向会纠缠在一起。TRACE 证明了通过学习一个“解耦”的补丁——即一个运行频率与用户任务不同的补丁——你可以做到鱼与熊掌兼得。其结果是，机器人既能在你的特定工作中表现得超级聪明，又能保持完美的安全性，而无需服务提供商为每个用户不断调整设置。这是一种从“在航行时修补漏水的船只”到“在离岸前建造更好的船体”的思想转变。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。