Attribution Consistency in Fine Tuning Makes Refusal Less Sensitive to Paraphrase in a Small Tool Using LLM Agent
这项初步研究表明，在微调过程中应用潜在归因正则化（Latent Attribution Regularization, LAR）能够提高小型工具使用型大语言模型智能体的归因一致性，从而降低其对改写后的有害请求的敏感性，并在不显著损害检测性能的情况下稳定拒绝决策，尽管如果将其应用于无害示例则存在过度拒绝的风险。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，出现了一类被称为“智能体”（agents）的新型系统。与仅仅是回答问题的标准聊天机器人不同，这些智能体旨在采取行动。它们可以调用工具、运行代码或与其他软件交互以完成复杂的任务。这种能力使它们变得极其有用，但也提高了安全性的门槛。如果聊天机器人误解了一个有害的请求，它可能只是给出一个错误的答案；但如果智能体误解了同一个请求，它可能会执行危险的操作，例如删除文件或发送私密数据。为了防止这种情况，研究人员教导这些模型拒绝有害指令。然而，这种安全性训练出奇地脆弱。如果人类使用不同的措辞或不同的句子结构重新表述同一个请求，模型可能会突然同意执行那个有害的操作，即使它在另一种表述方式下会拒绝该请求。这种不一致性是实现在现实世界中部署可靠智能体的一个主要障碍。
一位名叫 Junaid Hassan 的研究人员致力于解决这个特定的不一致性问题。其目标不仅是让模型更频繁地拒绝，而是要让其拒绝行为变得稳定。一个什么都拒绝的模型是连贯的，但它也是没用的，因为它无法协助处理无害的任务。挑战在于，如何找到一种方法，使模型的“拒绝”决策能够对措辞的变化保持稳健，同时又不至于过于谨慎而无法在应该说“是”的时候说“是”。为了测试这一点，研究人员使用了一个旨在调用工具的小型高效 AI 模型。团队使用了名为 AgentHarm 的数据集，该数据集包含数百个智能体被要求执行有害任务的情景，以及这些任务对应的安全版本。至关重要的是，每个有害请求都配有多个不同的改写版本，这使得研究人员能够观察到，当词汇改变但含义保持不变时，模型的决策是否会发生变化。
研究人员测试了一种称为“潜在归因正则化”（Latent Attribution Regularization）的新训练方法。简单来说，这种方法教导模型以一种一致的方式去关注其阅读到的词汇的重要性。当模型处理一个请求时，它会为每个词分配一个重要程度，以决定如何行动。这种训练惩罚机制确保了如果请求被用不同的词重写，那么分配给这些思想的“重要性模式”仍将保持不变。这与一种标准的训练方法进行了对比，后者仅仅试图让模型对原始请求和重写后的请求都给出正确的答案，而没有强制要求其思考过程的一致性。研究通过严谨的对比确保了两种方法的公平性，保证任何结果上的差异都源于训练技术本身，而非随机运气或数据量的不同。
结果显示，这种新方法奏效了。当模型被调整以拒绝特定比例的无害任务（以确保其不会过度谨慎）时，使用一致性方法训练的模型表现得更加稳定。在标准训练组中，约有 25% 的任务族出现了混合结果，即模型会对请求的一个版本表示拒绝，却会对该请求的改写版本表示服从。在使用这种新的一致性方法后，这一比例降至 19%。此外，仅仅因为措辞变化而导致模型决策从“不”转为“是”的概率从大约 11% 下降到了 9%。研究人员还测量了一个反映模型在不考虑特定阈值的情况下拒绝可能性的得分，发现该得分在措辞变化时波动极小。这表明，模型用于决定是否拒绝的内部逻辑变得更加稳固。
重要的是，研究证实了这种稳定性并未以牺牲模型检测危害的能力为代价。新方法并没有显著提高或降低模型区分有害与无害请求的整体能力。其改进纯粹体现在决策过程的一致性上。然而，研究也发现了一个显著的失败案例，这为未来的工作敲响了警钟。在早期的一次尝试中，当研究人员试图仅通过基于文本的示例来教导模型如何处理无害任务时，模型学会了一个坏习惯：它开始拒绝几乎所有涉及工具的任务，甚至是安全的任务，并停止使用这些工具。这是因为训练数据没有向模型展示如何在安全的情境下使用工具。这一失败强调了对于智能体而言，训练数据必须包含如何安全使用工具的示例，而不仅仅是如何回答问题。
该研究得出结论，使 AI 智能体的拒绝决策保持一致是可能的，但这需要专门的训练技术，即关注模型如何处理信息，而不仅仅是最终答案。虽然研究结果令人鼓舞，但仍具有初步性，因为它是基于单个小型模型和有限数量的测试运行。研究人员指出，未来的工作需要在更大的模型、更多的训练数据变体以及人类评审员（以确保改写内容在语义上真正等价）的参与下进行测试。这项工作提供了一条清晰的前行路径：通过教导智能体如何一致地权衡其阅读到的词汇，我们可以使其更安全、更可靠，从而确保它们不会仅仅因为请求的表述方式不同，就意外地同意去做伤害性的事情。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。