ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning
ANNEAL 是一种神经符号智能体，它通过将失败转化为对符号过程知识图谱的受控且经过验证的编辑，同时不修改基础模型的权重，从而确保安全、持久地消除重复出现的执行错误。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一个非常聪明、乐于助人的机器人助手（一个大型语言模型智能体），它可以预订酒店、管理 IT 工单或处理订单。有时，这个机器人会犯错。
问题：“重复犯错”循环
大多数现有的机器人助手就像是一个忘记了自己为何失败的人。如果他们在“禁订日期”尝试使用公司信用卡预订酒店并被拒绝，他们可能会立即换一张卡再次尝试。如果成功了，他们就会继续前进。但如果你下周再次要求他们用同一张公司信用卡在同一天预订酒店，他们会再次犯下完全相同的错误。他们实际上并没有学会这条规则；他们只是这次运气好。由于他们遵循的“操作手册”尚未被修正，他们会在同一个底层逻辑错误上不断失败。
解决方案：ANNEAL（“规则手册修复器”）
这篇论文介绍了一个名为ANNEAL的新系统。ANNEAL 不像其他系统那样试图重新训练机器人的大脑（这既缓慢又充满风险），而是像一位严格的编辑，每当发生重复性错误时，就修复机器人的操作手册（其符号过程知识）。
以下是 ANNEAL 的工作原理，使用了一个富有创意的类比：
1. “侦探”阶段（定位）
当机器人失败时，ANNEAL 不会只说“再试一次”。它像一个侦探一样行动。它会审视失败，并问道：“操作手册中的哪条具体规则导致了这次失败？”
- 类比：想象一位厨师烤焦了蛋糕。ANNEAL 不会只是告诉厨师“更努力一点”，而是指出食谱中的具体步骤：“你把蛋糕放进烤箱时温度设为 500 度，但规则规定是 350 度。”
2. “起草人”阶段（受限生成）
一旦找到错误的规则，ANNEAL 会要求机器人编写一条新规则来修复它。但这里有个限制：机器人不允许写诗或模糊的建议。它必须编写一个严格的、带类型的代码补丁（就像一行具体的代码），以适配现有的手册。
- 类比：机器人就像一位初级建筑师。它不能随意画一座新建筑；它必须提交一份具体的、蓝图化的基础计划变更，例如“在此处添加一根支撑梁”。
3. “安全委员会”阶段（治理）
这是最独特的部分。在新规则真正被添加到手册之前，它必须通过严格的安全检查。ANNEAL 使用多层“安全委员会”来审查新规则：
- 逻辑检查：这条新规则是否会破坏其他任何内容？（例如：“如果我们允许使用公司信用卡，是否会破坏预算？”）
- 伦理检查：这是否违反了任何道德或公司政策？（例如：“这条规则是否被法律允许？”）
- 金丝雀测试：系统在安全、模拟的沙箱环境（类似于飞行模拟器）中尝试新规则，以查看其是否能在不崩溃的情况下运行。
- 类比：这就像提出一项新法律。它不会因为总统签署就自动成为法律。它必须通过参议院（逻辑）、最高法院（伦理）和公开试运行（金丝雀测试），然后才能正式颁布。
4. “永久修复”（提交）
如果新规则通过了所有测试，ANNEAL 就会提交它。这意味着操作手册被永久更新。
- 结果：下次机器人尝试预订那家酒店时，它甚至不会尝试错误的路径。它会看到新规则（“这些日期禁止使用公司信用卡”），并自动选择另一条路径。错误将永远消失。
- 类比：这就像修复路上的一个坑洼。以前，汽车总是撞到它。现在，路面已经覆盖了那个坑洼。再也没有人撞到它了。
为什么这很特别？
论文将 ANNEAL 与其他系统（如 ReAct 和 Reflexion）进行了比较：
- 其他系统：它们就像一个为考试努力学习、通过了考试，但第二天就忘记了教训的学生。它们可以在单个任务执行过程中进行恢复，但如果你稍后给它们同样的故障任务，它们会再次失败。
- ANNEAL：它就像一个学生在数学题失败后，在教科书中写下更正，从而确保自己永远不会再犯同样的特定错误。
结果
在跨越四个不同领域（旅行、电子商务、IT 等）的测试中，ANNEAL 是唯一一个永久修复了底层规则的系统。
- 其他系统在重复性故障上的失败率高达 72% 至 100%（它们不断重复犯同样的错误）。
- ANNEAL 将其降低到了0%。一旦它修复了一条规则，该错误就再也不会发生。
总结
ANNEAL 是一个将“哎呀，我犯错了”转化为“我已更新规则手册，使此错误不再可能”的系统。它通过在不改变机器人大脑的情况下，仔细编辑其操作手册并辅以严格的安全检查来实现这一点，确保机器人随着时间的推移变得更聪明、更安全。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。