想象一下，你刚刚交给一个超级聪明的机器人一套制作完美蛋糕的指令。你给了它一个（曾经）完美运行过的食谱（一种“技能”）。但这一次，机器人忘记了预热烤箱，或者把盐当成了糖，或者决定跳过抹糖霜的步骤。尽管机器人知道如何烘焙，但它却在细节上不断出错。这就是目前“LLM智能体”（LLM agents）的现状——这些由巨型语言模型驱动、能够规划、使用工具并解决复杂问题的计算机程序。它们才华横溢，但也有点“飘忽不定”。因为它们是基于刚刚产生的想法逐字生成动作的，对话中的微小变化就可能导致它们误入歧途，从而在处理曾经完成过的任务时失败。科学家们希望这些智能体能像瑞士钟表一样可靠，而不是像天气预报那样难以捉摸。

于是有了 SKILLSENTRY，一个旨在为这些数字智能体担任“保镖”和“教练”的新系统。你可以把它想象成站在机器人烘焙师身旁的一位极其专注的副厨。SKILLSENTRY 并不试图教机器人一种全新的烘焙方式（这既困难又缓慢），它是在实时观察机器人的每一个动作。它拥有一份特殊的清单（一种“运行时引导”），这份清单是通过研究原始食谱以及过去机器人成功或失败的所有记录而构建的。如果机器人试图在预热烤箱之前就把蛋糕放入烤箱，SKILLSENTRY 会温柔地阻止它，说：“嘿，你跳过了一个步骤！让我们把它修复过来，”并引导它回到正轨。研究表明，通过这种方式，智能体的表现变得更加一致，任务成功率平均提升了 24.1%，并且当你要求它们重复执行同一项任务时，它们不再会出现随机错误。

问题所在：那份“飘忽不定”的天才

想象你有一个天才朋友，他能解决任何谜题，但很容易分心。如果你让他解一道数学题，他可能会解得完美无缺。但如果你在五分钟后用完全相同的问题问他，由于你措辞上的微小差异，他可能会感到困惑并给出一个错误的答案。这就是 LLM 智能体的情况。它们拥有“技能”——即关于如何执行特定工作的预设指南，比如分析财务数据或修复计算机代码。但即使有了这些指南，智能体也经常偏离路径。它们可能会跳过关键步骤、使用错误的工具设置，或者被指令中的微小变化搞糊涂。研究人员发现，即使智能体具备完成工作的能力，它也往往无法稳定地完成工作。

解决方案：“聪明保镖”

该论文的作者开发了 SKILLSENTRY 来解决这个问题。他们并没有尝试重新编写机器人的大脑（那太庞大且复杂）。相反，他们在机器人工作时为其打造了一个安全网。

其工作流程如下，分步进行：

1. 规则手册 (DSL)： 首先，SKILLSENTRY 读取智能体的“技能文档”（食谱），并将其转化为一份严格的、计算机可读的清单。它将工作分解为微小的步骤，例如“步骤 1：加载数据”、“步骤 2：清洗数据”、“步骤 3：应用过滤器”。
2. 教学计划 (挖掘经验)： 接着，它查看机器人过去的尝试记录。它研究机器人做对的情况以及做错的情况。它从中学习到诸如“噢，机器人经常在过滤之前忘记清洗数据”或“它倾向于在过滤器中使用错误的数值”之类的经验。它将这些教训转化为具体的警告和提示。
3. 实时监控： 现在，机器人开始工作了。SKILLSENTRY 监视着它的每一个动作。
   • “进入”检查： 当机器人准备开始一个新步骤时，SKILLSENTRY 会低声提醒：“记得在开始前检查数据顺序！”
   • “停止”信号： 如果机器人试图跳过步骤或做出看起来像过去错误的动作，SKILLSENTRY 会按下暂停键。它不允许机器人继续进行。相反，它会说：“等等，你跳过了步骤 2！回去把它做完。”
   • “完成”检查： 在机器人说“我完成了！”之前，SKILLSENTRY 会最后一次检查清单，以确保每一个要求的步骤都确实已完成。

自我进化的魔力

最酷的部分在于，SKILLSENTRY 随着工作的增加而变得越来越聪明。每当机器人完成一项任务（无论成功还是失败），SKILLSENTRY 都会保存这个过程。它利用这些新的故事来更新其清单和警告。这就像一位教练，观看比赛，发现一个新的错误，然后立即编写一个新的训练项目，以便在下次练习中予以纠正。论文显示，随着 SKILLSENTRY 收集的故事越来越多，机器人的表现也变得越来越好，并随时间推移趋于稳定。

数据说明

研究人员在 15 种不同的技能（如分析经济趋势、修复计算机代码或可视化数据）上测试了该系统，并使用了两种流行的机器人智能体和四种不同的“大脑”模型（底层的 AI 技术）。

• 成功率： 平均而言，SKILLSENTRY 将这些智能体的成功率提升了 24.1%。这意味着，如果一个智能体的成功率原本是 60%，它会跃升至 77% 以上。
• 一致性： 此前，智能体的表现有些波动；如果你问他们同一个任务五次，他们可能成功 3 次，失败 2 次。有了 SKILLSENTRY，他们变得更加稳健。其性能的“摆动”（标准差）降低了 41.1%。
• 速度： 该系统非常轻量。它仅增加了约 8.7% 的“思考时间”（Token 成本）和不到 1% 的实际计算机处理时间。为了巨大的可靠性提升，付出的这点代价是非常划算的。

它“不是”什么

了解 SKILLSENTRY 不做的事情也很重要。它并不教机器人一项全新的技能。如果机器人本身太笨，根本无法理解这项任务，SKILLSENTRY 也无法修复这一点。它只在机器人已经具备完成工作的基本能力，但只是在细节上不断出错时才起作用。它也不负责修复机器人选择“正确技能”的能力，它只负责确保机器人在选定技能后遵循指令。

总结

这篇论文表明，我们并不总是需要为 AI 智能体构建更大、更聪明的“大脑”。有时，我们只需要一种更好的方式在它们工作时进行监督。通过将严格的清单与从过去错误中汲取的教训相结合，并通过实时的温和干预，我们可以将那些飘忽不定、表现不一的机器人转变为可靠、勤奋的伙伴。结果表明，这种“运行时保障”（runtime assurance）是一种强大的手段，能让 AI 智能体变得足够可靠，从而投入到现实世界的应用中。