COCORELI: Enforcing Execution Preconditions for Reliable Collaborative Instruction Following
本文介绍了 COCORELI，这是一种模块化架构，通过将缺失信息的检测与行动阻止进行结构性耦合来确保执行可靠性，从而在通过针对性澄清解决未明确规范之前，阻止自主代理执行任务。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正与一位朋友共同搭建一座复杂的乐高城堡。你是建筑师，而你的朋友是建造者。你发出指令，例如：“把一块红砖放在蓝砖上面。”
在现实世界中，你可能会假设你的朋友知道哪一块红砖，或者“上面”确切指的是什么位置。但在人工智能代理的数字世界里，如果你没有指定每一个细节，人工智能往往会试图猜测缺失的部分。它可能会选错砖块，或者将其放在错误的位置；由于它对自己的猜测过于自信，最终会搭建出一座歪斜的塔楼。一旦错误发生，就很难修正。
本文介绍了一种名为COCORELI（语言指令的协作、重构与执行）的新系统，旨在解决这一问题。
核心问题：“猜测”陷阱
当前的 AI 系统就像过于热心的实习生。如果你让它们“预订会议”，却忘了说明邀请谁，它们可能会凭空捏造一个名字，或者从列表中随机挑选一个人。它们能察觉到信息缺失，但不会停止；它们只是用猜测填补空白并继续执行。这会导致“幻觉”（凭空捏造）和不安全的操作。
作者认为，检测到信息缺失是不够的。你需要一个系统，在缺失的信息被找到之前，从物理上阻止该操作执行。
解决方案：“安全锁”类比
将 COCORELI 想象为一个设有严格安全锁的施工现场。
- 蓝图（结构化表示）： COCORELI 不仅仅是阅读你的文字，而是将你的指令转化为严格的数字蓝图（一个 JSON 文件）。蓝图的每个部分都有一个插槽：颜色、位置、类型。
- 缺失的插槽： 如果你说“放置一块砖”，蓝图中的“颜色”插槽就是空的。
- 安全锁： 在 COCORELI 中，机器设有一个安全锁，其规则是：“如果任何插槽为空，机器不得移动。” 它 literally 拒绝执行搭建操作。
- 澄清： 系统不会猜测，而是立即停止并向你提问：“这块砖应该是什么颜色？”
- 释放： 只有在你回答并填满插槽后，安全锁才会释放，允许操作执行。
实际运作方式
该论文在一个受控的 3D 建造游戏（称为ENVIRONMENT）中测试了该系统，在该环境中错误是永久性的。如果你将方块放置在错误的位置，结构就会坍塌，且无法撤销。
研究人员将 COCORELI 与其他流行的 AI 方法进行了比较：
- 思维链（CoT）： 就像一位聪明的学生，虽然深思熟虑，但如果不确定，仍然会猜测答案。
- 代理框架： 就像一群互相交谈的工人，但如果他们认为信息足够，仍会继续执行。
- COCORELI： 就像一位严格的工头，在确认每一个细节之前，绝不允许铺设任何一块砖。
结果：
- 当指令完美无缺时，所有系统表现良好。
- 当指令缺失细节（未充分指定）时，其他系统继续猜测并搭建出错误的结构。
- COCORELI 从不猜测。它停止执行，请求澄清，然后搭建出完全正确的结构。在这些测试中，它彻底消除了“幻觉”操作。
“复制粘贴”超能力（抽象能力）
该论文还表明，COCORELI 可以学习一种模式并加以复用。
- 场景： 你使用 62 个部件搭建了一个复杂的“骷髅”形状。
- 请求： 随后，你说：“再给我建一个骷髅，但要改成蓝色，并放在那边。”
- 结果： COCORELI 不需要你再次列出所有 62 个步骤。它记住了骷髅的结构（即“蓝图”），只需交换颜色和位置即可。其他系统在不重新列出每一步的情况下，难以记住这种复杂模式。
结论
该论文声称，为了让 AI 在与人类协作时真正可靠，我们不能仅仅依赖让 AI“更聪明”或更擅长猜测。我们需要改变架构（系统的设计），使得 AI 在信息不完整的情况下不可能执行操作。
COCORELI 证明，通过将缺失的信息视为“停止标志”而非“猜测提示”，我们可以构建出安全、可靠且真正协作的代理。这无关乎 AI 是否更聪明，而在于系统是否更加严格。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。