Agentic AI for Complex Decision-Making: A Systematic Critical Review of Planning, Memory, Tools, Safety and Assurance in Autonomous Systems
这项针对截至2026年6月的98个来源进行的系统性批判性综述，通过一个新的闭环框架评估了代理式人工智能（Agentic AI）的规划、记忆、工具使用及安全性，揭示了内在自纠错机制并不可靠、长程规划仍然薄弱以及使用工具的智能体易受注入攻击等问题，同时提供了一个可审计的证据矩阵和一份面向未来发展的优先路线图。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个不仅仅是在被问及问题时给出答案，而是致力于自主解决问题的计算机程序。它能够观察混乱的局面，将其分解为若干步骤，记住它所学到的知识，使用诸如网络浏览器或代码编辑器之类的数字工具，甚至能与其他程序交谈以完成任务。这就是“智能体”（agentic）人工智能所承诺的前景。多年来，计算机擅长预测句子中的下一个词或识别照片中的面孔，但它们是响应式的；它们在等待指令。而新一代系统是主动的。它们旨在进行长期的行动，通过一系列决策来实现目标，就像人类在修复复杂的软件漏洞或规划科学实验时所做的那样。驱动研究人员关注已久的问题是：这些数字智能体是否真的可以被信任，能够在没有持续人工监督的情况下可靠地完成这些工作。
由维洛尔理工学院（Vellore Institute of Technology）和东海岸大学（Universiti Tunku Abdul Rahman）研究人员发表的一项关于该领域的全面综述，对这个问题进行了深入审视。作者们并未仅仅列举最新的发明或描述这些系统的构建方式。相反，他们扮演了审计员的角色，收集并权衡了截至 2026 年中叶发表的近百项研究证据。他们的目标是将这些智能体的真实能力与炒作区分开来，检查这些系统在面对困难的多步任务时是否能如其宣传的那样有效。他们发现，尽管技术正在飞速发展，但在这些智能体在受控测试中的表现与其在现实世界中的表现之间仍存在显著差距。该综述表明，当前这一代的系统尚未准备好进行高风险、独立的任务，未来的路径需要建立特定的安全结构，而非仅仅等待计算机变得更加聪明。
研究人员首先将混乱的智能体研究领域整理成一张清晰的地图。他们确定这些系统依赖于四种主要能力：规划行动方案、随时间记忆信息、使用外部工具以及与其他智能体协作。他们还指出，一个仅仅遵循预写脚本的系统与一个真正能做出自主选择的系统之间存在关键区别。为了测试这些系统的可靠性，作者提出了一个标准框架，其中包含两个目前在大多数设计中都缺失的安全检查点。第一个检查点是验证步骤，即由一个独立的进程在执行智能体的计划之前对其进行检查。第二个是安全门，这是一个基于规则的屏障，旨在防止智能体采取危险行动，例如删除重要文件或将私密数据发送到错误的地方。
当团队将这一框架应用于目前存在的十个最著名的智能体系统时，结果令人清醒。这十个系统中，没有一个完整实现了这两个至关重要的安全检查点。大多数系统在“执行”部分表现出色——生成想法、调用工具和推进进度——但在“检查”部分却表现得异常脆弱。它们往往缺乏在行动前验证自身计划是否正确的机制，也极少拥有防止有害错误的硬性停止机制。作者发现，用于采取行动的机制比用于确保行动安全的机制要发达得多。这种失衡是危险的，因为正如研究人员所示，规划中的微小错误会随着时间的推移而累积。如果智能体在长任务的第一步中犯错，这个错误可能会产生连锁反应，导致即使智能体看起来正在取得进展，最终也会导致彻底失败。
其中一项最重要的发现涉及“自我纠错”的概念。许多开发者曾希望这些智能体能够简单地观察自己的工作，意识到错误并将其修复。综述发现，这种希望在很大程度上是错位的。当一个智能体在没有外部帮助的情况下尝试自我纠正时，它往往无法察觉到自己的错误，或者更糟，会让问题变得更严重。证据表明，只有当智能体从外部来源（如测试结果、人工审核员或确认某一步骤是否成功的工具）获得反馈时，自我纠正才能可靠地发挥作用。如果没有那个外部的声音，智能体很容易陷入一种自信但错误的推理循环中。
该综述还探讨了“使用多个智能体协同工作总是优于单个智能体”这一流行观点。研究人员发现，这并不一定成立。虽然智能体团队可以解决复杂问题，但如果给予它们相同的计算能力，它们往往无法超越设计良好的单个智能体。在许多情况下，团队中的智能体会重复相同的错误，或者被彼此搞混，这种现象被称为“群体幻觉”。只有在特定条件下，团队协作的优势才会显现，例如当智能体拥有不同且互不重叠的技能，且它们的错误不会相互强化时。
综述中最关键的洞察之一是关于安全的。作者认为，安全不能成为事后补救或添加到流程末端的简单过滤器。由于这些智能体可以采取现实世界的行动，安全性必须构建在它们做出决策的结构本身之中。综述强调，目前的安全性措施主要集中在训练计算机拒绝有害请求，这还远远不够。一个系统可以被训练得很有礼貌并拒绝说出坏话，但如果它随后被访问网站中的隐藏指令所欺骗，它仍可能执行有害行动。研究人员得出结论，可靠的智能体需要一种“深度防御”的方法，即在智能体的决策与现实世界之间建立多层保护，包括权限检查和沙盒环境。
最后，团队考察了这些系统在医疗保健、金融和公共服务等重要领域投入实际应用的成熟度。他们发现，对于最高风险的领域，几乎没有任何证据表明这些智能体已经准备好独立工作。在软件工程等风险较低且错误易于撤销的领域，虽然看到了一些成功的迹象，但即便是在这些领域，系统在处理长期、复杂任务时依然感到吃力。综述建议，当前的技术状态最好被描述为一种具有前景的能力，但仍在等待使其变得值得信赖的基础设施。未来的路径不仅在于构建更聪明的模型，更在于构建更好的验证、安全和问责系统。研究人员提出了一个未来几年的路线图，优先考虑这些结构性的改进，并认为在这些基础到位之前，在关键领域部署完全自主的智能体仍然面临过高的风险。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。