Governable agentic intelligence: a lifecycle framework linking capability, assurance, and oversight in large language model agents
本文介绍了智能体生命周期（Agentic Intelligence Lifecycle, AIL），这是一个将能力、评估与治理相结合的六层框架，旨在解决智能体 AI 系统中固有的“保证债”问题，并为创建可观测、可归因且可治理的智能体提出了新的研究议程。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在过去的几年里，人工智能经历了一场悄无声息却又深刻的转变。长期以来，这些系统就像是非常出色的图书管理员：你向它们提问，它们便从其庞大的内部知识库中搜索答案。如果答案错了，你只需再次询问或自己去查证。计算机负责思考，但人类负责决策。然而，今天一种新一代的软件正在涌现，它们不仅能回答问题，还能采取行动。这些通常被称为“智能体”（agentic）AI的系统，可以观察一个目标，将其分解为若干步骤，在互联网上搜索信息，使用软件工具进行计算或创作，甚至与其他类似的系统交谈以完成任务。它们不再仅仅是预测句子中的下一个词，而是在数字世界中航行并改变它。
这种新的能力带来了一系列独特的挑战。当一台计算机仅仅是在写故事时，一个错误只是一个错别字。但当一台计算机被赋予了预订机票、转账或控制工业机械的权力时，一个错误可能会产生现实世界的后果。研究人员的核心问题不再仅仅是这些系统是否足够聪明到能解决问题，而是它们是否足够可靠，能够安全地执行任务。如果给予系统太多的自由，它可能会在无人察觉的情况下做出有害的决定；如果给予太少的自由，它就会变得毫无用处。寻找这种平衡点是这个新时代的定义性问题。
来自阿登大学（Arden University）的研究员哈里·乌多（Harry Udoh）最近通过审视这些智能体领域的整个研究版图，着手解决了这一问题。乌多并没有研究单一的软件，而是考察了 19 篇发表于 2024 年至 2026 年间的重要综述文章。这些综述涵盖了从该技术的底层构建模块到如何对其进行测试以及如何保持其安全性的方方面面。通过将这些独立的线索编织在一起，乌多创造了一种看待全局的新方式，他认为我们必须停止将这些系统仅仅视为智能模型的集合，而应将其视为由思考、行动和检查持续构成的复杂循环。
乌多工作的核心是一个被称为“智能体智能生命周期”（Agentic Intelligence Lifecycle）的框架。想象一下，一个系统是一个六层结构，每一层都依赖于其下层，但也引入了新的风险。底层是基础层，即提供原始智能的基础模型。第二层是认知层，系统在此进行步骤规划并记忆过去的事件。第三层是落地层（grounding），通过工具和信息检索将系统与外部世界连接起来。第四层是编排层（orchestration），系统在此协调自身的行动或与其他智能体协作。第五层是评估层，系统在此检查自己是否做得很好。顶层是治理层，涉及人类监督和安全规则。
这项研究最重要的发现是一个被称为“保证债”（assurance debt）的概念。在软件领域，“债”通常指开发过程中为了赶进度而采取的权宜之计，这些代价日后必须偿还。乌多指出，每当我们赋予 AI 智能体一项新能力时，我们也创造了一个新的差距，即它引入的风险与其用于管理这些风险的控制手段之间的差距。例如，赋予智能体在互联网上搜索信息的能力使其变得更聪明，但也带来了它可能会找到过时或误导性信息的风险。赋予它记忆功能使其随着时间的推移变得更有用，但也创造了它可能意外泄露隐私数据的风险。研究表明，这些风险不仅仅是副作用，它们是新能力的直接成本。如果一个系统获得了一个强大的新工具，却没能获得同样强大的监管该工具的方式，那么这种“债”就会增加。
乌多认为，这种“债”解释了为什么许多 AI 系统在测试中表现出色，但在现实世界中却会失败。在测试中，可能会要求系统解开一个谜题，它成功了。但在现实世界中，同一个系统可能会使用一个工具做出无法撤销的更改，或者它可能会依赖一个几天前产生的错误记忆。研究表明，我们不能仅仅测试系统是否完成了任务，我们必须测试它到达终点所经过的整个路径。它是否核实了事实？它在行动前是否请求了许可？它是否有办法在情况出错时停下来？
为了解决这个问题，该论文提出了一种评估这些系统的新方法，使其脱离简单的清单模式。我们不应只问“智能体是否完成了工作？”，而应该针对智能体尝试的每一项任务提出五个具体问题。第一，智能体被允许看到哪些信息？第二，它被允许做出哪些决策？第三，它被允许对外部世界做出哪些改变？第四，我们如何知道它是否成功了？第五，如果必要，人类如何介入并阻止它？这种方法将安全性视为设计的基本组成部分，而非事后添加的插件。它表明，智能体变得越强大，我们就必须越仔细地设计限制它的规则。
该研究还挑战了“让多个智能体协同工作总是更安全”的观点。虽然看起来一组智能体可以互相检查对方的工作，但研究指出，如果它们都使用相同的底层大脑或相同的信息源，它们可能会在同一时间犯下同样的错误。这意味着，一群智能体有时会创造一种虚假的安全感，即所有人都在为一个错误的答案达成共识。同样，论文警告不要过度依赖自动化系统来评判其他自动化系统的质量，因为它们可能会产生自身的偏见。
最终，论文得出结论，人工智能的未来取决于我们思考控制方式的转变。我们不能仅仅制造更聪明的机器并寄希望于它们表现良好。我们必须构建这样的系统：使行动的能力与被观察、被中断和被纠正的能力相匹配。目标不是停止这些系统的实用性，而是确保它们的实用性不会以牺牲安全性为代价。通过理解这些智能体的生命周期以及随之而来的能力债务，研究人员和开发者可以构建出不仅功能强大，而且可治理的系统，从而在关键时刻让保持人类在环（human in the loop）中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。