Specifying the Delegated-Autonomy Boundary: Requirements Engineering for Agentic AI
本文通过引入“委托自主边界”的概念，并提出两种互补的产物——代理正当性记录（AJR）和分层代理委托策略（ADP），旨在系统地定义、证明并治理委托给自主系统的决策范围，从而应对代理式人工智能（Agentic AI）中独特的需求工程挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名宇宙飞船的舰长。在人类历史上大部分时间里，建造一艘船意味着编写一份严格的指令手册：“如果你看到红灯，向左转；如果你看到蓝灯，向右转。”这艘船是一个完美执行命令的机器人，但它无法独立思考。后来，我们发明了“智能”计算机，它们可以从数据中学习，就像一个阅读了整座图书馆书籍的学生，并据此猜测答案。但即使是这些聪明的计算机，大多也只是“猜测者”；它们在等待你去提问，然后给出答案。它们并没有真正地“自主行动”。
现在，我们正在进入一个“智能体 AI”（Agentic AI）的新时代。不要把这看作是一个猜测者，而要把它看作一种新型的船员。这位船员不仅仅是等待命令；它可以观察地图、决定拿起扳手、打开门、与另一名船员交谈并修复泄漏，而无需你告诉它每一个步骤。它拥有了一点点自己的想法。这令人兴奋，但也让人有些恐惧。如果你把引擎室的钥匙交给了一位船员，你如何知道他们不会意外撞毁飞船？你如何决定他们被允许触碰什么，以及什么时候你需要介入并接管方向盘？这是一个大问题：我们该如何为能够自主行动的机器人设定规则？
这篇论文正是针对这一问题展开讨论的。作者 Chetan Arora、Andreas Vogelsang 和 Abbi Sharma 认为，我们目前正在构建这些具有“行动力”的机器人，却并未写下它们自由度的规则。我们没有使用清晰的规则，而是将指令隐藏在混乱的计算机代码和模糊的提示词（prompts）之中。他们提出了一种设计这些系统的新方法，使用了两个特殊的工具：“正当性记录”和“授权策略”。
首先是代理正当性记录（Agency Justification Record, AJR）。想象一下你正在雇佣一名新实习生。在把办公室钥匙交给他们之前，你必须问：“我们真的需要一名实习生吗，还是直接用一台自动售货机就行？”AJR 是一个强制团队回答这个问题的清单。它会询问：这项任务是否过于复杂，以至于无法用简单的脚本完成？它是否需要与不同的系统进行通信？如果实习生犯了错，我们能否阻止他们？论文建议，如果你无法勾选清单上的所有选项，就不应该构建“智能体”；你应该只使用更简单、更安全的工具。例如，作者在测试一个“代码审查”的想法时发现，审查代码实际上是一项具有明确规则的结构化工作，因此不需要一个花哨的、会思考的机器人；一个简单的脚本会做得更好且更安全。AJR 的意思是：“如果计算器就能搞定，就不要造机器人。”
但如果你确实需要一个机器人，那就是第二个工具发挥作用的地方：智能体授权策略（Agentic Delegation Policy, ADP）。这是为你机器人船员制定的“自由规则手册”。与其仅仅说“去修理飞船”，ADP 会详细拆解机器人可以做和不可以做的事情，并使用一个层级化的权限系统。
把 ADP 想象成机器人行动的交通信号灯系统：
- 绿灯（自主层/Autonomous Tier）： 机器人可以独立完成这些事情，比如阅读地图或检查温度。不需要人类监督。
- 黄灯（建议层/Advisory Tier）： 机器人可以提出建议，比如“我认为我们应该更换发动机机油”，但它必须等待人类说“好，去做吧”之后才能实际行动。
- 红灯（禁止层/Prohibited Tier）： 这些是“请勿触碰”区域。机器人被严禁从事诸如撞毁飞船或删除重要文件之类的行为，无论如何都不行。
ADP 还涵盖了其他重要的规则，例如：
- 记忆： 机器人可以记住什么？它可以保留关于患者或代码的秘密吗，还是必须在任务完成后将其遗忘？
- 团队协作： 如果机器人感到困惑或者两个机器人产生分歧，它们该找谁？ADP 说：“如果尝试两次都无法解决问题，就停止并询问人类。”
- 安全性： 我们如何知道机器人说的是真话？该政策要求机器人记录它所做的一切，以便人类日后核查。
作者通过两个截然不同的例子测试了这些想法。第一个是“医院出院智能体”，这是一个旨在帮助患者办理出院手续的机器人。这项工作非常繁琐，涉及与保险公司和医生沟通，且一旦出错风险极高。AJR 表示：“是的，这正是机器人的完美工作场景，”而 ADP 给出了严格的规则：它可以读取患者病历（绿灯），但绝不能在没有医生批准的情况下签署出院医嘱（红灯）。第二个例子是前文提到的“代码审查智能体”。AJR 查看后表示：“不，这太简单且过于结构化了。不要在这里使用机器人，请使用脚本。”
论文并不声称已经解决了所有问题。它承认我们仍需研究如何将这些书面规则转化为机器人能够理解的实际计算机代码，以及如何对其进行妥善测试。但核心思想是明确的：我们不能任由这些强大的机器人横冲直撞。我们需要停止将规则隐藏在代码中，而是开始清晰地写下规则，决定给予多少自由度，以及何时收回控制权。通过使用 AJR 来决定是否需要机器人，以及使用 ADP 来决定如何让其行动，我们可以构建一个未来——在那里，这些数字船员是得力的助手，而非危险的变数。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。