Governing agentic AI autonomy: an accountability-contingent frontier of organizational decision outcomes
本文通过提出一种预期结果模型，将问责架构作为设计变量，共同优化效率增益、错误成本和监管负荷，从而为安全的组织决策定义一个可处理的治理前沿，以此调和了关于智能体 AI 自主性的冲突观点。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个计算机不再仅仅是遵循指令，而是能够做出自主选择的世界。这是一个“智能体”（agentic）人工智能的时代。不同于等待特定输入的简单计算器，这些系统可以设定自己的目标、使用工具，并在极少人类帮助的情况下采取多个步骤来完成一项工作。随着这些系统变得越来越强大，公司正将越来越多的决策权交给它们，从审批贷款到管理供应链。但这种转变提出了一个难题：在机器变得危险之前，我们应该给予它多少自由？
多年来，专家们一直在两种截然不同的观点中争论不休。一群专注于效率的人认为，机器越聪明，就应该拥有越多的自由。他们将自主性视为一种节省时间和提高结果的资源，并假设更多的权力总是会带来更好的结果。另一群专注于安全与责任的人则认为，给予机器过多的自由会造成问责制的缺口。如果机器犯了错误，很难知道该由谁负责，因此他们主张必须严格限制机器的行为。这两派观点一直处于各说各话的状态，每一方都只看到了半个画面：一方看到了自动化的速度和收益，却忽略了错误的代价；另一方看到了错误的风险，却忽略了自动化带来的效率。
来自天津师范大学的研究人员陆超（音译）和马晓西（音译）的一项新研究将这两种观点结合在了一起。他们提出，答案并非是在“更多”或“更少”自由之间做简单的二选一。相反，他们认为存在一个特定的“甜点区”（sweet spot），在这里，收益的速度与风险的代价达到了完美的平衡。他们的工作引入了一种看待人工智能治理的新方式，即将我们为机器设定的规则不仅视为一种“刹车”，而是一种设计工具，可以让我们安全地赋予机器更多的权力。
为了找到这种平衡，研究人员建立了一个权衡三者的模型。首先，他们计算了效率增益：机器自主行动节省了多少时间和精力。其次，他们计算了错误成本：当机器做出错误决策时会发生什么。第三，他们衡量了监督负荷：人类观察机器并捕捉其错误所需的注意力。他们发现，随着给予机器更多的自由，效率会上升，但代价高昂的错误风险也会随之上升，且上升速度往往快于效率的增长。与此同时，人类监管的需求也在发生变化。如果给予机器过多的自由，人类可能会停止关注，或者可能会因为试图捕捉每一个错误而感到不堪重负。
研究人员通过三种方式测试了他们的想法。首先，他们回顾了十六项关于人工智能自主性的近期研究。他们发现，这些研究的结果完全取决于研究人员测量的内容。那些仅关注机器预测准确性的研究发现，更多的自由总是会导致更好的结果。然而，那些关注决策实际后果——即计入错误成本和监督精力的研究——发现收益最终会达到顶峰然后开始下降。这解释了为什么专家们争论了这么久：他们测量的东西根本不同。
接下来，团队查看了现实世界的数据。他们分析了 2019 年至 2026 年间涉及人工智能系统的 1,383 起记录在案的事件，追踪了随着更多组织开始使用人工智能，问题发生的频率如何变化。他们发现了一个清晰的模式：随着人工智能的使用量增加，事故数量最初会急剧上升。然而，数据表明这种上升不会永远持续下去。相反，风险曲线在达到一个特定点后似乎会向下弯曲，具体是在大约 73% 的组织开始使用人工智能时。这表明，随着应用变得广泛，诸如更好的治理或市场饱和等因素开始减缓新风险的增长。
最后，研究人员运行了一个计算机模拟，以观察不同的规则将如何改变结果。他们测试了四种不同类型问责制系统，范围从完全没有规则到一种结合了“行动前严格界限”与“行动后清晰责任链”的混合系统。模拟显示，规则的类型比机器的能力更重要。在拥有强大的混合问责系统的情况下，一个组织可以安全地赋予机器更高水平的自由——在五级量表中约为 4.3 级——而不增加灾难风险。如果没有这样的系统，同等水平的自由将是不安全的，最优水平会降至约 3.7 级。
这项研究并未声称找到了适用于每种情况的单一“魔力数字”。研究人员谨慎地指出，他们的发现是基于具有局限性的模拟和历史数据，例如依赖于报告的事件，这可能无法捕捉到每一个错误。他们也承认，人类监督的成本是一个现实因素，可能会使高水平的自由变得难以管理。然而，他们的工作提供了一个理解这种权衡的清晰框架。它表明，“多少自主权是安全的”并不是一个取决于机器智能程度的谜题，而是一个由效率、错误成本和我们制定的规则所构成的可计算的平衡。
通过将问责制视为一种设计变量而非仅仅是限制，研究人员为组织提供了一条前进的路径。他们建议，如果一家公司想要赋予其人工智能系统更多的权力，它不应只是听天由命。相反，它应该投资于一套更强大的监督和责任体系。这样做不仅能防止坏事的发生，实际上还能改变整个格局，让组织能够在比以往更高的效率和自由度水平上运行。研究结论认为，人工智能治理的未来在于找到这个特定的点，即机器的速度与人类的安全能够协同工作的点，从而将一个理论上的辩论转化为一个实际的工程问题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。