Protocol-Governed Human–AI Software Engineering: Autonomy Without Authority
本文提出并实证评估了一种协议驱动型计算架构，该架构将活动自主权与授权权威分离，展示了人类监督如何通过明确的准入、晋升和封存协议来治理人工智能驱动的软件工程，同时识别了防护机制需要改进的具体领域。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代软件创作的世界中，一种新型的劳动者已经到来：一种能够编写代码、设计系统并在无需睡眠的情况下修复错误的智能人工智能。这种转变改变了程序的构建方式，但也引发了一种无声而危险的混乱，即关于谁才是真正的掌控者。几十年来，编写代码的人同时也决定着代码被允许做什么。当一名人类开发者合并一项变更时，他们隐含地是在说：“我已经检查过了，这是安全的，可以运行。”但当人工智能编写代码时，人类往往只负责审查最终产品。这产生了一个差距：人工智能拥有构建的力量，但人类仍然持有授权的力量。问题在于，这两种力量是否可以分离。机器是否可以被允许承担所有的工程重任，而由人类或一套严格的规则来成为唯一能决定最终软件被允许执行什么的人？
这就是独立研究员巴什·甘蒂（Bhash Ganti）最近的一项研究所探讨的核心谜题。这项工作探索了一个被称为“协议驱动计算”（Protocol-Governed Computing）的具体架构理念。简单来说，这是一个程序在构建之前，其行为规则就已经被锁定的系统。该系统不是在代码编写完成后再检查其是否遵循规则，而是强制要求构建者在预先批准的权限“笼子”内进行构建。构建者可以设计和组装部件，但他们无法改变这个笼子本身，也无法在未通过特定且独立的检查时，决定让完成的机器运行。其目标是观察人工智能是否可以在不获得修改规则或强制运行软件的权限的情况下，完成整个软件工程的工作——包括分析需求、设计方案以及编写代码。
为了测试这一点，研究人员建立了一个受控环境，给一个人工智能代理分配了一项特定任务：为现有的软件系统添加一个新功能。这个代理不仅仅是一个提出建议的简单助手；它是一个必须导航复杂九步流程的自主工作者。这一过程始于人类定义项目的范围和管理它的规则。随后，人工智能必须分析当前系统、设计一个新功能并编写必要的代码。至关重要的一点是，人工智能不能仅仅编写代码并将其保存。它采取的每一步都会被记录，它产出的每一件作品都必须通过一系列自动化检查点。这些检查点充当了守门人的角色，验证新工作是否符合原始规则，并且没有试图偷偷引入未经授权的更改。如果人工智能试图违反规则，系统就会阻止它。如果它遵循了规则，其工作将被密封进一个新的、不可变的形态中，从而可以被软件运行。
实验成功证明了人工智能确实可以完成这项工作。该代理成功分析了现有系统，为数字图书馆设计了一个新的贷款功能，并生成了所有必要的代码和文档。它是通过查询现有系统来理解当前状态，而不是依靠猜测或记忆训练中的细节。它产出了一个符合预设规则的新软件版本候选体。然而，最重要的发现并非人工智能能够构建，而是它无法授权。系统设计使得人工智能无法将其工作提升为官方运行版本的正式版本。尽管人工智能构建了候选体，但仍需一名独立的人类操作员明确批准，它才能成为新的基准。人工智能拥有构建的自主权，但在决定系统下一步要做什么方面却完全没有权威。
研究还密切观察了证据，以确保系统确实按预期工作。研究人员尝试通过移除某些安全检查来测试系统是否真的有效，以观察人工智能是否能溜过去。在六个特定测试中的四个，系统正确捕捉到了违规行为并拒绝继续。然而，在另外两个测试中，系统未能检测到某个安全检查已被移除，尽管该检查本应存在。这是一个重大的发现：它表明虽然架构是稳固的，但用于证明其有效性的特定测试有时过于薄弱。测试通过并不总是意味着安全防护措施确实在履行职责。这为未来提供了一个关键教训：制定规则并不等同于拥有证明规则正在被执行的证据。
最终，这项研究表明，我们可以赋予人工智能从事复杂软件工程的自由，而不必赋予其支配软件规则的权力。将“从事工作”与“决定允许做什么”相分离，是该系统的结构性特征，而非仅仅是一项政策。人工智能可以成为构建者，但权威仍然属于被密封的规则以及批准最后一步的人类操作员。这并不意味着人工智能因为有人在看视而变得安全；这意味着系统的设计是让人的角色在于设定边界并批准结果，而人工智能完全在这些边界内运作。研究结论认为，只要我们为这些工作构建好正确的“笼子”，我们就可以在不将数字系统的控制权转移给它们的前提下，提高数字工作者的自主性。剩下的挑战在于，确保我们用于验证这些“笼子”是否牢固的测试，足以捕捉到每一次试图突破它们的尝试。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。