← 最新论文
💻 computer science

Making Agent-Mediated Contributions Governable: A Project-Level Governance Manifest for Open-Source AI Collaboration

本文通过引入代理治理清单(Agent Governance Manifest, AGM)来应对开源软件中 AI 生成贡献所带来的治理挑战,该清单是一个托管于仓库的框架,通过在贡献方证据准备与维护方验证之间建立结构化契约,在保留维护者权威的同时,显著提升了风险评估的准确性与审查支持。

原作者: Jinjin Gao, Luyang Li, Shufen Guo, Ligang He, Xiaoning Sun

发布于 2026-07-20
📖 1 分钟阅读☕ 轻松阅读

原作者: Jinjin Gao, Luyang Li, Shufen Guo, Ligang He, Xiaoning Sun

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

想象一下,互联网就像一座由志愿者建立的、不断扩张的巨大城市。在这座城市中,“建筑”是软件程序,而“蓝图”是任何人都可以阅读、修复或改进的开源代码。几十年来,这座城市的运行遵循着一个简单的规则:如果你想改变一座建筑,你需要将你的计划交给城市的建筑师(称为“维护者”),他们会进行检查,以确保这些计划是安全的,不会导致整个街区坍塌。但现在,一种新型的工人来到了这里:AI 编程智能体。把这些智能体想象成超级快速、不知疲倦的机器人,它们可以起草蓝图、编写施工手册,甚至在几秒钟内修复泄漏。问题在于,这些机器人的建造速度实在太快了,以至于人类建筑师无法跟上检查进度。这就像是一个每分钟生产 1,000 份房屋设计图的工厂,但你却只有一个每小时只能检查一份设计图的检查员。如果机器人犯了错,整个城市都可能陷入危险。这正是本论文所探讨的核心问题:我们如何确保这些由机器人构建的计划是安全、可问责且准备好接受人类建筑师批准的,同时又不减慢机器人的速度或让人类不堪重负?

研究人员高金金(Jinjin Gao)及其团队决定调查开源项目目前是如何应对这场机器人革命的。他们查看了 GitHub(一个巨大的在线代码库)上的 50 个热门软件项目,以观察这些项目的“城市规则”是否已经为 AI 工人做好了准备。他们发现,虽然大多数项目拥有完善的人类规则,甚至还有关于机器人如何阅读蓝图的指令,但它们完全缺失了关于机器人在人类签字批准前必须证明什么的规则。这就像是一个拥有机器使用说明书的工厂,却没有任何关于产品出厂前安全检查清单的规定。

为了解决这个问题,该团队发明了一种名为**智能体治理清单(Agent Governance Manifest, AGM)**的新工具。可以将 AGM 想象成一份智能的数字“安全护照”,每一份由机器人生成的计划都必须携带这份护口。机器人(在人类的引导下)不仅仅是提交一堆代码,还必须填写这份护照。护照会注明:“这是我们修改的内容,这是风险等级(低、中、高),这是我们测试过的证明,以及一份人类的签名,表示‘我已检查此项,并承担相关责任’。”

该团队在一个受控实验中测试了这个想法。他们邀请了 15 位人员扮演城市建筑师,并审查了 75 份不同的“施工计划”。其中一半的计划只是通常那种杂乱的代码(“普通”方式),另一半则附带了新的 AGM 安全护照。结果非常明确:当建筑师拥有 AGM 护照时,他们能够正确识别变更风险等级的准确率达到了 97.4%(38 例中的 37 例)。如果没有护照,他们的正确率仅为 40.5%(37 例中的 15 例)。研究人员还发现,人们觉得 AGM 系统提供了更多的支持,其评分高达 6.14 分(满分 7 分),而传统方式仅为 3.27 分

在另一侧,他们测试了机器人和其人类伙伴是否真的能够制作这些护照。他们让 15 对人类与机器人的组合完成了 45 项任务。结果显示:每一个最终交付的包都正确体现了核心安全规则,并且有 41 个包通过了严格的结构检查。人类能够确认工作内容,而机器人则承担了收集证据的繁重工作,且机器人从未夺取最终的决策权。

论文指出,我们不需要禁止 AI 或让机器人包揽一切。相反,我们需要一个位于机器人的速度与人类的判断力之间的“治理基础设施”。AGM 起到了桥梁的作用:它强制要求机器人将其工作组织成一种清晰的、基于证据的格式,以便人类快速验证。这确保了人类在最终的“是”或“否”决策中始终处于驾驶位,同时让机器人处理收集证据等琐碎工作。

简而言之,这项研究表明,通过给机器人一份结构化的“安全护照”去填写,我们可以保持开源城市的既安全又高效。这并不是要阻止机器人,而是要确保它们在施工队开始建造之前,明确知道需要向人类建筑师展示什么。研究人员发现,这种方法在受控测试中表现良好,使人类更容易识别风险并验证安全性,但他们也指出,仍需在真实的开源社区中进行实地测试,以观察其长期表现如何。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →