Governing AI Coding Agents: An Empirical Analysis of Repository Artifacts
本研究通过对 555 个 GitHub 仓库治理工件进行实证分析，揭示了尽管这些工件能有效促进知识传递和编码标准，但它们缺乏稳健的监督机制，且与组织成熟度或领域之间不存在系统性相关性，从而凸显了诸如指令模糊和碎片化等重大缺陷。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代软件创作领域，一种新型的劳动者已经到来：AI 编程智能体（AI coding agent）。它们并非仅仅是为人类完成一行代码的简单工具，而是能够阅读整个项目、理解复杂指令，并能自主在多个文件中编写或修复软件的自主程序。随着这些数字劳动者变得越来越普遍，公司和开源社区面临着一个关键挑战：如何管理它们？如果一名人类员工犯了错，管理者可以介入、审查工作并纠正航向。但当 AI 智能体以极高的速度和独立性运行时，传统的监督方法会显得过于缓慢或脱节。为了弥补这一差距，开发者开始创建特殊的指令文件——直接存储在项目代码中的数字规则手册。这些文件的命名如 AGENTS.md 或 CLAUDE.md，旨在告诉 AI 该如何表现、应遵循哪些规则，以及如何融入团队的工作流。它们是属于机器劳动者的“书面宪法”。
研究人员提出的问题是：这些数字规则手册究竟代表了一种成熟的管理系统，还是仅仅是一堆笔记的集合？在组织管理领域，拥有书面政策并不等同于拥有执行能力。真正的治理能力意味着一个组织不仅能写下规则，还能监控规则的执行情况，确保规则得到遵守，并根据情况变化进行调整。为了探究软件世界是否已通过这些 AI 智能体达到了这种成熟度，来自芬兰卢图大学（LUT University）的一个研究小组进行了一项大规模调查。他们并没有只阅读几个例子，而是收集并分析了来自 GitHub 公开软件项目的 555 个此类治理文件。他们的目标是观察这些文件的存在，究竟意味着项目已经开发出了一种精密的 AI 管理方式，还是仅仅在记录预期而缺乏背后的支撑机制。
研究人员通过将这些文件视为项目试图治理其 AI 劳动者的证据来进行研究。他们首先阅读了一组样本文件，以构建关于文件内部实际内容的详细图谱。他们发现，这些文件通常分为两类：有益的指令和隐藏的弱点。那些被称为“治理实践”的有益指令包括解释项目历史、定义编码风格以及概述任务步骤等。而被称为“治理负债”的弱点则是那些会让 AI 的工作变得更难或更具风险的问题，包括未明确说明如何衡量成功的模糊指令、未经改编直接从其他项目复制的指令，以及提及敏感信息而未受保护的安全漏洞。
在建立好这张图谱后，研究人员使用了一个强大的语言模型来扫描所有 555 个文件，检查这些特定实践与弱点的存在情况。随后，他们将结果与项目的成熟度进行了对比。一个常见的假设是：规模更大、更受欢迎、拥有数千颗星和众多贡献者的老牌项目，会比规模较小、较新的项目拥有更稳健、更完善的治理文件。逻辑在于，随着项目的成长，它会从错误中学习并建立更好的系统。然而，数据却呈现了不同的景象。研究人员发现，项目的规模或年龄与其治理文件的质量之间不存在关联。一个庞大且根基深厚的项目，也同样可能拥有一套薄弱或模糊的指令集，就像一个小型的、较新的项目一样。同样地，他们观察了高风险领域（如基础设施或移动应用）的项目是否比通用 Web 开发领域的项目拥有更严格的规则，结果发现同样没有差异。无论潜在后果如何，这些文件的表现看起来都大同小异。
最引人注目的发现在于治理的本质。研究人员发现，这些文件过度关注于“指令”而非“监督”。大约 82% 的文件包含了关于如何传递知识或遵循编码标准的指令。相比之下，只有约 11% 的文件包含“人工审批关卡”——即一项要求人类在 AI 工作定稿前进行检查并批准的具体规则。这表明，目前的方法主要侧重于告诉 AI 该做什么，而不是建立一个能在 AI 出错时捕捉错误的系统。此外，研究人员注意到一个奇特的模式：文件包含的指令越多，其弱点往往就越多。增加规则并不意味着清理了混乱；相反，增加规则往往会引入更多的困惑、冗余或矛盾。随着文件规模的扩大，它们并未变得更加连贯，反而变得更加杂乱。
研究结论指出，虽然软件项目正在迅速采用这些治理文件来引导其 AI 智能体，但这并不意味着这种采用标志着一种成熟的组织能力。这些文件在记录知识和设定预期方面是有效的，但它们缺乏真正制度化系统所具备的结构性机制——如问责制、一致的监督以及针对特定项目的适配性。规则手册的存在并不意味着组织拥有执行它的能力。相反，目前的现状由“指令导向型治理”所主导，其优先级在于使 AI 能够开展工作，而用于控制和验证其工作的系统仍然不够完善。对于希望扩展 AI 使用规模的组织而言，研究表明，仅仅编写更多的指令并不是解决方案。真正的治理需要超越文档记录，转而建立能够监控、验证并适应这些自主劳动者行为的组织常规。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。