AI Harness Engineering: A Runtime Substrate for Foundation-Model Software Agents
本文提出了"AI 驾驭工程”，这是一种运行时基底框架，它将自主软件工程的焦点从单纯依赖模型能力转向整合模型、驾驭器与环境的系统，通过定义十一项组件职责和四级阶梯，以生成可验证、可审计且可维护的软件变更。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位才华横溢、速度极快的学徒程序员。这位学徒（即“基础模型”）编写代码、修复漏洞以及解释软件运作原理的能力，几乎胜过任何人。但如果你让这位学徒在没有支持的情况下直接投身于真实的软件项目，他们往往会失败。他们可能会修复错误的文件、弄坏其他东西、忘记自己正在做什么，或者在任务尚未真正完成时就宣布胜利。
长期以来，人们认为问题出在学徒不够聪明。他们认为我们只需要训练学徒变得更聪明即可。
本文认为，这种看法是错误的。问题不在于学徒的大脑，而在于他们工作的车间。
核心思想：“ harness（ harness/ harness）”
作者提出，我们需要构建一个特殊的运行时底层系统，他们称之为AI Harness（AI harness）。
将AI Harness想象成一种高科技的建筑 harness或登山者的安全装备。
- 学徒（模型）： 拥有攀登所需的体力和技能。
- 山峰（软件环境）： 复杂多变，布满松动的岩石，并隐藏着裂缝。
- Harness（新系统）： 这是将登山者与山峰连接起来的装备。它收纳工具、指出应抓握的支点、检查绳索是否牢固，并精确记录他们所做的每一步。
如果没有 harness，登山者可能肌肉发达，却仍会坠落，因为他们不知道该踩在哪里，或者缺乏检查安全的方法。本文主张，软件工程能力不仅仅关乎模型的智能，更关乎系统（模型 + Harness + 环境）的协同运作。
Harness 的 11 项职责
本文将这个"Harness"分解为 11 项具体职责，类似于项目经理与安全检验员的结合：
- 任务规范： 清晰地向学徒说明要构建什么。
- 上下文选择： 将正确的蓝图（文件）交给他们，避免他们查看错误的文件。
- 工具访问： 提供正确的扳手和螺丝刀。
- 项目记忆： 提醒他们建筑的历史以及各部分的位置。
- 任务状态： 维护一份清单，记录已完成的内容和下一步计划。
- 可观测性： 让他们清晰地查看日志和错误信息。
- 故障归因： 如果出现问题，帮助他们在尝试修复之前找出原因。
- 验证： 要求他们证明修复确实有效。
- 权限控制： 阻止他们执行危险操作（例如删除整个建筑）。
- 熵审计： 检查他们是否留下了混乱（例如旧代码或杂乱的文档）。
- 干预记录： 记录人类是否介入提供帮助，以及原因。
“梯子”实验（H0 到 H3）
为了证明其观点，作者构建了一个包含四个层级的“梯子”，以测试学徒需要多少帮助。他们保持任务和模型不变，仅改变 Harness 的层级：
- 层级 0（裸奔的学徒）： 学徒仅获得任务和文件。没有工具、没有记忆、没有安全检查。他们必须猜测一切。
- 层级 1（工具腰带）： 学徒获得一份可用工具列表及使用协议。他们仍可能迷路，但拥有正确的装备。
- 层级 2（地图与笔记本）： 学徒获得工具，加上建筑地图（架构）、过往错误的笔记本以及用于跟踪进度的清单。
- 层级 3（全套安全装备）： 学徒获得上述所有内容，加上严格的协议：复现漏洞、诊断问题、进行修复，并撰写正式报告证明修复有效后，才被允许完成任务。
他们的发现
当他们在每个层级运行相同的任务（修复登录漏洞）时，结果显而易见：
- 在层级 0，学徒可能最终修复了漏洞，但他们没有留下任何关于如何完成的证明，并且可能破坏了其他内容。
- 在层级 3，学徒不仅产出了修复方案，还产出了一套完整的证据包。他们展示了漏洞、解释了发生原因、展示了修复方案，并运行测试以证明其有效性。
本文得出结论：问题不应是"AI 是否聪明到足以编写代码？”，而应是"模型-Harness-环境系统是否产生了可验证、可归因且可维护的变更？”
核心启示
本文建议，为了让 AI 真正适用于软件工程，我们不应仅仅专注于让 AI 变得更聪明。我们需要构建更好的车间（即 Harness），以管理上下文、工具、记忆和安全检查。
正如人类开发者依赖其 IDE、文档和测试套件来完成高质量工作一样，AI 智能体也需要一个结构化的Harness，将其原始编码能力转化为可靠的软件工程实践。本文提供了构建此"Harness"的蓝图，以及衡量其工作效果的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。