Trustworthy AI Software Engineers
这篇愿景论文通过确立信任的关键维度并提出一个以证据为中心的检查框架，以在实践中实现其评估，从而将 AI 软件工程师重新定义为人类-AI 团队中值得信赖的参与者。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，软件构建（如开发应用程序或网站）的世界即将迎来一次巨大的升级。我们不再仅仅是让人类编写代码，而是引入了能够自主编写、修复和检查代码的 AI 智能体（AI agents）。但在让这些 AI 机器人接管全局之前，这篇论文的作者提出了一个至关重要的问题：我们能信任它们吗？
以下是他们愿景的简单拆解，使用了日常类比。
1. 什么是“AI 软件工程师”？
传统上，我们认为软件工程师只是编写代码的人。但论文指出，成为一名工程师就像是在建筑工地上的总承包商，而不仅仅是一个砌砖工。
- 砌砖工（旧式 AI）： 只是在被告知时才铺设砖块（编写代码）。
- 总承包商（智能体工程师）： 这种 AI 需要做更多的事情。它必须：
- 与客户沟通，以理解他们真正想要什么（需求）。
- 绘制蓝图（设计）。
- 检查建筑是否安全（测试）。
- 与人类队友以及其他 AI 机器人协作而不引发混乱。
- 在不知道答案时承认自己不知道。
规则： 只有当 AI 能够处理整个工作流程，而不仅仅是打字部分时，它才算是一名“软件工程师”。
2. 什么让 AI 工程师具有“可信度”？
作者说，“信任”不仅仅是你的一种感觉，它是 AI 实际拥有的品质。这就像雇佣一名新员工。你不仅仅是“觉得”他们很棒，你会寻找特定的特质。他们确定了四个主要支柱：
- 技术质量（“它是否有效？”因素）： 代码是否真的实现了预期的功能？它运行快吗？如果你输入一些奇怪的数据，它会崩溃吗？它安全吗？
- 透明度与问责制（“展示你的过程”因素）： 如果 AI 犯了错误，我们能否追溯并看到 为什么 会发生这种情况？它能解释其推理过程吗？如果出了问题，谁来负责？
- 认知谦逊（“我不知道”因素）： 这至关重要。一个值得信赖的 AI 必须了解自己的极限。它不应该在不确定的情况下自信地瞎猜。它需要说：“我不百分之百确定这件事”，而不是幻觉出一个虚假的解决方案。
- 伦理对齐（“好公民”因素）： AI 是否尊重隐私？它是否公平？它是否遵循团队和社会的值观和规则？
3. 大问题：我们无法检查一切
问题在于：这些 AI 工程师将生成海量的代码。如果人类必须阅读 AI 编写的每一行代码来检查其优劣，他们会产生“审查疲劳”（就像试图在一天之内读完一整个图书馆的书）。这是不可能实现的。
4. 解决方案：“以证据为中心”的检查
论文提出了一种巧妙的转变，即改变我们检查 AI 工作的方式。
- 旧方式（以人工制品为中心）： “把最终代码给我看。我会阅读每一行来确保它是完美的。”（太慢，且不可能实现）。
- 新方式（以证据为中心）： “先不要给我看完整的代码。给我看凭据（receipts）。”
想象你在买一辆二手车。你不需要拆开发动机来信任它。你会寻找证据：机械师的报告、清白的产权证明、试驾记录。
同样，开发者不应只看最终的代码。他们应该寻找信任的信号：
- AI 是否解释了 为什么 选择这个解决方案？
- 它是否标记了任何风险或不确定性？
- 我们能否将这段代码追溯到最初的需求？
5. 改变“代码审查”流程
最后，论文建议改变我们审查代码的方式。
- 旧方式： 你在应用发布 之前 检查代码。一旦发布，任务就结束了。
- 新方式： 代码审查永远不会真正停止。它变成了持续监控。
- 想想看，就像一个永不关闭的监控摄像头。即使在应用运行期间，AI 和人类也会持续观察它的行为。如果它表现异常，这种“审查”会立即捕捉到它。
总结
论文认为，要让 AI 成为构建软件的真正伙伴，它必须不仅仅是一个代码生成器。它必须是一个负责任、谦逊且透明的团队成员。而为了让人们信任它，我们需要停止尝试阅读每一行代码，转而寻找良好行为的证明（证据）。这使得人类与 AI 的协作更加安全且高效。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。