Trust-Calibrated Code Review: A Participatory Design Study of Review Workflows for LLM-Generated Multi-File Changes
通过一项针对行业从业者的参与式设计研究，本文确定了信任校准是审查由大语言模型生成的跨多文件变更的核心挑战，并提出了一个经过验证的三层工作流及七个设计构件，旨在指导未来 AI 就绪型代码审查工具的开发。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位正在审查一份新摩天大楼蓝图的高级建筑师。通常情况下，你会与绘制这份蓝图的初级建筑师交流。你会问：“你为什么把电梯放在这里？”或者“这根梁足够坚固吗？”他们会解释自己的理由，而你也能准确知道该去哪里寻找潜在的问题。
现在，想象一下那个初级建筑师是一个永不眠的 AI 机器人。它不仅仅是画一个房间；它会重新设计整栋建筑，同时移动 10 个不同房间的墙壁。它带着微笑把蓝图递给你，说：“全部完成了！”但它对于自己为什么要做出这些改动没有任何解释。即使它对地基的判断完全是在瞎猜，它也会表现得对浴室和地基都同样自信。
这就是这篇论文所探讨的问题：当 AI 同时修改许多文件且无法解释其思考过程时，人类应该如何审查 AI 编写的代码？
核心问题：“信任差距”
研究人员发现，最大的难题不仅是阅读代码，而是校准信任。
- 传统方式： 当人类编写代码时，你知道他们的习惯。你知道他们擅长数学但不太擅长安全。你在某些领域对他们的信任度更高。
- AI 方式： AI 对所有事情看起来都同样自信。它可能对一个简单的文本修改有 99% 的把握，但对一个复杂的安全修复只有 10% 的把握，却会将两者都以同样的“我确定！”的态度呈现出来。
因为你无法询问 AI：“你对这部分确定吗？”，所以你最终不得不仔细阅读每一行代码，以防万一。这既令人精疲力竭，又缓慢，且容易导致错误。研究人员将其称为**“信任校准”（Trust-Calibration）**问题：即当工作的来源是不透明的时候，如何确定你的注意力应该集中在哪里。
解决方案：一座三层建筑
为了解决这个问题，研究人员与 17 位专业软件开发人员合作，设计了一种观察代码的新方法。与其面对一个巨大且混乱的文本墙（即“diff”），他们提出了一个三层工作流，就像通过一部可以缩放的望远镜来观察一座建筑。
第一层：鸟瞰图（“漫步式巡检”）
类比： 想象一次直升机参观建筑工地的航拍之旅。
在看砖块之前，你需要看到整栋建筑。这一层提供了一个高层级的摘要。
- 功能： 它展示了代码变化的相互关系图表，解释了 AI 的“推理过程”（为什么选择这条路径），甚至显示了 AI 在每个部分花费了多少“计算能力”（token）。
- 目标： 回答：“这个 AI 到底想建造什么？”
第二层：平面图（“裁判”与“风险地图”）
类比： 现在你正逐层穿梭于建筑内部。
在这里，该工具充当一名走在前面的安全检查员（“裁判”）。
- 功能： 它会高亮显示具有风险的文件或代码行。它使用了一个红绿灯系统：
- 🟢 绿色： “看起来很安全，大概没问题。”
- 🟡 黄色： “有点奇怪，请仔细查看。”
- 🔴 红色： “危险！这部分很可能已损坏或不安全。”
- 目标： 告诉用户：“不要在绿色部分浪费时间；把精力集中在红色部分。”
第三层：逐砖检查（“块状”审查）
类比： 最后，你正在检查每一块砖头。
与其面对一堆乱七八糟的 1,000 处改动，不如将它们分组为逻辑性的“块”（属于同一组、自包含的小型改动集合）。
- 功能： 它将庞大的改动分解成细小、易于管理的碎片。它将每一块内容都链接回 AI 试图回答的具体问题。
- 目标： 让你可以批准或拒绝小的、逻辑完整的任务单元，而不至于迷失在噪音中。
“安全笼”
他们提出的一个独特想法是**“安全笼”**。
类比： 想象 AI 是一个拿着电钻的建筑工人。“笼子”就是围绕着工人的玻璃箱。你可以看到他们在工作，但这个箱子可以防止他们意外钻坏管道或偷走工具。
- 功能： 它向人类审查者展示了 AI 被允许做的事情（例如，“它只能修改文件，不能安装新软件”）。这让审查者感到安心，确保 AI 不会意外破坏他们的计算机。
效果如何？
研究人员构建了一个原型（一个高级的交互式模拟器），并将其展示给 43 名软件开发人员。
- 结论： 开发人员非常认可这个想法。他们觉得这能节省时间，并帮助他们做出更好的决策。
- 数据： 63% 的人认为这会使审查过程更快；52% 的人认为这会让判断是否可以信任 AI 的工作变得更容易。
- 难点： “安全笼”的概念让一些人感到有些困惑（他们不确定这究竟是审查者的职责，还是 AI 设置的任务）。但除了这一点，整个系统的反馈都非常好。
核心启示
论文总结道，审查 AI 代码不仅仅是关于“发现拼写错误”（diffing），更是关于管理信任。
我们需要的是能够作为向导的工具，帮助我们放大以观察全局，缩小以检查风险点，并将大问题分解为细小、可控的块。否则，我们只是在盯着一堵文字墙，猜测哪些部分是安全的，哪些会导致我们的软件崩溃。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。