LLM-Based Automated Diagnosis Of Integration Test Failures At Google
本文介绍了 Google 内部工具 Auto-Diagnose，该工具利用大语言模型分析集成测试日志并生成根因摘要，在 71 个真实案例中实现了 90.14% 的诊断准确率，并在大规模部署后获得了开发者的积极反馈。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文讲述了一个发生在谷歌内部的“智能侦探”故事，它专门负责解决软件开发中最让人头疼的问题之一：当复杂的软件系统测试失败时，如何快速找到罪魁祸首。
我们可以把这篇论文的核心内容想象成这样一个场景：
1. 背景：一场混乱的“大爆炸”
想象一下，谷歌的软件系统就像是一个由成千上万个微型机器人（组件）组成的巨大城市。这些机器人每天 24 小时都在工作，互相传递信息、交换货物。
- 单元测试：就像检查单个机器人能不能走路、能不能说话。这很简单，如果坏了，很容易发现。
- 集成测试：就像检查整个城市的交通系统。如果早高峰堵车了，是因为红绿灯坏了？还是因为某条路塌了？或者是某个机器人发疯了？
问题出在哪？
当这个“城市”的集成测试失败时，会生成海量的日志（Log）。这就好比城市里成千上万个监控摄像头同时录下了几百万小时的视频，而且这些视频格式还不统一，有的全是乱码，有的全是废话。
开发者（也就是城市的“维修工”）面对这些混乱的录像带，就像是在大海里捞一根针。他们往往要花好几个小时甚至一整天，才能从几千行日志里找到那个导致系统崩溃的“错误信号”。这让他们精疲力竭，怨声载道。
2. 解决方案：AI 侦探 "Auto-Diagnose"
谷歌的工程师们决定不再让人类去大海捞针，而是请了一位超级 AI 侦探，名叫 Auto-Diagnose。
- 它的超能力：这位侦探基于大型语言模型（LLM），也就是像我们聊天用的那种超级 AI。它最擅长的是阅读和理解复杂的文本。
- 它的工作流程：
- 收集线索：当测试失败时，Auto-Diagnose 会自动把成千上万条日志（就像把几百万小时的监控录像）全部收集起来。
- 快速筛选：它不像人类那样从头读到尾，而是瞬间扫描所有信息，剔除那些无关紧要的“噪音”（比如“系统正在启动”这种废话）。
- 锁定真凶：它能像侦探一样推理：“看，这个错误发生在服务器 A 启动时，紧接着服务器 B 就超时了，所以罪魁祸首是服务器 A 的启动脚本。”
- 提交报告：它不会只扔给你一堆数据，而是写出一份简洁的“结案报告”，直接告诉开发者：“问题出在这里，这是关键证据（具体的日志行），请修复它。”
3. 它住在哪里？
这个侦探不是躲在实验室里，而是直接住进了谷歌开发者的日常办公桌上（集成在代码审查系统 Critique 中）。
当开发者提交代码时，如果测试挂了，这个 AI 侦探会立刻在代码审查的界面上跳出来，指着错误说：“嘿，别慌，我帮你找到了原因，点这个链接就能看细节。”
4. 表现如何？（成绩单）
这个 AI 侦探的表现非常惊人：
- 准确率极高：在人工测试的 71 个真实案例中，它90% 以上的时间都能准确找到问题的根源。
- 用户反馈好：在谷歌内部，有超过 5 万个测试失败被它分析过。开发者们觉得它“没用”的情况只有 5.8%（远低于谷歌内部工具的平均水平）。
- 排名靠前：在谷歌内部 370 种辅助工具中，它的“有用度”排名第 14 名（前 3.78%），是当之无愧的明星工具。
- 速度快：它生成报告只需要几十秒，而人类平均需要花几个小时。
5. 为什么它这么成功？
论文总结说，AI 之所以能成功，是因为它擅长处理“文字垃圾”。人类看到几千行乱糟糟的日志会头晕，但 AI 可以把它们变成一篇条理清晰的“侦探小说”，直接告诉我们要找什么。
6. 未来的小遗憾与期待
虽然这个侦探很厉害，但开发者们也有点小贪心：
- 现状：它现在主要擅长诊断（告诉你哪里坏了）。
- 期待：有些开发者希望它不仅能诊断，还能直接修好（自动写代码修复）。就像侦探不仅告诉你“谁杀了人”，还能直接帮你把凶手抓起来并关进监狱。
总结
这就好比以前修车，你需要自己拿着手电筒，趴在地上，在满是油污的发动机里摸索半天才能找到坏掉的零件。
现在，Auto-Diagnose 就像是一个自带 X 光眼和维修手册的超级机械师。你只需要把车（代码）开过来，它瞬间就能扫描全车，指着那个坏掉的螺丝说：“就是它，换掉它，车就能跑了。”
这篇论文证明了，在复杂的软件世界里，AI 不再只是写写代码的助手，它已经进化成了能够理解混乱、理清思路、甚至指导人类的得力伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。