Automated Root-Cause Subclassification and No-Code Fix Generation for Invalid Bug Reports
本文提出了一种用于对无效错误报告进行子类划分的标准化分类体系,并评估了多种人工智能方法,发现检索增强生成在根因识别方面表现优异,而智能体网络搜索在生成可操作的非代码修复方案方面最为有效。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你经营着一家繁忙的高科技维修店。每天都有数百人送来他们的电子设备,声称设备出了问题。但关键在于:其中许多设备实际上并没有坏。
有些人只是忘了插上电源(配置问题)。有些人是在请求一个尚不存在的功能(功能请求)。有些人把设备倒拿着,却问为什么屏幕是黑的(用户误操作)。还有些人只是问:“这个怎么开机?”(咨询问题)。
在软件领域,这些被称为无效的错误报告。
问题在于,你的专家团队(开发人员)花费数小时试图“修复”这些并非问题的问题。这就像一位资深技师试图重建发动机,而汽车其实只需要换一块新电池。这是对时间和金钱的浪费。
本文介绍了一种全新的AI 驱动的“分类助手”,旨在解决这一确切问题。其工作原理如下,简单分解:
1. 目标:从垃圾中筛选出宝藏
研究人员希望构建一个系统,能够即时审视投诉并判断:
- “这是一个真实的硬件故障;将其转交给工程师。”
- “这并没有坏;这里有一份简单的操作指南,教你如何在不使用任何工具的情况下自行修复。”
他们将这些简单指南称为**“无代码修复方案”**。你可以将其理解为“尝试关机再开机”或“检查设置菜单”这类指南,但由智能计算机自动生成。
2. 新的“规则手册”(分类法)
在构建 AI 之前,研究人员创建了一套新的、有条理的分类规则手册,用于对这些投诉进行分类。他们不再仅仅将其标记为“无效”,而是将其归入具体的类别,例如:
- “没坏,只是按设计运行”(你请求了一个不存在的功能)。
- “你使用了错误的版本”(你运行的是旧版应用程序;请更新!)。
- “这不是你的错,是别人的问题”(问题出在你连接的其他应用程序或网站上)。
- “我无法看到问题”(你提供的细节不足以让我们复现该错误)。
3. 实验:三位不同的“侦探”
为了测试哪种 AI 方法效果最佳,他们在来自 Brave 网络浏览器(一个流行的开源项目)的真实错误报告数据集上,测试了三位不同的“侦探”。
- 侦探 A(“原生”大语言模型): 这是一个智能 AI,它仅阅读投诉内容,并基于训练期间学到的所有知识进行猜测。这就像一位博学的图书管理员,读遍了所有书籍,但并未查看你当前所站的具体书架。
- 侦探 B(“检索增强生成”侦探): 这位 AI 被配备了一把放大镜和一张图书证。在猜测之前,它会搜索项目自身的历史记录、过去的错误报告以及官方手册,以寻找类似案例。这就像一位技师在诊断问题前,会先查阅该特定车辆的维修历史。
- 侦探 C(“网络搜索”侦探): 这位 AI 是一位探险家。如果它不知道答案,它就会前往实时互联网,查找关于特定错误的最新新闻、更新或讨论。这就像一位技师拨打制造商的热线,或查看在线论坛,以确认昨天是否发布了新的补丁。
4. 结果:谁赢了?
研究人员发现,不同的侦探擅长不同的工作:
在分类投诉(子分类)方面:
持图书证的侦探(RAG) 整体表现最佳。通过查阅项目自身的历史记录,它在判断报告为何无效方面略胜一筹。它特别擅长识别用户无法复现错误,或是在请求新功能的情况。- 弱点: 即使是最好的侦探,在处理“错误版本”的报告时也感到吃力。除非拥有实时访问权限,否则 AI 很难判断某个错误是否已在昨天发布的版本中修复。
在撰写解决方案(无代码修复方案)方面:
探险家侦探(代理网络搜索) 在此胜出。当需要告知用户如何修复问题时,前往实时网络使其能够找到最新解决方案和变通方法。它在为用户提供有帮助且可操作的答复方面最为成功。
5. 核心结论
该论文得出结论:你不能指望用一种“智能 AI"包办所有事情。
- 如果你想分类问题,请让 AI 访问公司的内部历史记录(RAG)。
- 如果你想为用户解决问题,请让 AI 外出检查实时网络(代理搜索)。
通过使用这些工具,这家“维修店”可以自动向那 40% 仅需少量指导的客户发送简单指令,从而让人类工程师能够专注于真正损坏的设备。
本文并未声称:
- 并未声称该系统完美无缺;它在某些特定类型的错误(如“错误版本”)上仍存在困难。
- 并未声称这适用于全球每一家软件公司;他们专门针对 Brave 浏览器进行了测试。
- 并未声称人类支持人员已变得多余;目标在于减少他们的重复性工作,而非完全取代他们。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。