Empirical Analysis and Detection of Hallucinations in LLM-Generated Bug Report Summaries
本文针对大语言模型生成的缺陷报告摘要中的幻觉这一关键问题，通过引入一种面向章节的检测框架以及源自 BugsRepo 数据集的合成基准，在识别、定位和分类幻觉内容方面实现了强劲性能，从而提升了自动化软件维护工具的可靠性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位非常聪明、但偶尔会走神的助手，名叫"LLM"（大型语言模型）。你的工作是让这位助手阅读软件开发者提交的杂乱无章的技术故障报告，并将其重写为结构清晰的三部分摘要：如何复现该故障、实际出现了什么问题，以及本应发生的情况。
问题在于，这位助手有时会“产生幻觉”。它不仅仅是遗漏细节，还会自信地编造原始报告中根本不存在的事实，就像一个讲故事的人凭空捏造了一个从未发生过的角色背景故事。如果开发者相信了这个编造的故事，他们可能会浪费数小时去追寻一个根本不存在的问题。
这篇论文就像是对该助手进行的一次质量检查。以下是研究人员所做工作的简明解释：
1. “走神”的发现
首先，研究人员玩了一场“找出谎言”的游戏。他们选取了 80 份故障报告，让 AI 进行摘要，然后由人类检查结果。
- 结果：他们发现，近一半的摘要遗漏了关键信息，约**12%**的摘要包含了完全编造的细节。
- 类比：这就像请一位导游描述一座博物馆，他却自信地告诉你有一个根本不存在的恐龙展区，却略过了你真正想看的那幅著名画作。
2. 为什么 AI 会迷失？（“聚光灯”测试）
研究人员想知道 AI 为何会犯这些错误。他们观察了 AI 的“大脑”（一种 Transformer 模型）如何关注文本的不同部分。
- 发现：AI 将明亮的“聚光灯”打在预期行为（本应发生的情况）上，而对复现步骤（如何制造故障）的关注则较为暗淡。
- 类比：想象一名学生在课堂上做笔记。他们非常专注于老师的结论（即“预期行为”），却在逐步指导过程中走神。由于没有关注步骤，他们更有可能在事后编造这些步骤。研究人员发现，AI 最忽视的部分，正是它撒谎最多的地方。
3. 建立“假新闻”训练营
由于缺乏现成的"AI 谎言”大列表供研究，研究人员不得不自行构建。
- 过程：他们利用真实的故障报告，并通过计算机程序故意向其中注入谎言。他们创建了三种类型的谎言：
- 添加：编造一个原本不存在的步骤。
- 删除：删掉一个关键步骤。
- 重排：打乱事件发生的顺序。
- 过滤：在利用这些“虚假”报告训练检测器之前，他们必须确保 AI 在转换过程中不会意外搞乱真实报告。他们使用了一种特殊的评分系统（称为 PARENT）充当严格的编辑，剔除任何未能紧密贴合原始事实的摘要。
4. “超级侦探”模型
研究人员没有仅仅问 AI：“这个摘要是真还是假？”（一个简单的“是/否”问题），而是构建了一个更聪明的“超级侦探”。
- 工作原理：这位侦探被训练为同时完成三件事：
- 警报：“嘿，这个摘要里有谎言！”
- 定位：“谎言位于‘复现步骤’部分。”
- 识别：“谎言是‘编造’（添加）还是‘缺失’（删除）。”
- 结果：他们在多个不同的 AI 模型上测试了这位侦探。表现最好的一个（名为 Ministral-3B 的中型模型）工作极其出色。它能够发现谎言、精确定位其位置，并以约**89%**的准确率对谎言类型进行分类。
5. 侦探仍存在的挣扎之处
即使是最好的侦探也有盲点。研究人员发现，最难被捕捉的谎言是删除（即 AI 删除信息）。
- 类比：很容易发现有人在食谱中添加了虚假的食材。但要发现他们遗漏了关键食材则困难得多，因为这道菜看起来仍然像一道菜，只是一道略有不同的菜。AI 经常无法察觉原始报告中的细节仅仅是消失了。
结论
这篇论文证明，我们不能盲目信任 AI 生成的摘要。然而，通过教导 AI 关注文档的结构（了解“步骤”与“结果”是不同的），并训练它识别特定类型的谎言，我们可以构建出更可靠的工具。该研究提供了一份“谎言检测器”的蓝图，它不仅能告诉你“这是错的”，还能确切地指出在哪里以及如何出错，从而使软件开发更加安全和高效。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。