A Self-Healing Architecture for Mitigating Bibliographic Hallucinations in LLM-Generated Academic Texts
本文介绍了一种新颖的自愈架构，该架构通过将多层验证与高效的基于句子的细化过程相结合，能够自主检测并缓解大语言模型生成的学术文本中的文献幻觉问题，在实现高识别准确率（0.96）的同时显著降低了计算成本，并确保了学术诚信。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代写作领域，计算机已成为极其出色的合作伙伴。它们可以起草论文、总结复杂的报告，并能以惊人的容易模仿资深学者的语气。这些被称为大语言模型的工具，通过根据从海量文本中学习到的模式来预测句子中的下一个词来工作。然而，这种优势中隐藏着一个弱点。由于这些系统优先考虑语言的流畅性而非现实世界的严格事实，它们有时会捏造出听起来完全合理但完全错误的内容。在学术写作领域，这个问题最危险地体现在脚注和参考文献列表中。计算机可能会生成一个看起来正确的引用，包括标题、作者和一个被称为 DOI 的唯一数字代码，结果人类读者却发现该论文根本不存在，或者作者从未写过它，亦或是日期是不可能的。这种被称为“幻觉”的现象威胁着研究的完整性，因为已经有专业人士因提交了包含此类伪造参考文献的文件而受到法律和学术制裁。
意大利因苏布里亚大学（University of Insubria）的一个研究小组开发了一种旨在自动捕捉并修复这些错误的新系统。他们称其创造物为一种“自愈式”架构。该系统并非试图从一开始就强迫计算机达到完美（这已被证明很难实现），而是作为一个严谨的编辑，在文本写完后介入。它通过一个模拟仔细人工审查的四步过程运行。首先，系统扫描整个文档，找出每一个参考文献，无论其格式如何。接着，它扮演事实核查者的角色，将每个引用发送到持有真实科学出版物记录的官方、可信数据库中，以查看是否匹配。如果发现某个引用是虚假的或错误的，系统会将其删除或用正确的信息进行替换。最后，它重写了发生更改的句子，以确保文本仍然读起来流畅且符合语法逻辑。这种方法允许计算机生成初始草稿，而一个独立的、基于证据的层级则确保最终产品是值得信赖的。
为了测试这种方法是否奏效，研究人员创建了一个包含一千个引用的庞大集合。其中一些是真实的，而另一些则是被刻意篡改以模仿计算机可能犯下的错误，例如捏造数字代码或更改出版年份。他们将这些引用通过四种不同的领先计算机模型运行，以观察自愈系统识别假引用的效果如何。结果令人鼓舞。该系统成功识别了绝大多数伪造的参考文献，准确率超过 96%。它在捕捉那些在任何真实数据库中都不存在的数字代码方面特别有效。在一次使用其中一个计算机模型且没有这种安全网的基准测试中，近 40% 生成的数字代码是虚假的，这意味着几乎一半的参考文献都会将读者引向死胡同。在部署了自愈系统后，这些错误被捕捉并得到了修正。
研究人员还发现，系统重写文本的方式对效率有着重大影响。最初，他们考虑在每次发现错误时都让计算机重写整个段落。然而，他们发现这是一个缓慢且昂贵的过程，消耗了大量的计算能力。相反，他们优化了系统，使其仅专注于包含错误的特定句子。通过隔离仅有的损坏部分并对其进行修复，系统将处理文本所需的时间减少了近 68%，并将计算资源的成本也降低了相似的幅度。这意味着该工具可以在大型文档上使用，而不会变得过于缓慢或昂贵到无法实际应用。
该研究承认该系统并不完美，并且依赖于它所检查的数据库。如果一篇真实的论文存在，但尚未被录入这些特定的记录中，系统可能会误将其标记为虚假。此外，测试使用的是研究人员刻意破坏以模拟错误的引用，而非仅仅使用计算机自发生成的文本。这意味着观察到的高成功率是该系统潜力的有力指标，但在现实世界中的表现可能会略有不同。尽管存在这些局限性，这项工作表明，增加一个外部验证层可以显著提高机器生成学术写作的可靠性。通过将人工智能的速度与严格的事实核查规则相结合，研究人员创造了一种工具，有助于确保即使初稿来自机器，学术记录也能保持准确。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。