Dynamic Knowledge Grounding for Retrieval-Augmented Generation: Uncertainty-Aware Evidence Fusion with Adaptive Retrieval Control
FORGE 是一个原则性框架，通过集成一个不确定性驱动的自适应检索控制器、一个可靠性加权的证据融合网络以及一个标记级落地验证模块，在显著降低幻觉和计算成本的同时，在多个基准测试中实现了最先进的性能，从而增强了检索增强生成。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能的广袤版图中，大型语言模型已成为强大的文本引擎，能够撰写故事、解决问题并回答问题，其流利程度往往能模拟人类的思维。这些系统通过利用其在训练过程中吸收的海量内部事实和模式库来运作。然而，这个内部库存在一个显著的缺陷：它是静态的，可能会过时；更危险的是，模型可能会自信地捏造从未发生过的事实，这种现象被称为“幻觉”。为了解决这个问题，研究人员开发了一种称为检索增强生成（retrieval-augmented generation）的方法。这种方法就像是 AI 的一名图书管理员，允许它在说话之前暂停写作，并在外部文档数据库中查找答案。虽然这有所帮助，但目前的系统表现往往比较笨拙，无论是否需要，都会为每一个问题获取信息，然后以一种简单的、缺乏思考的方式将这些信息融合在一起，这仍然可能导致错误。
现在，一组研究人员推出了一个名为 FORGE 的新框架，旨在让这一过程变得更聪明、更高效且更加可靠。FORGE 不再对所有问题一视同仁，而是像一名细心的编辑，决定何时应该查找信息，如何权衡不同来源的可靠性，以及如何验证最终答案确实得到了所搜寻内容的支撑。该系统由三个协同工作的不同部分组成。首先，它学会识别自己何时对答案不确定，并仅在此时才寻求外部知识，从而节省时间并避免无关数据的干扰。其次，当它获取信息时，它不仅仅是将文本倾倒进答案中；相反，它会仔细分析每份文档的质量，检查不同的来源是否相互一致，并给予最可靠的段落更高的权重。最后，当系统生成响应时，它会不断检查它写的每一个字，以确保其有据可查，拒绝做出缺乏支持的陈述。
研究人员在八个不同的挑战性基准测试中测试了这种新方法，范围从简单的事实核查到需要连接多个文档中思想的复杂问题。结果显示，FORGE 的表现显著优于现有方法。与之前的最佳系统相比，它将答案的准确度提高了 2.1 到 4.8 个百分点，同时将幻觉率降低了近 39%。或许同样重要的是，该系统变得更加高效。通过学习针对其已熟知的问题跳过查找步骤，它将需要搜索信息的次数减少了 42% 以上。这意味着该系统不仅更加真实，而且运行速度更快，计算成本也更低。
FORGE 的成功依赖于 AI 与其知识库交互方式的转变。该系统不再盲目地为每个查询检索信息，而是使用一种学习到的策略来衡量自身的确定性。如果模型感到自信，它就根据记忆回答；如果它感觉到知识存在缺口，则触发搜索。当它进行搜索时，它采用一个复杂的融合网络，对不同的文档进行差异化处理，为权威且相互一致的来源分配更高的权重。这防止了系统被单一不可靠的文档所误导。此外，一个验证模块在后台运行，为生成的每个词分配一个置信度分数。如果系统找不到证据来支持某个特定的说法，它可以选择保持沉默而不是捏造事实。这种细粒度的控制使得系统能够在不牺牲自然语言流畅性的情况下，保持高度的真实性标准。
在分析中，研究人员证明了这些改进并非仅仅是幸运的巧合，而是基于严谨的数学原理，这些原理保证了系统能够实现最优化的运行。他们表明，决定何时检索信息的方法会趋向于最佳策略，从而最大限度地减少无效劳动。他们还证明，信息的组合方式在保留最有用的细节的同时丢弃其余部分，在理论上是最优的。最关键的是，他们确立了验证过程提供了一种可靠的置信度衡量标准，确保系统的说法始终与真实证据挂钩。这项研究证实，通过将这三种能力——自适应搜索、智能融合和严格验证——集成到一个统一的框架中，可以构建出不仅知识更渊博，而且更加诚实且高效的人工智能。这项工作为创建用户可以信任的高风险信息 AI 工具指明了清晰的路径，例如医疗建议或法律研究，在这些领域，准确性和引用来源的能力至关重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。