When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

大语言模型是强大的工具，它们可以通过调用在训练过程中记忆的大量信息来编写故事、回答问题和解决问题。然而，这些模型并不完美；它们有时会遗忘事实，或者编造一些听起来合理但却是错误的内容。为了解决这个问题，研究人员开发了一种称为检索增强生成（retrieval-augmented generation）的方法。这种方法就像是模型的“图书管理员”：当提出一个问题时，系统首先会在外部文档数据库中搜索相关的证据，然后将这些证据连同问题一起输入给模型。其目标是让模型利用这些新鲜的信息来给出更准确的答案。然而，这个系统存在一个隐藏的缺陷。有时它找到的文档具有误导性、过时，甚至是有意造假的。如果模型盲目信任这些文档，它就会重复其中的错误。相反，如果模型完全忽略这些文档，它可能会错过有用的信息，或者无法回答需要特定文本细节的问题。核心挑战在于，何时应该信任外部证据，何时应该依赖模型自身的内部知识。

悉尼大学的一个研究小组提出了一种解决这一困境的新方法，称为“意图引导解码”（Intent-Guided Decoding）。该系统并非强制模型始终信任文档或始终忽略文档，而是依靠明确的用户指令来决定策略。在某些情况下，用户可能正在阅读一份特定的报告，并希望模型严格根据该报告的内容进行回答，即使报告中包含错误。在其他情况下，用户可能是在询问一个普遍的事实核查问题，并希望模型忽略具有误导性的文档，转而寻求真相。研究人员构建了一个能够适应这些特定指令的框架。它的工作原理是让模型同时生成三个不同的潜在答案：一个基于用户的原始问题，一个严格基于提供的文档，以及一个仅基于其自身内部记忆的答案。随后，系统会对这三条思维流进行比较。如果文档与内部记忆发生冲突，系统会检查用户的指令以决定遵循哪条路径。如果用户明确要求严格遵循文本，系统就会倾向于文档；如果用户明确要求寻求真相，系统则会倾向于其内部记忆，从而有效地过滤掉误导性信息。

研究人员在各种问题和不同类型的语言模型上测试了这种方法。他们创建了文档正确和文档故意造假的两种场景。在文档具有误导性的案例中，标准系统由于盲目遵循文本，往往会给出错误的答案。然而，新系统能够识别出这种冲突并切换到其内部知识，在许多情况下找回了正确的答案。在文档具有误导性的基准测试中，与标准方法相比，新方法的准确率提升了多达 65.4 个百分点。至关重要的是，这种提升并没有以忽略有用信息为代价。当用户明确要求模型遵循所提供的文本时，系统能够准确地做到这一点，即使文本是正确的。这表明该系统成功平衡了两个相互竞争的需求：在需要时忠实于源材料，以及在源材料不可靠时保持事实正确。

研究还表明，仅仅告诉模型要“小心”或“核实事实”并不足以阻止它被糟糕的文档所误导。研究人员发现，除非有一种特定的机制来根据用户意图权衡证据，否则模型往往无法自我纠正。他们的方法不需要重新训练模型或改变搜索信息的方式；相反，它在生成答案的最后一步充当了一个智能过滤器。通过分析模型对其不同潜在答案的信心程度，并根据文档的可靠性来调整文档的影响力，系统可以进行细粒度的调整。例如，如果内部记忆非常自信而文档很不可靠，系统会轻轻地将答案引向真相。如果文档很强有力且用户希望遵循它，系统则会让文档引导答案。这种细致入微的方法使模型能够处理那些“正确答案完全取决于用户想要实现什么目标”的复杂情况。

最终，这项工作强调了语言模型与其外部知识之间的关系并非简单的信任或不信任的问题。这是一种取决于对话语境的动态协商。研究人员证明，通过让模型感知用户的意图，可以创建一个既可靠又灵活的系统。这意味着在未来，这些工具可以用于更广泛的任务，从需要严格遵守文本的法律文件分析，到需要避免误导信息的通用知识查询。研究结果表明，人工智能的未来不仅在于让模型变得更聪明，还在于让它们更好地理解何时该倾听，以及何时该表达自己的观点。