Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach
本文提出并评估了一种用于检索增强生成的源感知重排序方法，该方法利用领域感知的来源可靠性先验对检索分数进行重新加权，证明了在医疗领域语料库上显著提升了精确度并减少了对抗性检索。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正走进一座巨大且混乱的图书馆，书里的内容正被一个超级聪明的机器人不断重写。这个被称为“大语言模型”的机器人非常擅长写故事和回答问题，但它有一个问题：它有时会编造事实，因为它无法完美地记住每一个事实。为了解决这个问题，我们给了这个机器人一个助手，叫做“检索增强生成”（Retrieval-Augmented Generation，简称 RAG）。把 RAG 想象成一位图书管理员，她会跑向书架，抓起一叠看起来与你的问题相匹配的书，在机器人回答之前递给它阅读。
麻烦在于，现在的图书管理员只看书页上的“文字”。如果问题是关于“如何治疗感冒”，图书管理员可能会抓来一本严肃的、经过同行评审的医学教科书，以及一篇由互联网随机用户写的搞笑虚假博客文章。因为这两篇文本都使用了“感冒”、“喷嚏”和“药物”这些词，图书管理员认为它们是同样优质的信息源。在现实世界中，这是很危险的。如果机器人读了那篇虚假的博客文章，它可能会给你错误的建议。这篇论文提出了一个简单的问题：如果图书管理员不仅能看书里的文字，还能通过看书的“封面”来了解是谁写的，并且只抓取那些来自可信作者的书籍，情况会怎样呢？
这篇题为《面向检索增强生成的来源感知重排序》（Source-Aware Reranking for Retrieval-Augmented Generation）的论文，提出了一个巧妙且低技术门槛的解决方案。作者们并没有建议去建造一个全新的、复杂的机器人图书管理员，而是提出了一个简单的规则：当图书管理员找到一叠匹配的书籍时，他们应该根据出版者的身份给每本书一个“可靠性评分”。来自政府卫生机构的书籍得分很高，而来自 AI 生成的博客文章得分很低。然后，图书管理员将书的“文字匹配度”得分乘以这个“信任得分”。
作者在一组包含 120 份健康相关文档的小型集合上测试了这个想法，其中包括 10 份设计用来模仿真实医疗建议但包含谎言的棘手“伪造”文档。他们发现，当使用这种基于信任的规则时，系统在挑选正确答案方面表现得好得多。具体来说，前 5 个结果的准确率从 48% 跃升到了 72%。更重要的是，系统挑选到那些虚假、误导性文档的频率降低了，从 32% 降到了 28%。
然而，作者们非常谨慎，并未将其称为万灵药。他们承认，他们的测试就像是在实验室里的受控科学实验，而不是在现实世界的战斗中对抗狡猾的黑客。在他们的设置中，伪造文档很容易识别，因为它们的“封面”上有“虚假”标签。如果一个坏人能把一份伪造文档溜进图书馆，并在上面贴上“政府官员”的标签，这个简单的系统就会被蒙蔽。论文指出，虽然这种方法是一个很好的第一步，并且在特定情况下效果很好，但它还不是一个完美的护盾。它表明，我们需要将检查“封面”（来源）与阅读“页面”（内容）结合起来，才能真正让机器人保持安全和聪明。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。