Zero-RAG: Towards Retrieval-Augmented Generation with Zero Redundant Knowledge
Zero-RAG 通过引入用于修剪冗余文档的精通度评分（Masterity-Score）指标以及一个用于增强内部知识利用的具有噪声容忍调优（Noise-Tolerant Tuning）的查询路由器，解决了大语言模型与外部语料库之间的知识冗余问题，从而在保持性能的同时将检索速度提升了 22%。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位才华横溢、博学多才的图书管理员（即大语言模型或 LLM），他脑海中记住了庞大的知识库。同时，你还有一个巨大的、布满灰尘的仓库（即外部语料库，例如维基百科），你可以用它来帮助这位管理员回答问题。
长期以来，标准的工作方式是：“无论问题是什么，都去仓库里拿几本书，交给管理员，让他读完后再回答。”
名为 “Zero-RAG” 的论文指出，这种旧方法实际上既低效，有时甚至适得其反。以下是关于为什么以及如何修复这一问题的简单拆解：
问题所在：“冗余”的仓库
作者们注意到，现代的图书管理员（LLM）已经变得非常聪明，他们脑子里已经掌握了仓库中很大一部分内容。
- 浪费： 如果管理员已经完美地知道答案，把一本关于该答案的书递给他们纯粹是在浪费时间。这就像是问一位已经知道如何煮鸡蛋的大厨去读菜谱一样。
- 干扰： 更糟糕的是，阅读那些他们已经知道的信息有时反而会使管理员感到困惑。论文发现，当管理员被给予他们已知的信息时，他们有时会分心，给出的答案甚至比仅依靠自身记忆时还要差。
- 成本： 对庞大的仓库进行索引和搜索需要消耗大量的能量和时间。如果那个仓库中有 30% 都是管理员已经掌握的内容，那么你在搜索这些不需要的“垃圾”时就是在浪费精力。
解决方案：Zero-RAG
团队提出了一个名为 Zero-RAG（零冗余知识）的新系统。可以将其视为对图书馆系统的一次三步升级：
1. “精通度评分”（审计）
首先，他们需要一种方法来确定仓库中的哪些书已经在管理员的脑子里了。
- 运作方式： 他们创建了一个名为 Mastery-Score（精通度评分） 的测试。他们从仓库中取出一个句子，将其转化为一个测验，并要求管理员在不看书的情况下回答这个问题。
- 结果： 如果管理员正确回答了 100% 的测验，那么这个句子就会获得很高的“精通度评分”。这意味着管理员已经“精通”了这个事实。
- 行动： 他们利用这个评分来修剪（丢弃）那些冗余的句子。通过这种方式，他们删除了维基百科语料库中约 30% 的内容，只留下了管理员还不了解的“新”知识或“难”知识。
2. “查询路由”（智能前台）
现在仓库变小了，他们在前台增加了一位聪明的接待员。
- 运作方式： 当一个问题进来时，接待员会询问：“管理员知道这个吗？”
- 行动：
- 如果知道：接待员会说：“跳过仓库！直接凭记忆回答。”这节省了时间，也避免了管理员被无关的书籍干扰。
- 如果不知道：接待员会将管理员引导至（现在规模更小的）仓库中去寻找特定的答案。
3. “抗噪微调”（训练）
即使有了更小的仓库和聪明的接待员，有时管理员仍可能不小心抓取到没有帮助的书籍。
- 修复方法： 作者训练了管理员使其具备“抗噪性”。他们练习了一些场景，在这些场景中，管理员会被给予一些有用的书和一些无用的、具有干扰性的书。
- 目标： 这教会了管理员忽略“噪声”，并在书籍没有帮助时坚持使用自身的内部知识，从而使系统更加稳健。
结果
通过使用这个系统，团队取得了一些令人印象深刻的数据：
- 更小的仓库： 他们将维基百科数据库的规模缩减了 30%。
- 更快的速度： 由于仓库变小了，且对于已知问题跳过了检索过程，检索过程变得快了 22%。
- 质量无损： 令惊讶的是，管理员并没有变得更差。事实上，通过移除那些具有干扰性的“冗余”书籍，系统的表现与之前一样好，有时甚至更好。
总结类比
想象你正在参加一场考试。
- 旧方法： 你被允许携带一本巨大的百科全书。即使是那些你已经烂熟于心的题目，你也必须翻阅每一页。有时，阅读百科全书反而让你对自己记忆产生怀疑。
- Zero-RAG 方法： 你首先检查哪些题目是你已经掌握的。对于这些题目，你直接写下答案。对于那些你不知道的题目，你只会在一本经过精简、规模更小的百科全书中查找所需的特定页面。此外，你还练习了如何忽略那些毫无意义的页面。
结果如何？你更快地完成了考试，犯错更少了，而且不会在不需要书本时浪费时间搬运它。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。