Towards Retrieval Augmented Generation in High-Energy and Astroparticle Physics
本文提出了一种开源的检索增强生成（RAG）流水线，该流水线利用混合检索和大型语言模型，从超过 230,000 篇高能与天体粒子物理论文中合成简洁且具有引用依据的文献综述，从而克服了传统关键词搜索在应对该领域海量文献时的局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
高能物理学与天体物理学的宇宙是一个庞大且不断扩张的图书馆。它包含了关于物质最小组成单元以及宇宙中最剧烈事件的理论，从粒子加速器内部的碰撞到遥远恒星的爆炸。几十年来，科学家们一直依赖于使用简单的关键词列表来搜寻这个图书馆，就像通过书名或作者来寻找特定的书一样。然而，每年发表的新研究数量之巨，使得这种方法变得日益困难。一位研究人员可能会针对某个特定现象提出一个复杂的问题，结果却发现搜索引擎返回了数千个匹配这些词的结果，但却忽略了其深层含义，或者更糟的是，因为论文使用了不同的术语而完全遗漏了最相关的文献。
为了解决这个问题，一个研究小组构建了一种专为该科学领域设计的全新数字助手。他们创建了一个不仅寻找匹配词汇，而且实际上理解其背后概念的系统。这个被称为“检索增强生成”（retrieval-augmented generation）流水线的工具，充当了科学家的问题与网上海量科学论文数据库之间的桥梁。它的工作原理是首先阅读并理解数十万篇研究论文的标题和摘要，将其转化为一种能够捕捉核心含义的格式。当科学家提出问题时，该系统会找到真正与主题相关的论文，而不仅仅是那些碰巧共享几个单词的论文。随后，它利用一个强大的语言模型来阅读选定的论文，并撰写一份简洁、准确的总结报告，其中包含规范的引用。这使得研究人员、编辑和审稿人能够在无需花费数天时间阅读数百份文档的情况下，快速掌握任何狭窄领域的知识现状。
研究人员首先从 arXiv 数据库中收集了大量的科学论文，这是一个物理学家在研究成果正式发表前发布其最新发现的公共存档库。他们专注于两个特定领域：研究基本粒子和力的高能物理学，以及研究剧烈宇宙事件的高能天体物理学。他们从该存档中选择了超过 25 万篇论文，并对其进行了过滤，仅保留与这些特定领域相关的论文。在初始步骤中，他们不需要每篇论文的全文；标题和摘要（即总结主要思想和发现的部分）已经足够了。他们将这些摘要输入到一个专门设计的能够理解科学语言的计算机模型中。该模型将每篇论文转换为一个独特的数字指纹，即“嵌入”（embedding），这在数学空间中代表了论文的含义。在这个空间里，讨论相似想法的论文位置彼此接近，而讨论不同话题的论文则相距较远。
为了确保系统的鲁棒性，团队测试了几种不同的创建这些数字指纹的方法。他们将专门针对科学引用进行训练的模型与更通用的模型进行了对比。他们发现，专门学习科学家如何相互引用的模型，在按实际科学内容对论文进行分组方面最为有效。随后，他们构建了一个两步走的搜索引擎来为给定的问题寻找合适的论文。第一步寻找在语义上相似的论文，这意味着即使使用的词汇不同，它们也共享相同的底层概念。第二步寻找包含问题中特定关键词的论文。通过结合这两种方法，该系统既能捕捉到主题的广泛含义，也能捕捉到研究人员可能寻找的精确细节。
一旦系统收集到大量潜在论文，它便面临一个新的挑战：并非所有论文都同样有用。有些论文虽然与主题相关，但并不直接回答特定问题。为了解决这个问题，研究人员增加了一个最后的过滤步骤，由一个大型语言模型充当“裁判”。该模型阅读问题和候选论文列表，然后仅选择最相关的论文。为了确保这种选择是公平的，且不受论文排列顺序的影响，研究人员多次打乱列表顺序，并取所有被模型选中的论文的并集。这确保了最终的论文集是最准确且最全面的。
手握这份精炼后的论文列表后，系统会生成最终报告。语言模型阅读所选论文的标题和摘要，并撰写一份简短、连贯的总结来回答原始问题。至关重要的是，模型被指示要为每一个观点引用具体的论文，从而使总结建立在可验证的证据之上。研究人员使用两组不同的问题对整个过程进行了测试，一组针对高能物理学，另一组针对天体物理学。他们发现，这种混合搜索方法结合最后的过滤与综合步骤，比传统的关键词搜索要优越得多。它成功地为绝大多数问题检索到了正确的源论文，即使是那些通常会让标准搜索引擎出错的复杂或模糊的查询。
团队通过生成特定主题的示例报告展示了该系统的力量。在一个例子中，他们询问科学家如何计算有效场论中某些复杂的数学属性。系统检索了数十篇相关论文，并生成了一份报告，准确地总结了所使用的不同方法——从传统计算到更新、更高效的技术——同时引用了引入这些方法的具体著作。在另一个例子中，他们询问特定的望远镜阵列如何约束暗物质的性质。生成的报告清晰地解释了观测策略、使用的目标以及数据所设定的限制，同样带有精确的引用。这些报告不仅仅是事实的堆砌；它们是连接不同研究片段的连贯叙述。
研究人员强调，这个工具并不是旨在取代人类专家及其判断。相反，它是旨在处理文献检索中的繁重工作，让科学家能够专注于解释和发现。通过自动化寻找和总结相关工作的过程，该系统帮助研究人员在知识增长速度超过个人阅读能力的领域中保持同步。它还提供了一种快速识别当前知识空白或寻找新研究方向的方法。整个系统是开源的，这意味着其他科学家可以使用它、改进它，并根据自己的需求进行调整。这项工作代表了利用人工智能管理科学知识爆炸式增长的一个重要进步，将令人望而生畏的论文大山转变为整个科学界可以掌控且易于获取的资源。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。