Mapping the Convergence of Information Retrieval and Large Language Models
本文对 2015 年至 2025 年间的 4,064 篇文献进行了文献计量学分析，揭示了信息检索领域已从一个由不同子领域构成的多样化景观，演变为一个以大语言模型和神经排序为中心的收敛结构，这一过程是由综述文献的桥梁作用以及检索增强生成的兴起所驱动的。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，科学的世界就像一座宏大而繁忙的图书馆，每一位研究人员都在撰写一本新书。长期以来，这座图书馆有两个不同的区域，分别位于不同的侧翼。在其中一个侧翼，信息检索 (IR) 专家是图书管理员。他们的工作是构建最好的系统来寻找特定的文档，比如在大海捞针中寻找针，或者整理图书馆的目录。而在另一个侧翼，大语言模型 (LLM) 专家是讲故事的人。他们教计算机如何阅读、理解和编写人类语言，创造出能够聊天、总结和生成文本的模型。
多年来，这两组人使用不同的工具，说着略微不同的语言。图书管理员依赖严格的规则来匹配关键词，而讲故事的人则使用复杂的数学来预测句子中的下一个词。但最近，发生了一些神奇的事情：两个侧翼之间的墙壁开始崩塌了。讲故事的人开始帮助图书管理员寻找“针”，而图书管理员开始利用讲故事的人的“魔法”让他们的搜索变得更聪明。这篇论文就像是一位绘图师，决定精确地追踪这两个群体究竟是何时以及如何合并的。通过观察谁引用了谁（谁在自己的脚注中提到了谁的书），作者可以看到连接这些研究人员的无形纽带。一个巨大的问题是：他们只是互相借用了几种工具，还是完全共同重建了这座图书馆？
合并的地图
作者 Prince Opoku Saaluon 决定通过构建一个包含 2015 年至 2025 年间发表的超过 15,000 篇研究论文的巨型网络图来回答这个问题。把这张地图想象成一张蜘蛛网，每一篇论文都是一个点，如果两点都引用了相同的旧论文，就会有一根线连接它们。这被称为文献耦合 (bibliographic coupling)。如果两篇论文共享许多参考文献，它们很可能在讨论相同的想法，因此它们之间的连线就很强。
作者使用计算机清理了这个网络，剔除了“噪声”，例如关于人类大脑记忆检索或卫星图像中寻找丢失物体的论文（因为“检索”一词可以有不同的含义）。清理完成后，他们留下了一个由 4,064 份文档和 71,534 条连线组成的紧密联系的网络。
图书馆的六大部落
当作者观察这个网络时，发现它自然地分成了六个主要的部落（或社区），每个部落都有其特殊的关注点：
- 多模态与视觉-语言检索： 连接图像与文字的艺术家。
- 神经与对话式文档检索： 在长对话中寻找答案的聊天机器人。
- 用于 IR 的预训练 Transformer 与 LLM： 使用最新“魔法咒语”（如 Transformer）来寻找信息的巫师。
- 神经排序 / 神经 IR： 决定哪些搜索结果最好的裁判。
- 图与代码检索： 在复杂结构和计算机代码中进行搜索的建筑师。
- 基于哈希的检索： 使用捷径实现瞬间查找的速达者。
这六个群体是截然不同的，就像城市中的不同街区。但故事中最有趣的部分不仅在于这些街区，还在于它们之间的桥梁。
粘合剂与时间线
论文问道：是什么将这六个街区连接在一起？ 答案出人意料地具体。这些“桥梁”并不是任何单一街区中最著名的论文。相反，粘合剂是一组综述论文（总结他人研究工作的评论性文章）。具体而言，关于神经排序 (neural ranking) 的论文充当了核心的连接组织。这些综述论文就像是城镇广场，来自“艺术”街区、“聊天机器人”街区和“代码”街区的人们都在这里汇聚并分享想法。作者发现，这些综述论文位于几乎所有其他群体之间的最短路径上，证明了它们才是对话的真正领导者。
但最令人兴奋的发现发生在作者观察地图随时间变化的过程中。他们将这 10 年的历史切分为四个部分，以观察这座城市是如何变化的：
- 2019 年之前： 城市连接程度中等，但各个街区仍然相当独立。
- 2019 年至 2021 年： 城市反而变得更加分裂了。随着“稠密检索 (dense retrieval)”和“Transformer”等新工具的到来，各个街区变得更加疏离，形成了更明显的子领域。“模块化度”（衡量群体分离程度的分数）上升到了 0.628。
- 2022 年至 2023 年： 这是关键时刻。地图显示分离度突然大幅下降。模块化度骤降至 0.342。此前相互独立的街区坍缩成了一个单一的、互联的核心。
这种下降表明，大语言模型 (LLMs) 和检索增强生成 (RAG)（一种在写作前先寻找事实的技术）的到来，不仅仅是增加了一个新工具；它迫使整个领域进行了重组。曾经分离的部落停止了各自建造围墙，开始共享同一个基础。
这意味着什么
论文指出，信息检索领域不仅仅是“借鉴”了一些来自大语言模型的技巧。相反，它已经围绕着它们进行了重组。神经排序研究充当了连接旧有的搜索方式与新的、由 AI 驱动的搜索方式之间的枢纽。
作者谨慎地指出，虽然这次合并的时间点（2022–2023 年）与大语言模型的兴起完美吻合，但地图显示的是一种相关性，而非必然的因果关系。然而，证据是强有力的：科学本身的结构已经发生了变化。该领域不再是孤立岛屿的集合；它已成为一个单一的、繁忙的大陆，在这里，讲故事的人和图书管理员终于开始使用同一种语言。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。