💬 NLP

Revisiting Text Ranking in Deep Research

本文通过在 BrowseComp-Plus 数据集上分析检索单元、流水线配置和查询特征，研究了文本排序方法在深度研究中的有效性，揭示了特定检索器类型和段落级单元表现出色，并提出了一种查询到问题的转换方法以缓解查询不匹配问题。

原作者： Chuan Meng, Litu Ou, Sean MacAvaney, Jeff Dalton

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Chuan Meng, Litu Ou, Sean MacAvaney, Jeff Dalton

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一名超级聪明的研究助理（一个 AI 智能体）来寻找一个非常棘手的问题的答案，比如：“2020 年哪场足球比赛的观众人数恰好是 61,880 人？”

为了解决这个问题，你的助理不能靠瞎猜；它必须去互联网上搜索、阅读文章、思考所发现的内容，然后再次搜索。这个过程被称为深度研究（Deep Research）。

这篇论文就像是一个正在检查研究助理引擎的机械师。具体来说，作者想要了解“文本排序（text ranking）”部分是如何运作的。文本排序是该助理用来决定哪些搜索结果最值得阅读的工具。

以下是他们研究结果的拆解，使用了简单的类比：

1. 问题所在：“黑盒”之谜

此前，大多数研究人员让这些 AI 助理使用一个“黑盒”搜索引擎（比如标准的 Google API）。他们并不知道这个引擎是如何挑选结果的。作者想要揭开这层帘幕，亲自测试不同的搜索引擎，看看哪些真正对这些 AI 智能体有效。

2. 第一项发现：“章节”对比“整本书”

作者测试了给 AI 提供信息的两种方式：

文档级（Document Level）： 把整个网页给 AI（整本书）。
段落级（Passage Level）： 只把相关的特定段落或部分给 AI（特定的章节）。

研究发现： 给 AI 提供段落（章节）的效果要好得多。

原因： AI 助理的“记忆力”（称为上下文窗口）是有限的。如果你喂给它们整本书，它们会很快耗尽记忆，从而不得不停止搜索。如果你只喂给它们相关的段落，它们就能在记忆中容纳更多信息，提出更多问题，并更准确地找到答案。
类比： 这就像是在解一个拼图。如果你把 1,000 块碎片全部倒在桌子上，你会感到不知所措；但如果你只给 AI 那些真正能拼在一起的 10 块碎片，它就能更快地解开拼图。

3. 第二项发现：“关键词”与“文章”的不匹配

作者注意到 AI 智能体进行搜索时的一些有趣现象。

人类如何搜索： 我们通常输入自然语言问题，如：“哪场比赛的观众人数是 61,880 人？”
AI 智能体如何搜索： 这些智能体表现得像老派的搜索引擎。它们输入简短的、以关键词为主的字符串，例如："61,880" "football" "attendance"。

研究发现：

老派工具胜出： 因为 AI 智能体使用关键词进行搜索，所以被称为 BM25 的老派搜索工具（它非常擅长匹配精确词汇）在大多数情况下竟然击败了先进的、基于 AI 的现代搜索工具。
不匹配之处： 那些高级 AI 搜索工具是针对自然语言问题（文章）进行训练的。当智能体给出关键词字符串时，这些 AI 工具就会感到困惑并表现不佳。这就像是要求一位诗人去写一份购物清单；他们虽然文采斐然，但这种格式并不适合这项任务。

4. 第三项发现：“编辑”（重排序）

在搜索工具找到一组结果后，第二个被称为**重排序器（Re-ranker）**的工具会充当编辑的角色。它查看这份名单并说：“实际上，这一个才是最重要的，把它挪到最前面。”

研究发现：

编辑至关重要： 使用重排序器显著提高了结果质量。它帮助 AI 更快、用更少的搜索尝试找到正确答案。
深度编辑更有帮助： 编辑查看的结果越多（在挑选出最顶部的结果之前检查更多结果），效果就越好。
“推理型”编辑并无帮助： 有一种特定的编辑旨在通过“思考”和“推理”来判断一个结果为何优秀。然而，由于搜索查询非常简短且充满了关键词，这种“推理型”编辑经常会产生困惑并犯错。这就像是一个侦探试图在没有任何线索的情况下破案；由于输入的信息太乱，额外的思考并无用处。

5. 解决方案：“翻译官”（Q2Q）

为了解决 AI 的关键词搜索导致高级 AI 工具感到困惑的问题，作者构建了一个翻译官（Translator）。

工作原理： 在搜索工具寻找答案之前，翻译官会将 AI 的关键词字符串（例如 "61,880" "football"）转化为一个自然语言问题（例如“哪场足球比赛的观众人数为 61,880 人？”）。
结果： 这种简单的翻译让高级 AI 搜索工具重新焕发了活力。它弥合了智能体“提问方式”与工具“学习方式”之间的鸿沟。

“机械师”报告总结

不要给 AI 喂整本书； 给它具体的段落（passage），这样它才不会感到不知所措。
老派的关键词匹配（BM25） 对这些智能体来说出奇地强大，因为它们的搜索行为就像关键词机器。
一个“编辑”（重排序器） 对于挑选最佳结果至关重要。
如果你使用高级 AI 搜索工具， 你必须先将智能体的关键词搜索转化为自然语言问题，否则这些工具会感到困惑。

论文得出结论：虽然 AI 智能体功能强大，但它们仍然高度依赖这些成熟的、有时甚至是“老派”的信息检索方法来高效工作。

技术摘要：重新审视深度研究中的文本排序

问题定义

深度研究是一个新兴的任务，其中基于大语言模型（LLM）的智能体进行迭代推理和开放网络探索，以回答复杂的、多跳的查询。虽然搜索是这一过程的核心，但以往的大多数工作依赖于不透明的黑盒网络搜索 API。这种缺乏透明度的现状阻碍了对既有文本排序方法在这一特定设置下表现的系统性理解。此外，现有的研究往往忽略了关键变量：检索单元的粒度（文档 vs. 段落）、排序流水线的配置（检索器、重排序器及深度），以及智能体发出的“网页搜索风格”查询与用于训练神经排序器的自然语言问题之间可能存在的失配。

研究方法

作者在 BrowseComp-Plus 上对文本排序方法进行了全面的复现和评估，该数据集具有固定的语料库和人工验证的相关性判断。研究涉及：

智能体： 两个开源 LLM 智能体：gpt-oss-20b（20B 参数）和 GLM-4.7-Flash（30B 参数）。两者均针对工具使用和思维链（CoT）推理进行了训练。
检索器： 五种涵盖四种范式的检索器：
- 词法稀疏检索：BM25。
- 学习型稀疏检索：SPLADE-v3。
- 单向量稠密检索：RepLLaMA (7B) 和 Qwen3-Embed-8B。
- 多向量稠密检索：ColBERTv2。
重排序器： 三种代表不同效率/效果权衡的点对点（pointwise）重排序器：monoT5-3B（非推理型）、RankLLaMA-7B（非推理型）以及 Rank1-7B（基于推理型，生成 CoT 轨迹）。
实验变量：
1. 检索单元： 对比在文档语料库（完整网页，通常截断为 512 个 token 以适应上下文窗口）与段落语料库（约 250 个单词的片段）上的性能。
2. 流水线配置： 改变检索器、重排序器和重排序深度（10, 20, 50）。
3. 查询失配： 评估智能体发出的查询（以关键词为主、带引号）与自然语言问题之间的影响。作者提出了一种 查询转问题（Query-to-Question, Q2Q） 方法，将智能体查询重新表述为自然语言，其变体包括仅使用查询 ( $Q$ ) 以及查询加智能体推理轨迹 ( $Q+R$ )。

核心发现

1. 检索单元与词法性能 (RQ1)

段落优于文档： 在没有全文档阅读器的情况下，段落级单元在答案准确性上始终优于文档级单元。这对于上下文窗口较小的智能体（如 gpt-oss-20b）尤为显著，因为段落允许在达到 token 限制前进行更多的搜索和推理迭代。
BM25 的主导地位： 与某些神经检索领域的趋势相反，当与段落语料库和 gpt-oss-20b 配对时，BM25 取得了最高的准确率 (0.572)。这归功于智能体查询的“网页搜索风格”语法（关键词、通过引号实现的精确匹配），这种语法有利于词法匹配。
文档截断问题： 由于缺乏适当的文档长度归一化，BM25 在默认参数下的文档语料库上表现较差。作者证明，调整 BM25 参数（特别是增加用于长度归一化的 $b$ 值）或将文档截断为 512 个 token 可以显著提高性能。
神经检索器的泛化能力： 尽管单向量稠密模型（RepLLaMA, Qwen3-Embed-8B）的模型规模更大，但学习型稀疏检索器（SPLADE-v3）和多向量稠密检索器（ColBERTv2）对网页搜索风格的查询具有更好的泛化能力。

2. 重排序的有效性 (RQ2)

持续增益： 重排序一致地提高了召回率和答案准确性，同时减少了搜索调用次数。
深度至关重要： 更深的重排序（例如深度 50）比浅层重排序产生更好的结果。
最佳配置： 结合 BM25（检索器）+ monoT5-3B（重排序器） 的流水线配合 gpt-oss-20b 达到了最佳整体性能（0.716 召回率，0.689 准确率），接近使用更复杂设置的商业智能体的表现。
推理能力的局限性： 基于推理的重排序器 Rank1-7B 并没有表现出明显的优于非推理方法的优势。它经常误解富含关键词、由短语驱动的查询（例如，将独立的关键词视为一个语义单元），这表明当输入查询格式与训练分布（自然语言问题）不匹配时，显式推理的效果并不理想。

3. 查询失配与 Q2Q (RQ3)

分布偏移： 当使用原始的智能体查询而非自然语言问题时，神经排序器存在显著的性能差距。
Q2Q 的效力： 所提出的 查询转问题 (Q2Q) 方法，特别是结合了智能体推理轨迹的变体 ( $Q+R$ )，显著缓解了这种失配。它提高了神经检索器（SPLADE-v3, Qwen3-Embed-8B）和基于推理的重排序器的召回率和准确率。
词法敏感性： 有趣的是，将 Q2Q 应用于 BM25 会导致性能轻微下降，这证实了 BM25 更适合处理智能体那种以关键词为主的原始语法。

贡献

本文声称了以下贡献：

首次全面复现： 这是首个专门针对深度研究范式，对一系列文本排序方法（检索器和重排序器）进行全面复现的研究。
构建段落语料库： 作者从 BrowseComp-Plus 文档集中构建了段落级语料库，以实现细粒度的检索分析。
经验洞察： 研究表明，段落级单元、针对网页搜索优化的检索器（如 BM25）以及重排序是深度研究智能体的关键组成部分。
缓解查询失配： 识别了训练与推理之间的查询失配问题，并提出了解决该问题的 Q2Q 方法。
开源： 所有代码、数据和智能体轨迹均已开源，以促进进一步研究。

意义与主张

作者断言，只要配置得当，信息检索（IR）领域的既有文本排序方法在深度研究中仍然非常有效。具体而言：

BM25 并未过时： 通过适当的参数调优和段落级索引，BM25 在此设置下优于许多大型神经模型。
重排序必不可少： 它提供了高回报率，既提高了准确性又降低了搜索成本。
查询格式至关重要： 智能体生成的“网页搜索风格”查询造成了分布偏移，阻碍了基于自然语言训练的神经排序器。通过 Q2Q 等方法来缓解这一问题，对于释放神经排序器在智能体搜索中的潜力至关重要。

论文得出结论，尽管深度研究引入了新的复杂性，但信息检索的核心原则（词法匹配、重排序和单元粒度）仍然是成功的首要驱动力，而不仅仅是依赖于 LLM 智能体的规模。