💻 computer science

Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration

本文介绍了“先澄清后搜索”（Clarify-Then-Search），这是一个基于真实百度数据构建的基准测试，旨在评估由大语言模型生成的澄清问题如何通过恢复缺失的查询约束来提升深度搜索性能，证明了此类交互能显著提高端到端的效用，同时也揭示了诸如过度询问无法回答的位置问题等常见的失败模式。

原作者： Deqiang Huang, Jingbo Zhou, Xinjiang Lu, Tong Xu, Hua Wu, Enhong Chen

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Deqiang Huang, Jingbo Zhou, Xinjiang Lu, Tong Xu, Hua Wu, Enhong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在浩瀚的数字信息领域，搜索引擎已经从简单的关键词匹配器演变为能够进行深度调查的复杂助手。这些系统通常被称为深度搜索智能体（deep search agents），它们不仅仅是返回一个链接列表，而是会主动浏览网页，从多个来源收集证据，并针对用户的提问合成一个全面的答案。然而，这些强大的工具有一个致命的弱点：当人类的需求模糊不清时，它们会表现得力不从心。如果用户询问“最好的大学”，系统并不知道是指工程学最好的、欧洲最好的，还是特定预算下最好的。由于缺乏这些缺失的细节，搜索可能会偏离航向，在无关信息上浪费时间，并交付一个感觉不完整或错误的最终答案。解决方案似乎显而易见：计算机应该请求澄清。但构建一个知道该问什么、以及如何利用答案来改进搜索的系统，一直难以测试。直到现在，研究人员仍然缺乏一种可靠的方法来衡量一次澄清性的提问究竟是真正帮助了搜索引擎找到更好的信息，还是仅仅是毫无意义的礼貌寒暄。

来自中国科学技术大学和百度的一组研究人员创建了一个新的试验场来解决这个问题。他们引入了一个名为“先澄清后搜索”（Clarify-Then-Search）的基准测试，这是一个旨在观察在搜索之前提问是否真的能带来更好结果的严谨实验。该团队从百度的真实搜索查询开始。对于每个测试用例，他们首先将原始数据融合并归一化为一个清晰、具体的意图查询（即“fused_query”），例如“欧洲最适合人工智能硕士学位的大学”。然后，他们通过删除时间、地域或范围等关键约束条件，故意模糊了这个意图，从而创建了系统所看到的模糊请求（即“blurred_query”）。这为每个测试用例创建了一个配对的数据集：系统必须处理的模糊查询，以及代表用户真实目标的清晰意图。

为了确保测试公平且不受操纵，研究人员设置了一个严格的两阶段交互过程。首先，一个“澄清者”（Clarifier）模型仅查看模糊查询并生成一组问题来询问用户。接着，一个“用户回答者”（User Answerer）模型（它已知晓真实的、清晰的意图）会对这些问题进行回答。至关重要的是，用户回答者被编程为保持诚实：如果真实意图中不包含所请求的具体信息，它必须回答“未知”。它不能为了表现得乐于助人而编造细节。最后，一个“重写者”（Rewriter）模型获取原始的模糊查询和收到的答案，以创建一个新的、改进后的搜索查询。这个重写后的查询随后被输入到一个固定的深度搜索系统 WebDancer 中，由它去寻找实际的信息。研究人员随后将最终答案与基于清晰意图查询构建的“黄金参考”（golden reference）进行对比，以观察有多少正确信息被成功恢复。

结果显示，虽然提问有所帮助，但它并非万能灵药。当系统被允许只提一个问题时，测试的所有模型表现都比完全不提问时要好。表现最好的模型 GPT-5.2 成功恢复了显著更多的有用信息。然而，这项研究揭示了这些系统思维方式中的一个持久缺陷。许多模型（尤其是那些在其他领域表现出色的模型）都有一个强烈的倾向，即询问地理位置或区域，例如“您想找哪个城市？”在本次测试的严格条件下，由于真实意图往往并未指定具体位置，这些问题经常导致“未知”的回答。这意味着系统浪费了一轮对话去询问一个它无法得到答案的问题，导致重写后的查询与原始查询一样模糊。研究人员发现，这种“仅限区域”的偏差是导致某些交互无法改善搜索的主要原因，即便这些问题听起来自然且相关。

将允许的问题数量从一个增加到两个或三个通常会提高结果，但收益很大程度上取决于模型的策略。虽然 GPT-5.2 在单轮提问中领先，但另一个模型 ERNIE-4.5-Turbo-128K 在允许提问三次时占据了榜首。这表明，有些系统擅长挑选一个高价值的问题，而另一些系统则擅长进行持续的对话，从而逐步挖掘出缺失的细节。研究还表明，仅仅增加轮数并不保证成功；如果额外的提问继续针对用户意图中不存在的信息，系统就会持续撞向死胡同。最有效的系统是那些能够避免这些低产出问题，并成功引导出至少一个具体、可用信息的系统。

这项工作为衡量澄清在深度搜索中的真实价值提供了一种清晰、可复现的方法。它超越了仅仅检查一个问题是否听起来礼貌或相关，而是专注于该问题是否确实能导向更好的最终答案。研究结果表明，对于深度搜索系统要变得真正可靠，它们不仅要学会提问，还要学会问对问题。它们需要识别何时提问很可能产生答案，以及何时最好利用已有的信息直接进行搜索。通过暴露这些特定的失败模式，该基准测试为构建不仅更聪明、而且更高效的搜索智能体提供了路线图，确保每一次交互都能让用户离他们寻求的真相更近一步。

技术摘要：先澄清后搜索 (Clarify-Then-Search)

问题陈述

深度搜索系统（即在推理与工具使用（如网页搜索和浏览）之间进行交替的系统）正越来越多地被部署于复杂的信息需求场景中。然而，面对**欠定义用户查询（underspecified user queries）**时，这些系统表现出脆弱性。现实世界的搜索日志频繁显示，查询缺失了关键约束，例如时间范围、地理区域、实体消歧、数值阈值或概念定义。在深度搜索中，此类歧义会产生严重的下游后果：它们可能误导搜索规划、浪费工具调用预算在低收益的探索上、触发偏离目标的证据访问，并传播到不完整或错误的最终答案中。

尽管大语言模型（LLM）具备提出澄清问题的能力，但现有的深度搜索澄清评估仍非常有限。以往的基准测试往往关注问题层面的属性（如流畅度、合理性），而非下游效用；或者存在**意图泄露（intent leakage）**问题，即重写或检索阶段间接观察到了地面真值（ground-truth）意图，导致难以将性能提升归因于澄清质量。

方法论：Clarify-Then-Search 基准测试

作者引入了 Clarify-Then-Search，这是一个旨在评估 LLM 在严格信息约束下通过提问来促进深度搜索能力的基准测试。该基准基于从真实百度搜索查询中提取的 518 个精选实例构建而成。

1. 数据构建

每个实例由一对组成：

$q^*$ (fused_query/融合查询)： 包含所有必要约束的底层意图查询。
$q$ (blurred_query/模糊查询)： $q^*$ 的欠定义版本，其中关键约束（时间、地点、范围等）已被移除。

对于每一个 $q^*$ ，作者运行一次固定的深度搜索骨干网络（WebDancer）以存档证据轨迹。从这些轨迹中，他们提取出一个静态黄金参考（static golden reference），由加权的、基于证据的“知识点（nuggets）”组成（即具有可追溯来源标识符的原子化、可判定的陈述）。该静态黄金参考在所有评估中重复使用，以确保可复现性。

2. 两阶段闭卷协议

为了防止意图泄露并隔离澄清的贡献，评估遵循严格的两阶段协议：

阶段 1：澄清与回答。 **澄清器（Clarifier）**仅基于模糊查询 $q$ 生成 $k$ 个澄清问题（ $k \in \{1, 2, 3\}$ ）。**用户回答者（User Answerer, UA）**作为受限模拟器，接收隐藏意图 $q^*$ 和澄清问题。UA 仅在请求的属性明确存在于 $q^*$ 中时才进行回答；否则，必须输出 unknown。UA 被禁止捏造信息。
阶段 2：重写与搜索。 **重写器（Rewriter）*接收模糊查询 $q$ 和提取出的 Q&A 对。至关重要的是，重写器从未*看到 $q^*$ 。它必须仅使用显式提取的信息来重写查询 $\hat{q}$ 。如果某个回答是 unknown，重写器必须保留这种模糊性，而不是强行赋予一个具体值。
执行： WebDancer 在重写后的查询 $\hat{q}$ 上执行深度搜索。

3. 评估指标

性能通过 restore_score_100（加权知识点召回得分，范围 0–100）进行衡量。

覆盖度评判器（固定为 ERNIE-4.5-Turbo）将最终搜索输出与静态黄金知识点进行对比。
标签分配为 full (1.0)、partial (0.5) 或 none (0.0)。
得分为这些标签的加权总和除以黄金知识点的总权重。

核心贡献

数据集与任务形式化： 本文将深度搜索澄清形式化为一个从欠定义查询到知识点恢复的端到端基准测试。它发布了一个包含 518 个实例的数据集及标准化的评估输出。
无泄露协议： 引入的两阶段闭卷协议防止了重写器观察到预设意图，从而实现了对不同澄清器的受控比较。
静态黄金知识点： 使用一次性生成的、基于证据的静态参考，实现了不同模型和澄清预算（ $k$ ）之间的可复现比较。
诊断信号： 该基准使中间交互行为变得可测量，包括用户回答者的可回答性（answerability）、多轮“全 unknown”率以及问题类型偏差，从而能够超越最终得分进行细粒度的失效模式分析。
可复现性产物： 作者发布了数据集、流水线脚本、提示词以及用于复现黄金构建和评估的逐实例工具轨迹。

实验结果

研究使用固定的 WebDancer 后端评估了多种 LLM（包括 GPT-5.2、Claude-Sonnet-4.5、Gemini-2.5-Pro 以及开源模型如 ERNIE-4.5-Turbo-128K、Qwen3 和 DeepSeek-V3.2）。

基线提升： 在 $k=1$ 时，所有澄清器相较于无交互基线（直接在模糊查询上运行 WebDancer）均有提升。
预算效应： 更大的澄清预算（ $k=2, 3$ $k = 2, 3$ ）通常带来了进一步的收益。
- 在 $k=1$ 时，GPT-5.2 在所有模型中取得了最高的平均分。在开源模型中，ERNIE-4.5-Turbo-128K 表现领先。
- 在 $k=3$ 时，ERNIE-4.5-Turbo-128K 成为整体表现最好的模型，超越了 GPT-5.2、Claude-Sonnet-4.5 和 Gemini-2.5-Pro。这表明较大的预算奖励了跨回合持续的高质量问题选择。
诊断与失效模式：
- 高 Unknown 率： 一个显著的瓶颈是“信息增益”失败。在 $k=1$ 时，UA 返回 unknown 的比例高达 60–70%，这意味着许多单轮澄清未能提取出基于意图的约束。
- 仅限地域偏差（Region-Only Bias）： 研究识别出一种持续存在的低收益失效模式，即模型频繁询问地域/位置问题。在闭卷协议下，这些问题经常导致 unknown（地域类问题的 unknown 率为 0.75–0.87），从而在没有改善重写查询的情况下浪费了澄清回合。
- 多轮收益： 增加 $k$ 显著降低了整个交互产生零地面信号（grounded signal）的概率（例如，GPT 的“全 unknown”率从 $k=1$ 时的 0.618 降至 $k=3$ 时的 0.189）。

意义与主张

论文声称 Clarify-Then-Search 实现了对“先澄清后搜索”流水线的抗泄露且可复现的评估。其主要意义在于将评估重心从问题层面的指标转向了在现实信息约束下的端到端效用（知识点恢复）。

作者强调，虽然澄清一致地比非交互基线提升了深度搜索效果，但可靠地提升深度搜索仍然具有挑战性，原因在于存在系统性的失效模式。具体而言，许多系统会过度提问（尤其是关于地域的问题），而这些问题根据隐藏意图是无法回答的，从而导致低收益的交互。该基准提供了必要的诊断工具，用于分析澄清成功或失败的原因，凸显了未来系统需要更好地决定何时提问、提问什么，以及如何有效地利用澄清信号。

作者在描述绝对得分时保持了谦逊，指出该基准最好被理解为在共享深度搜索流水线下对澄清效用的受控评估，而非对所有可能搜索系统的后端无关（backend-agnostic）排名。