🤖 AI

Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking

本文介绍了 MT-InfoSeek，这是一个受控评估套件，它证明了虽然大语言模型能够识别出在欠定（underspecified）的多轮任务中需要额外信息，但它们会系统性地低估所需信息的量，无法识别最小充分查询，并且在查询排序方面表现挣扎，从而揭示了它们的信息寻求能力与当前评估指标之间存在明显的差距。

原作者： Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一位医生坐在患者对面，而患者只说了一句：“我疼。”为了做出诊断，医生不能靠猜测，必须通过提出具体问题来填补缺失的细节。是剧痛还是钝痛？具体位置在哪里？这种情况持续多久了？在人工智能的世界里，大型语言模型通常被测试其回答问题的能力，但很少被测试其是否具备“知道自己信息不足以回答问题”的能力。这是一个关键的差距。一个合格的人工智能应该能够识别出情况是不完整的，弄清楚究竟缺少了什么，并在给出结论之前进行询问。如果它过早地做出猜测，就有可能表现得“自信地错误”。

哈佛大学和 Google DeepMind 的研究人员建立了一种新的方法来测试这项特定技能。他们创建了一个受控环境，让人工智能面对一个带有缺失部分的谜题。这个谜题可能是一个隐藏了数字的数学题，一个缺少事实的逻辑谜题，或者是一个未询问症状的医疗场景。目标不仅是让 AI 解开谜题，还要让它学会如何按照正确的顺序提出正确的问题，直到答案变得清晰。研究人员想看看这些模型能否像一名熟练的调查员那样，准确知道需要哪些证据，还是会由于线索不足而草率地得出结论。

该团队开发了一个名为 MT-INFOSEK 的测试套件，其中包含超过 5,000 个涵盖五个不同领域的不同问题：数学、逻辑、生物、医学和常识。在这些测试中，AI 被给出的起点是刻意不完整的。例如，在医学测试中，AI 可能知道患者有盆腔疼痛，但不知道疼痛持续了多久，也不知道患者是否怀孕。随后，AI 必须与一个“先知”（oracle）进行对话，向其逐一提出问题——这个系统会提供问题的真实答案。AI 必须决定何时停止提问并给出最终答案。研究人员衡量成功的标准不仅在于最终答案是否正确，还在于 AI 是否确实收集了足够的信息来确保该答案的确定性。

结果显示，目前的模型存在显著的弱点。虽然 AI 系统通常能意识到自己缺少信息，但它们总是低估了所需信息的量。当研究人员创建需要两个缺失信息才能解决的问题时，模型往往会误以为只有一个信息缺失。在逻辑谜题中，模型低估缺失信息量的概率比高估的概率高出约四倍。它们还难以识别出哪些问题才是真正能解决问题的关键。即使研究人员明确告诉模型需要问多少个问题，模型也经常无法选出正确的一组问题。它们会问一些无关的问题，或者过早停止提问，导致谜题悬而未决。

研究还观察了提问的顺序。在医学等领域，信息的先后顺序至关重要。医生必须在决定下一步进行哪些检查之前，先确定疼痛是急性的还是慢性的。研究人员发现，当 AI 模型问对了问题但顺序不对时，其最终的准确率会大幅下降。这表明，知道问什么只是成功的一半；知道何时问才是同样重要的。此外，研究人员发现，模型可以从一个糟糕的首个问题中恢复过来。如果一个模型在开始时问了一个无用的问题，但随后在接下来的回合中继续提出相关问题，它仍然可以达到正确的解决方案。然而，许多模型未能做到这一点，即使在尚未收集到足够证据的情况下，也会在短短几轮后就停止尝试。

或许最令人惊讶的发现是，一个模型提出好问题的能力与其给出好答案的能力是分离的。研究人员通过以下方式测试了这一点：他们提取一段 AI 已收集完所有必要信息的对话，然后让另一个不同的模型仅根据这段对话来解决谜题。他们发现，有些模型在给定全套事实时可以完美地解决谜题，即便它们自己在收集这些事实的过程中失败了。这意味着，失败并非源于模型的推理能力或知识储备，而是源于获取信息的过程。这些模型并不擅长解决问题，而是不擅长“知道自己不知道什么”。

研究人员总结道，目前对人工智能的评估是不完整的。仅仅衡量模型回答的最终准确率，会掩盖模型可能是通过猜测或忽略缺失信息才得到答案这一事实。要真正理解 AI 如何与世界互动，我们必须衡量它识别不确定性、识别缺失内容以及逐步获取缺失信息的能力。这个全新的框架提供了一种实现这一目标的方法，它表明虽然今天的模型功能强大，但它们仍然缺乏人类专家那种“知道何时停止猜测并开始提问”的直觉。

技术摘要：大语言模型知道该问什么以及何时提问吗？评估多轮信息寻求能力

1. 问题定义

本文探讨了大语言模型（LLMs）在多轮交互中处理**欠定（underspecification）**问题的能力。与歧义（即用户意图不明）不同，欠定是指用户的任务定义明确，但缺乏足够的信息来确定唯一答案。一个具备能力的模型必须能够识别出其上下文信息不足，识别出解决目标所需的特定缺失信息，通过序列化查询获取这些信息，并仅在获取的信息能唯一确定答案时才做出响应。

目前的评估方法往往将模型生成正确答案的能力与寻求信息的能力混为一谈。最终的任务成功可以通过猜测或依赖先验知识来实现，而非通过真正的获取信息。作者将这一挑战形式化为解决 $k$ -欠定约束满足问题（Constraint Satisfaction Problem, CSP），其中 $k$ 代表共同用于确定目标变量所需的变量数量。

2. 方法论：MT-INFOSEEK 框架

作者引入了 MT-INFOSEEK，这是一个受控评估套件，包含来自数学、逻辑、生物、医学和通用知识（通过“20个问题”游戏）五个领域的 5,251 个问题和 9,006 个任务实例。

2.1 形式化定义

一个问题被定义为一个元组 $P = \langle X, D, C, A, Y \rangle$ ：

$X$ ：具有定义域 $D$ 的变量集合。
$C$ ：逻辑约束。
$A$ ：观测到的部分赋值（初始上下文）。
$Y$ ：目标变量。
欠定性： 如果 $Y$ 不能由 $A$ 和 $C$ 唯一确定，则该问题是欠定的。
最小 $k$ -充分集（Minimal $k$ -Sufficient Set, $k$ -MSS）： 一个未分配变量的子集 $S$ ，其大小为 $k$ ，使得已知这些变量的值可以唯一确定 $Y$ ，且不存在更小的子集可以满足此要求。
任务实例： 一个特定的实现 $(P, y)$ ，其中 $y$ 是 $Y$ 的隐藏地面真值（ground-truth value）。

2.2 评估协议

该框架从三个维度评估模型，将信息寻求与答案生成分离：

$k$ -预测： 给定 $P$ ，模型预测欠定的程度（ $\hat{k}$ ）。
缺失变量识别： 给定 $P$ （以及可选的真实 $k$ ），模型选择一个最小充分变量集。
序列化任务求解： 模型与一个预言机（oracle）进行多轮交互，每次查询一个变量，观察其值，并决定何时停止并回答。

2.3 数据集

结构化领域（Logic-Q-MT, GSME-Q-MT/Ext, GeneReg-MT, ClinGuide-MT）： 变量和约束是预定义的。模型从一组可查询的变量中进行选择。
- Logic-Q-MT： 将逻辑推理问题扩展到多轮设置。
- GSME-Q-MT/Ext： 带有掩码数量的小学数学问题；Ext 版本具有更深的依赖结构。
- GeneReg-MT： 布尔基因调控网络，模型必须识别初始状态以确定稳态。
- ClinGuide-MT： 诊断决策树，由于条件依赖关系，查询顺序至关重要。
非结构化领域（20Q）： 模型生成自由形式的“是/否”问题，以从候选集中推断隐藏的目标。

2.4 指标

至关重要的是，论文引入了**最终充分性（Final Sufficiency）*作为主要指标。它衡量的是获取的信息*（查询的变量集）是否能唯一确定目标，而独立于模型的最终答案是否正确。这实现了获取信息的能力与生成答案能力的区分。其他指标包括查询覆盖率、顺序正确性（在 ClinGuide-MT 中）以及问题信息量（20Q 中的归一化预期信息增益）。

3. 关键结果

评估涵盖了闭源和开源模型（如 GPT-5, Gemini-3, Qwen3, gpt-oss）。

3.1 对缺失信息的低估

模型通常能识别出上下文不足（对于欠定问题很少预测 $k=0$ ），但会系统性地低估欠定的程度。
准确率随着 $k$ 的增加而急剧下降。具体而言，在逻辑问题（Logic-Q-MT）中当 $k = 2$ 时，模型低估缺失信息程度的次数是高估次数的四倍。

3.2 无法识别最小充分集

即使在提供真实 $k$ 的情况下，模型也难以识别构成最小充分集的特定变量。精确集合准确率较低（对于 $k=2$ 低于 0.4），且随着 $k$ 的升高进一步下降。
估计有多少信息缺失并不意味着知道哪些信息是需要的。

3.3 交互动态与恢复

轮次预算（Turn Budget）： 与在单轮中发出所有查询相比，将查询分配到更多轮次中通常可以提高最终充分性，前提是模型不会过早停止。
恢复能力： 第一轮查询如果错过了最小充分集，通常是可以恢复的。在第一轮查询错误但模型继续搜索相关变量的交互中，达到充分性的速率与第一轮查询正确的交互相当。
后期轮次表现： 对于高度欠定的问题（ $k \ge 3$ ），成功与否较少取决于早期轮次的正确性，而更多取决于持续的信息获取和后期轮次的查询正确性。

3.4 顺序与整合的重要性

顺序依赖： 在临床任务（ClinGuide-MT）中，即使最终获取了所有必要信息，以错误的顺序查询变量也会显著降低最终准确率。
证据整合： 在 20Q 中，具有相似问题信息量（预期信息增益）的模型在最终准确率上表现出显著差异。这表明成功不仅取决于提出好问题，还取决于有效地整合答案以缩小候选空间。
熵减： 虽然模型通常会降低不确定性，但它们往往在后期轮次进入平台期，无法区分剩余的密切相关的候选对象。

4. 贡献与意义

本文做出了三个主要贡献：

形式化： 它将多轮信息寻求形式化为解决 $k$ -欠定 CSP 问题，为所需变量和充分性点提供了地面真值。
基准测试（MT-INFOSEEK）： 它引入了一个涵盖数学、逻辑、生物、医学和通用知识的综合评估套件，允许对欠定程度进行受控变化。
评估方法论： 它提出了最终充分性作为一种指标，将获取信息的能力与生成答案的能力区分开来。

意义：
作者认为，目前依赖最终准确率的 LLM 评估未能捕捉到交互能力。模型可能通过猜测或使用先验知识来给出正确答案，而从未识别出缺失的信息。通过衡量所获取的信息是否真正确定了目标，MT-INFOSEEK 揭示了当前的模型：

低估了缺失信息的复杂性。
无法规划最小查询策略。
经常在获取足够信息之前停止。
在处理顺序依赖和证据整合方面存在困难。

论文得出结论，在多轮中寻求信息是一种不同于生成答案的独立能力，且现有的基准测试无法对其进行充分衡量。这项工作提供了一个诊断框架，用于理解模型在交互环境中的失败原因，并表明未来的改进必须侧重于识别欠定性和规划序列化信息获取，而非仅仅关注推理能力。