🤖 AI

Amortising Bayesian Experimental Design for Sequential Information Gathering in LLMs

本文介绍了摊销序列信息采集（Amortised Sequential Information Gathering, ASIG），这是一种将贝叶斯实验设计集成到大语言模型策略中的微调方法，旨在显著提高在二十个问题和医疗诊断等任务中的序列信息采集效率与成功率，同时大幅降低推理成本。

原作者： Jakob Hartmann, James Harvey, Jhonathan Navott, Erik Y. Wang, Luckeciano C. Melo, Flaviu Cipcigan, Cheng Zhang, Alessandro Abate

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jakob Hartmann, James Harvey, Jhonathan Navott, Erik Y. Wang, Luckeciano C. Melo, Flaviu Cipcigan, Cheng Zhang, Alessandro Abate

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心问题：在对话中“迷失”的 AI

想象一下，你正在和一个非常聪明的对手（大语言模型，或称 LLM）玩**“二十个问题”**的游戏。你在心里想一个物体，比如“烤面包机”，而你的朋友必须通过问是非题来猜出它是什么。

理想情况下，你的朋友应该提出聪明的提问，每次都能将可能性减半（例如：“它是用在厨房里的吗？”）。然而，论文指出，目前的 AI 模型经常会在对话中“迷失”。它们可能会问重复的问题，忘记已经知道的信息，或者没意识到什么时候已经掌握了足够的信息可以做出判断。它们擅长了解事实，但不擅长思考下一步该问什么来获取新信息。

旧方法：“过度思考者”（推理时优化）

在此之前，研究人员试图通过让 AI 在每次提问时都进行“深度思考”来解决这个问题。

类比： 想象一下，你的朋友在问每一个问题之前，都会停下来拿出一块巨大的白板，写下世界上所有可能的物体，计算每一个物体的概率，并从数学上计算出哪个问题能提供最多的信息。
结果： 这种方法效果很好，但极其缓慢且昂贵。这就像为了让你的朋友问一个问题，就雇佣了一支数学家团队来协助他。论文称之为贝叶斯实验设计 (BED)。虽然有效，但对于实时使用来说太重了。

新方案：ASIG（“肌肉记忆”法）

作者引入了一种名为 ASIG（摊销序列信息采集）的新方法。ASIG 不再要求 AI 在每次说话时都进行复杂的数学计算，而是教 AI 习得这项技能，使其成为一种本能。

类比： 与其每次都拿出白板，不如通过数周的时间来训练你的朋友。你陪他玩成千上万轮“二十个问题”。当他问了一个烂问题时，你会说：“不，这没啥帮助。”当他问了一个能缩小范围的好问题时，你会说：“太棒了！这正是我们需要的信息。”
神奇之处： 随着时间的推移，你的朋友不再需要那块白板了。他们培养出了“肌肉记忆”。他们能直觉地知道哪些问题是最有价值的。他们将沉重的思考过程“摊销”（分散）到了训练阶段，因此现在可以快速、高效地进行游戏，而不需要停下来进行计算。

他们是如何训练 AI 的

论文描述了一个特定的训练循环（见论文图 1）：

提议者 (The Proposer)： 被训练的 AI（提问者）。
先知 (The Oracle)： 一个超级聪明、处于冻结状态的 AI，它知道正确答案，并充当游戏主持人。
奖励系统： 提议者通过两种方式获得积分：
- “好奇心”得分 (EIG)： 问题是否均匀地分割了可能性？（例如，“它是活的吗？”比“它是烤面包机吗？”更好）。
- “成功”得分： AI 最终是否猜中了正确答案？
训练方法： 他们使用了名为 GRPO（组相对策略优化）的方法。可以把它想象成一场比赛，AI 同时尝试 5 个不同的问题。得分最高的一个会得到一次“击掌鼓励”，AI 从而学会更多地进行这类提问。

研究发现（结果）

研究人员在“二十个问题”游戏和医疗诊断模拟（MediQ）上测试了该方法。

猜题能力大幅提升： 在“二十个问题”游戏中，经过训练的 AI (ASIG) 比未经训练的基础模型在成功率上提升了一倍以上。它变得更擅长通过提问来快速缩小范围。
速度极快： 由于 AI 在游戏过程中不需要进行繁重的数学计算，它的速度比“过度思考者”方法 (BED-LLM) 快了 25 到 36 倍。这就像短跑运动员与背着背包的长跑运动员之间的区别。
具备泛化能力（适用于新领域）： 他们在一个 AI 从未见过的医疗诊断任务 (MediQ) 上测试了它。这个拥有 70 亿参数的模型展示了它能够将“提问技巧”迁移到医学领域，变得更擅长判断何时该进行追问，以及何时该做出诊断。
没有“脑损伤”： 至关重要的一点是，训练 AI 成为更好的提问者并没有削弱它的其他能力。它并没有忘记如何写诗或解数学题；它只是变得更擅长收集信息了。

总结

这篇论文表明，你不需要强迫 AI 在实时处理时进行复杂的数学运算，也能让它成为一名优秀的调查员。相反，你可以通过训练，让它将“提出正确问题”的策略内化。这使得 AI 运行起来更快、成本更低，并且在寻找真相的过程中表现得同样出色（甚至更好）。

技术摘要：用于大语言模型序列化信息采集的摊销贝叶斯实验设计

问题陈述

大语言模型（LLMs）拥有广泛的世界知识和推理能力，但在序列化、多轮决策设置中的有效信息采集方面经常表现不佳。虽然 LLM 可以进行推理，但它们往往无法识别何时需要额外信息，也无法在交互过程中高效地获取这些信息。这种局限性在医疗保健和科学实验设计等领域至关重要，因为在这些领域中，于长期的交互中维持连贯的信念是必不可少的。

现有的改进 LLM 信息采集的方法分为两类：

推理时优化： 诸如贝叶斯实验设计（BED）之类的方法在生成过程中显式地最大化预期信息增益（EIG）。虽然这些方法具有原则性，但由于需要重复采样和维护信念状态，导致计算成本高昂、具有近视性，并且需要针对特定任务进行定制。
权重空间优化： 通过微调模型参数来适应的方法。虽然这些方法提供了快速的推理，但以往的方法难以泛化到特定的训练任务之外，或者依赖外部检索器来维持信念状态，从而限制了其自包含的应用能力。

核心挑战在于开发一种能够将贝叶斯实验设计的计算成本摊销到模型权重中的方法，从而实现高效、可泛化的序列化信息采集，而无需沉重的推理时显式 BED 开销。

方法论：摊销序列化信息采集 (ASIG)

作者引入了 ASIG，这是一个将贝叶斯实验设计（BED）直接嵌入到 LLM 策略中的微调框架。该方法将 LLM 视为一个序列化 BED 智能体，通过迭代选择实验（例如提问）来减少对潜在目标的确定性。

核心组件

训练环境： 该方法通过 二十个问题 (20 Questions) 游戏进行实例化。在这里，LLM（提议者）向拥有隐藏目标 $\hat{\theta}$ 的 Oracle LLM 提出问题（实验设计 $\xi_t$ ），旨在 20 轮预算内识别目标。结果的二元性（“是”/“否”）允许进行高效的 EIG 估计。
奖励信号： 训练利用了 群体相对策略优化 (GRPO) 框架内的多组件奖励信号：
- 预期信息增益 (EIG)： 使用 Rao-Blackwellised 估计器进行计算。提议者 LLM 采样一组与历史记录一致的合理目标信念集 ( $\Theta_t$ )，计算每个目标的似然度 $p(y|\theta, \xi)$ ，并估计熵的减少。这提供了关于问题质量的密集、轮次级反馈。
- 结果奖励： 基于任务成功（正确猜出目标）和非终止状态惩罚的稀疏奖励。这驱动了目标导向的行为。
多轮 GRPO 扩展： 作者扩展了标准 GRPO，以处理具有不同时间跨度的多个奖励流。
- 展开过程的总奖励 $R_t$ 结合了 EIG 奖励（权重为 $\alpha$ ，时界 $E=1$ ）和结果奖励（权重为 $\beta$ ，时界 $O=3$ ）。
- 这种结构既鼓励在当前轮次最大化信息增益，又优化了在短时界（3 轮）内正确猜测的概率。
学习课程： 为了防止模型回避特定猜测，采用了课程学习：模型首先在没有 EIG 奖励（ $\alpha=0$ ）的情况下进行训练以鼓励假设寻求行为，随后再引入 EIG 信号。

核心贡献

ASIG 框架： 一种新型微调方法，将 BED 摊销到 LLM 权重中，实现了无需额外推理时优化的序列化信息采集。
扩展的 GRPO： 一种对 GRPO 的改进，支持联合优化轮次级 EIG 和多时界任务成功，能够处理具有不同时间范围的不同奖励流。
性能与效率： 证明了 ASIG 大幅提升了在“二十个问题”任务中的表现（使 7B 模型的成功率翻倍），同时比具有竞争力的推理时基线（BED-LLM）降低了超过 25 倍 的推理成本。
分布外 (OOD) 泛化： 证据表明，学习到的信息寻求策略可以迁移到 MediQ 医学诊断基准测试中（在 7B 规模下），无需领域内微调，从而提高了临床推理的准确性并降低了过度自信。

结果

二十个问题任务

成功率： 在 7B 模型（Qwen2.5-7B-Instruct）上，ASIG 使基线的成功率提高了一倍以上，并在“动物”类别中超越了 BED-LLM。在 14B 模型上，它在“动物”和“植物”类别上分别比基线提高了 4.2 和 1.8 个百分点。
行为转变： 与基线相比，ASIG 训练的模型在交互早期表现出更高频率的“假设寻求型”问题（具体的猜测），特别是在 7B 模型中。
效率： ASIG 的推理运行时与基础 LLM 相当，而 BED-LLM 由于每轮都需要进行重复的信念采样和 EIG 最大化，速度慢了 25 到 36 倍。

向 MediQ 的泛化

应用于 MediQ 基准测试（医学诊断），7B ASIG 模型将准确率提高了 0.9%，将自愿准确率（voluntary accuracy）提高了 1.7%，并将过度自信率从 36.1% 降低到 33.4%。
14B 模型显示出混合结果，准确率变化极小，且自愿准确率略有下降，这表明具有更强先验知识的较大模型可能对微调带来的行为适应需求较少。

能力保留

在标准基准测试（ARC-Challenge, HellaSwag, MMLU）上的评估确认，微调后的模型保留了其通用的语言能力，取得了与基础模型几乎相同的分数。

意义与主张

论文声称，将贝叶斯实验设计摊销到 LLM 策略中，为测试时信息获取提供了一种实用且可扩展的方法。通过将信息采集的计算负担从推理时优化转移到模型权重中，ASIG 实现了：

计算效率： 大幅降低了推理延迟和成本，使得在延迟受限的现实应用场景中进行序列化信息采集成为可能。
可泛化性： 能够在无需重新训练或特定任务推理时调优的情况下，将学习到的信息寻求策略迁移到未见的领域（例如，从“二十个问题”到医学诊断）。
鲁棒性： 该方法提高了性能并保持了通用的语言能力，解决了专门化信息采集与通用推理之间的权衡问题。

作者将 ASIG 定位为使 LLM 成为更有效的序列化决策环境中的智能体的一步，通过赋予模型高效信念更新和信息获取的学习策略，超越了“对话中迷失”（lost in conversation）的现象。