技术摘要：通过合成语义信息增益奖励优化智能体推理中的检索过程

1. 问题陈述

大型推理模型（LRMs）已展示出将外部知识检索集成到复杂推理链中的能力。然而，在这些智能体系统中优化检索过程仍是一个根本性的挑战。现有方法存在三个主要局限性：

1. 可扩展性问题： 有监督微调（SFT）依赖于人类标注的检索动作演示，这成本高昂，且无法捕捉检索在开放式场景中的细微价值。
2. 信号稀疏性： 强化学习（RL）方法通常仅依赖最终答案的正确性（例如，精确匹配/Exact Match）。这导致了稀疏且延迟的奖励，无法区分那些与最终答案距离相等或无法有效引导中间步骤的检索动作。
3. 缺乏理论基础： 虽然一些工作引入了中间推理质量，但它们通常依赖于启发式的过程监督，缺乏一个正式的概率框架来保证局部检索决策能够为全局不确定性的降低做出贡献。

核心问题在于：如何衡量并奖励每个检索动作的内在价值，从而引导智能体进行有效的信息获取，而无需人工进行中间标注。

2. 方法论：InfoReasoner

作者提出了 InfoReasoner，这是一个通过合成语义信息增益奖励来激励有效信息寻求的统一框架。该方法论将信息论理论与实际的模型优化结合起来。

2.1 理论框架：作为不确定性减少的信息增益

推理过程被建模为一个部分可观测马尔可夫决策过程（POMDP）。作者将信息增益（IG）重新定义为不仅是数据的获取，更是模型信念状态（belief states）不确定性的减少。

• 信念状态 ($b_t$)： 定义为给定观察历史后，对潜在任务变量（例如正确答案或其语义类别）的后验概率分布。
• 不确定性泛函 ($U$)： 一个从信念状态到非负实值的映射（例如香农熵），满足极小性、凹性和期望单调性。
• 信息增益 ($IG_t$)： 定义为 $U(b_t) - U(b_{t+1})$。
• 关键特性： 该框架证明了在理想的贝叶斯更新下，IG 是非负的，具有累加收缩性（局部增益之和等于全局不确定性减少），并且相对于信息通道质量具有单调性。这确立了 IG 作为一个原则性的奖励信号，使局部检索步骤与减少认识论不确定性的全局目标保持一致。

2.2 实际实现：合成语义信息增益

为了在没有人工标注的情况下使该理论变得可行，InfoReasoner 利用模型自身的输出分布来实例化奖励：

1. 语义聚类： 模型在不同上下文（有或无检索到的证据）下采样多个答案序列。这些序列通过双向文本蕴含（通过预训练的 NLI 模型）被聚类为语义等价类。这克服了基于 Token 重叠或简单嵌入相似性的局限性。
2. 信念估计： 这些语义类别上的概率分布近似于信念状态 $b_t$。
3. 奖励计算：
   • 基于熵的 IG ($\hat{IG}^{ent}_t$)： 衡量提供证据后语义熵的减少量。
   • 金标准类别增益 ($r_t$)： 一种更直接的训练信号，计算为检索后正确语义类别 ($c^\star$) 的对数概率增量：$r_t = \log p(c^\star | \text{有证据}) - \log p(c^\star | \text{无证据})$。
   • 该奖励为中间检索步骤提供了稠密的监督，同时仍锚定于最终答案的正确性。

2.3 策略优化

检索策略使用**组相对策略优化（GRPO）**进行优化。输出的总奖励 $R_i$ 是最终精确匹配（EM）得分与来自中间步骤的累积信息增益奖励的加权和：
$$R_i = \mathbb{I}(y_i = y^\star) + \lambda \cdot \frac{1}{T_i} \sum_{t} r_t(x_t, a_{t,i})$$
其中 $\lambda$ 平衡了准确推理的激励与针对信息化检索的中间监督之间的关系。

3. 核心贡献

1. 理论框架： 将信息增益重新定义为信念状态的不确定性减少，为将其作为智能体推理中的奖励信号建立了形式化保证（非负性、累加收缩性和单调性）。
2. 实用奖励机制： 一种输出感知的训练奖励，通过双向文本蕴含直接从模型输出计算合成语义信息增益，消除了对人工中间检索标注的需求。
3. 实证验证： 在多种不同的推理基准测试中展示了持续的性能提升，验证了稠密语义信息增益作为一种实用的训练信号的有效性。
4. 可扩展优化： 一种基于 GRPO 的方法，实现了带有检索的智能体推理的高效策略学习。

4. 实验结果

作者在七个问答基准测试（NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle）以及 MATH500（工具集成型）和 WebDetective（长程搜索型）上评估了 InfoReasoner。

• 性能提升： InfoReasoner 在 3B 和 7B 参数规模下均取得了最先进（SOTA）的结果。
  • 3B 规模： InfoReasoner-3B 实现了 34.6% 的平均准确率，显著优于 Search-R1-3B-Instruct (30.1%) 和标准 RAG (27.0%)。它甚至超越了几个 7B 规模的基线模型。
  • 7B 规模： InfoReasoner-7B 达到了 39.1% 的平均准确率，优于 AutoRefine-7B-Base (36.9%) 和 Search-R1-7B-Instruct (33.7%)。
  • 泛化能力： 在 MATH500 上，InfoReasoner-7B 达到 85.8%（对比 SimpleTIR-7B 的 84.6%）。在 WebDetective 上，相比 Search-R1-3B-Base，它将 Pass@1 从 26.5% 提升到了 30.0%。
• 消融实验：
  • 信息增益系数 $\lambda$ 至关重要；$\lambda=0.6$ 时性能最优。将 $\lambda$ 设置为 0（退化为 Search-R1）会导致性能下降 4.7 个百分点。
  • 过度强调 IG ($\lambda=1.0$) 会导致性能下降，这表明需要在认识论探索（epistemic exploration）与务实利用（pragmatic exploitation）之间进行平衡。
• 训练动态： 分析表明，InfoReasoner 最初会探索多样化的检索策略（由较高的熵损失表示），然后收敛到更确定的策略。这种探索带来了比基线更鲁棒的检索策略和更高的最终准确率。此外，InfoReasoner 生成的响应比基线短约 30%，表明其信息使用效率更高。

5. 意义与主张

论文声称 InfoReasoner 提供了一条具有理论依据且可扩展的路径，用于优化带有检索的智能体推理。其意义在于：

• 架起理论与实践的桥梁： 它成功地将抽象的信息增益概念转化为可计算的、稠密的奖励信号，且无需人工标注。
• 解决信号稀疏性： 通过为检索步骤提供稠密信用（credit），它克服了仅依赖最终答案的强化学习中固有的反馈延迟，从而实现更高效的检索策略学习。
• 可靠搜索： 通过将模型的动机建立在“减少不确定性”之上，该框架鼓励智能体主动验证知识而非产生幻觉，这对于高风险应用至关重要。
• 效率： 该框架通过鼓励模型仅在缺乏信心时才进行搜索，促进了资源高效型的系统设计，最大限度地减少了不必要的 API 调用。

作者强调，他们的方法超越了启发式监督，转向了一个正式的概率框架，在该框架下，局部检索决策在数学上被保证能够为全局认识论不确定性的减少做出贡献。