💬 NLP

RICE-PO: Turning Retrieval Interactions into Credit Signals for Reasoning Agents

本文提出了 RICE-PO，这是一种无需批评家的策略优化框架，它利用高不确定性的可执行动作作为锚点，将检索交互转化为局部学习信号，从而为潜在推理步骤分配信用，进而提升交互式推理智能体在 BRIGHT 和 BEIR 等基准测试上的训练效果。

原作者： Mingchen Li, Hansi Zeng, Zhuo Qian, Jiatan Huang, Hamed Zamani, Hong Yu

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingchen Li, Hansi Zeng, Zhuo Qian, Jiatan Huang, Hamed Zamani, Hong Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个智能机器人如何为一道极其棘手的问题找到完美答案。机器人并非只输入一个搜索查询就听天由命。相反，它像一名侦探：进行搜索、阅读发现的内容、思考缺失了什么、撰写新的搜索查询，然后再次搜索。它如此循环往复，直到找到答案。

这篇论文要解决的核心难题是：如何教会机器人识别其步骤中哪些实际上是有效的。

问题：思维的“黑箱”

在这场侦探游戏中，机器人有两种类型的行动：

“执行”行动（可执行）： 即它实际输入的搜索查询。搜索引擎可以立即告诉机器人：“干得好！那个查询找到了 10 篇很棒的文章，”或者“干得糟！那个查询一无所获。”这很容易衡量。
“思考”行动（潜在）： 即机器人在输入查询之前产生的内部思维。它可能会想：“我需要查找事件发生的年份，”或者“我应该检查作者的背景。”搜索引擎无法看到这些思维。它只能看到最终的查询。

信用分配困境：
如果机器人最终找到了完美的文章，我们如何知道哪一个思维导致了这一成功？

是“检查作者”这个思维导致了成功吗？
还是机器人仅仅在最终查询上运气好，而之前的思维实际上是错误的？

如果我们仅仅因为机器人最终得到了结果就给它颁发“金星”，并告诉它：“你产生的每一个思维都很棒”，机器人可能会学到错误的教训。它可能会开始想：“哦，我虽然错了，但依然拿到了金星，所以我将继续这样做。”这被称为信用错配。

解决方案：RICE-PO（“智能教练”）

作者提出了一种名为RICE-PO的新训练方法。这种方法不再仅仅关注最终结果，而是像一位智能教练，在机器人练习过程中实时观察并给予反馈。

以下是 RICE-PO 的工作原理，使用一个简单的类比：

1. 寻找“摇摆时刻”（不确定性锚点）

教练并不观察每一秒。相反，教练寻找机器人显得不确定的时刻。

类比： 想象机器人正在两个搜索查询之间做决定。一个是“京都的历史”，另一个是“可再生能源技术”。如果机器人非常自信，它就直接选一个。但如果它感到困惑并生成了许多不同且奇怪的选项，教练就会说：“好吧，这是一个关键时刻。让我们暂停并分析这一点。”
在论文中： 他们使用“熵”（一种衡量困惑程度的指标）来挑选这些高风险时刻。

2. “如果……会怎样？”模拟（局部反事实）

一旦教练识别出一个“摇摆时刻”，他们不会只是等待机器人完成。他们会运行一个快速模拟。

类比： 教练说：“好吧，你当时正在思考‘京都’。但如果在那一刻你思考的是‘东京’会怎样？让我们假设你那样做了，看看你会写出什么样的搜索查询，并检查该查询是否会找到更好的结果。”
在论文中： 他们从相同的历史记录中生成多个“如果……会怎样”的分支，以观察改变思维是否真的改变了搜索结果。

3. “稳定性检查”（门控传播）

这是最重要的一部分。教练在将功劳归于思维之前，会提出两个问题：

问题 A（影响力）： 该思维是否真的改变了搜索查询？（如果机器人思考了“京都”与“东京”，但写出了完全相同的查询，那么该思维就不重要。不予 credit。）
问题 B（稳定性）： 该思维带来的益处是否持续到了最后？（有时一个思维引出了一个很好的搜索查询，但随后机器人在下一步犯了一个极糟的错误，导致全盘皆输。如果最终结果糟糕是因为下一步，我们就不应将功劳归于第一个思维。）
在论文中： 他们测量“残差稳定性”。如果局部奖励（来自即时搜索）即使在后续步骤后仍保持一致，教练就会说：“是的，这个思维是英雄。给它 credit！”如果后续步骤搞砸了，教练就会说：“不，暂时不要给这个思维 credit。”

结果

通过这种方法，机器人学习得更快。

旧方法： “你答对了！所有事情都干得好。”（机器人会困惑于究竟什么起了作用。）
RICE-PO 方法： “你在这里感到困惑，但你特定的思维引出了一个更好的搜索查询，并且这一优势保持到了最后。那个特定的思维很棒。请再次这样做。”

为何重要

该论文在两个大型数据集（BRIGHT 和 BEIR）上测试了这种方法，它们就像是充满棘手问题的巨型图书馆。

他们发现，RICE-PO 帮助机器人（即使是更小、更便宜的机器人）找到了比先前方法更好的答案。
它证明了你不需要一个超级昂贵的“裁判”AI 来告诉机器人该做什么。搜索过程本身的结构（即查询是可测试的这一事实）提供了机器人所需的所有反馈。

简而言之： RICE-PO 是一种教导 AI 智能体从自身搜索历史中学习的方法，通过仔细检查其思维是否真正导致了其成功，而不是仅仅根据最终得分进行猜测。

技术摘要：RICE-PO

问题陈述

本文解决了在训练用于推理密集型检索的语言智能体时所面临的信用分配挑战。与传统的一次性检索不同，现代智能体参与迭代循环，在其中对证据进行推理、重新 formulate 查询并再次搜索。该过程存在一个根本性的不对称性：

可执行动作：生成的摘要或查询可以直接提交给检索器，并使用标准指标（例如 NDCG@10）进行评估。
潜在推理动作：内部推理步骤（例如思维链）无法直接执行或测量。它们仅通过塑造后续的可执行动作间接影响检索结果。

现有的强化学习（RL）方法通常依赖于分配给整个轨迹的结果级奖励（最终检索分数）。这种方法不可靠，因为成功的最终结果可能源于后期的恢复步骤而非初始推理，从而导致信用分配错误。此外，许多方法依赖于学习到的批评者或过程奖励模型，这些模型计算成本高昂且难以训练。核心问题在于如何在没有外部评判者或 exhaustive 展开的情况下，仅利用检索循环内可用的交互信号，将信用分配给潜在的推理步骤。

方法论：RICE-PO

作者提出了RICE-PO（用于策略优化的检索交互信用估计），这是一个无批评者的框架，它将检索交互转化为局部学习信号。该方法基于以下前提：可执行的摘要提供直接反馈，在特定条件下，这种反馈可以有选择地传播到 preceding 的潜在推理片段。

该框架包含三个主要阶段：

1. 不确定性引导的锚点选择

系统不评估每一步，而是识别出最需要进行信用分配的关键决策点。

机制：系统计算多个采样轨迹中可执行摘要动作的token 级熵。
选择：它选择熵值最高（即不确定性最高）的前 $K$ 个摘要动作。这些作为“锚点”用于局部反事实估计，将计算资源集中在策略选择显著影响结果的模糊决策点上。

2. 局部反事实分支

对于每个选定的锚点，该方法构建局部分支以估计推理动作对检索结果的影响。

分支构建：从相同的交互历史中，智能体生成 $K$ 个替代推理片段（ $z_t$ ）及其对应的摘要动作（ $s_t$ ）。
影响估计：它计算这些分支间检索奖励（ $\hat{\sigma}^2_t$ ）的方差。高方差表明潜在推理动作强烈影响后续可执行摘要的质量。
残差稳定性估计：分支被扩展到完整轨迹深度以计算最终奖励。计算残差效应（ $\text{ResVar}_t = \text{Var}(R_T - r_t)$ ）的方差。低方差表明后续交互步骤不会推翻由当前推理 - 摘要对建立的局部奖励差异。

3. 门控信用传播

仅当信号被认为可靠时，信用才从摘要传播到推理片段。

门控条件：如果满足以下条件，则进行传播：
1. 影响高： $\hat{\sigma}^2_t \geq \tau_{var}$ （推理选择显著改变了摘要的检索分数）。
2. 残差稳定性高： $\text{ResVar}_t \leq \tau_{res}$ （局部奖励差异在后续步骤中持续存在）。
优势计算：
- 可执行 Token：基于局部反事实检索分数接收步级优势（ $A^{sum}_t$ ）。
- 推理 Token：接收门控优势（ $A^{think}_t$ ）。如果满足门控条件，它们继承摘要优势；否则，它们保留标准的轨迹级优势。
优化：这些 token 级优势用于 PPO 风格的截断目标以更新策略，从而消除了对学习到的批评者或外部奖励模型的需求。

主要贡献

感知可观察性的信用分配：本文引入了一种视角，区分检索中的可执行动作与潜在动作，表明可执行摘要可作为直接反馈锚点，而潜在推理则需要选择性的向后传播。
无批评者框架：RICE-PO 利用检索智能体的不对称性，在不依赖学习到的批评者、过程奖励模型或人工标注的情况下推导细粒度监督。它使用基于不确定性触发的反事实评估和残差稳定性门控来确保信用可靠性。
实证验证：大量实验表明，在推理密集型任务和通用检索任务上，该方法相比基于提示的智能体及基于组的 RL 基线（GRPO, GiGPO, HGPO, Tree-GRPO）具有一致的改进。

实验结果

该方法在BRIGHT（12 个推理密集型任务）和BEIR（5 个通用检索数据集）上进行了评估，使用 NDCG@10 作为指标。

BRIGHT 性能：
- 使用1.5B 骨干网络（DeepSeek-R1-Distill-Qwen-1.5B），RICE-PO 取得了27.49的平均分数，优于 GRPO（24.98）和最先进的提示基线 Diver（14B 模型平均 37.20，尽管 RICE-PO 的 1.5B 模型显著优于 1.5B 的 GRPO 基线）。
- 使用4B 骨干网络（Qwen3-4B-Thinking-2507），RICE-PO 取得了37.76的最佳平均分数，比 GRPO、GiGPO、HGPO 和 Tree-GRPO 高出 1.15 到 1.45 分。
- 结果表明，从交互信号中学习使得较小的模型能够与仅依赖固定提示或结果级奖励的较大模型竞争甚至超越它们。
BEIR 性能：
- RICE-PO 在 BEIR 数据集上，对于 1.5B（65.66）和 3B（65.68）骨干网络均取得了最佳平均分数，优于所有 RL 基线和强重排序模型。
- 虽然增益小于 BRIGHT（由于 BEIR 的推理强度较低），但这种一致性表明该方法超越了多步推理设置，具有泛化能力。
消融研究：
- 门控机制：基于影响和残差稳定性动态门控信用传播的策略，优于总是传播或仅依赖最终奖励的策略。
- 触发：基于熵的锚点选择触发机制，在大多数任务上比随机触发产生了显著增益。
- 信号组合：结合“影响”（局部敏感性）和“效应”（下游稳定性）被证明优于单独使用任一信号。

意义与主张

本文主张，智能体与环境交互的结构本身可以为训练基于推理的检索智能体提供有用的监督。通过将检索交互视为局部学习信号的来源，而非仅依赖稀疏的结果级奖励，RICE-PO 实现了更高效、更可靠的推理智能体训练。

作者强调，这种方法为训练昂贵的批评者或依赖更大模型提供了一种实用的替代方案。这项工作突出了设计学习算法的重要性，这些算法应与多步语言系统交互的特定结构相一致，特别是可观察的可执行动作与潜在推理过程之间的区别。结果表明，有效利用交互信号是改进推理密集型检索的关键，即使使用较小的语言模型也是如此。