🤖 AI

Critic-R: Improving Agentic Search using Instruction-tuned Retrievers with Natural Language Introspective Feedback

该论文提出了 Critic-R，这是一个通过引入一个能够提供自然语言内省反馈的评论家模型来增强智能体搜索的框架，从而实现迭代查询优化和自动检索模型优化，且无需人工相关性标注。

原作者： Md Zarif Ul Alam, Alireza Salemi, Hamed Zamani

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Zarif Ul Alam, Alireza Salemi, Hamed Zamani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个非常棘手的谜题，比如弄清楚一位电影导演的母校名称。你有一位才华横溢的侦探（AI 推理智能体），他懂得如何思考，但他无法看到自己思想之外的世界。为了解决这个谜题，他需要请求一位图书管理员（检索模型）从庞大的图书馆中取回书籍（文档）。

在旧有的处理方式中，侦探会向图书管理员索要一本书，然后直接接收被递过来的任何东西，并立即尝试解决谜题。如果拿到的书不对，侦探通常也会硬着头皮去猜，或者陷入僵局。图书管理员一直被视为一个“黑盒”——你无法真正修复他们，只能寄希望于他们能做对。

这篇论文介绍了一个名为 Critic-R 的新系统，它通过引入第三个角色改变了这种动态关系：评论家（The Critic）。

三个角色

侦探（推理者/The Reasoner）： 试图回答问题的聪明 AI。他会想：“我需要先找到导演，”然后询问图书管理员。
图书管理员（检索者/The Retriever）： 系统负责搜索图书馆并递交前几本相关的书。
评论家（新加入的角色/The Critic）： 一位独立的、目光敏锐的编辑，观察着整个过程。评论家不仅看书本身，还观察侦探对这些书的描述。

它是如何运作的：两部分策略

论文提出了两种使用这位评论家来让系统变得更聪明的方法。把它们想象成“即时修复”和“为未来训练”。

1. Critic-R-Zero：“重来一次”按钮（推理时/Inference-Time）

想象侦探向图书管理员索要一本关于“克里斯托弗·诺兰”的书。图书管理员递过来一本关于这部电影情节的书，但其中并没有提到他的学校。

没有评论家时： 侦探可能会感到困惑，并给出一个错误的答案。
有了 Critic-R-Zero 时： 评论家观察到了侦探的内心想法（“我需要导演的传记，但这本书只讲了剧情”），然后说：“停！这本书没用。让我们再试一次。”

随后，评论家重写了给图书管理员的请求，使其更加具体：“寻找克里斯托弗·诺兰的传记，而不是电影情节。”图书管理员再次尝试，找到了正确的书，侦探终于可以解开谜题了。

这发生在 AI 工作期间的瞬间。这就像有一个教练站在球员身边，大喊：“那次传球很糟糕，换个角度再试！”而不需要改变球员本身的训练。

2. Critic-Embed：“训练营”（检索器微调/Retriever Fine-Tuning）

“重来一次”的方法很棒，但每次提问时都会消耗额外的计算时间和资源。为了让图书管理员永久性地变得更好，作者利用这些“重来一次”的环节创建了一个训练营。

每当评论家说“那本书不好，再试一次”时，系统都会保存那个时刻。
它将那本“坏书”保存为负面示例（不要选这个！）。
它将最终奏效的“好书”保存为正面示例（选这个！）。

作者随后利用这些保存下来的示例来教导图书管理员如何在第一次尝试时就选对书，而无需人类来对每一本书进行评分。图书管理员从自己的错误和成功中学习，成为了一个更优秀的搜索者。

结果：为什么这很重要

作者在一些需要跨多个文档建立联系的极难问题上测试了这个系统（例如：“谁导演了那部获得过某位演员出演电影之获奖影片？”）。

侦探 + 评论家（Zero）： 即使使用标准的、未经训练的图书管理员，加入评论家的“重来一次”循环也显著提高了答案的准确性。它即时修复了错误。
经过训练的图书管理员（Embed）： 使用评论家反馈进行训练后的图书管理员变得如此出色，以至于即使没有“重来一次”的循环，其表现也优于其他先进系统。
完整的团队（Critic-R）： 当他们将超强训练的图书管理员与评论家的“重来一次”循环结合在一起时，得到了最好的结果。这就像拥有了一位世界级的图书管理员，同时还有一个安全网来捕捉任何残留的错误。

核心结论

该论文认为，在 AI 搜索中，图书管理员（检索器）往往是薄弱环节，而不是侦探（推理者）。通过添加一个检查工作并提供反馈的评论家，你既可以即时修复错误，也可以通过反馈训练图书管理员在未来做得更好。

提到的重要局限性：
论文指出，该系统依赖于侦探足够聪明，能够意识到自己掌握了错误的信息。如果侦探过于简单或容易困惑，评论家就无法获得有效的信号来进行工作。此外，测试是在静态图书馆（维基百科）上进行的，作者尚未在混乱的、实时的互联网搜索中测试该系统。

技术摘要：Critic-R

问题陈述

代理搜索系统（Agentic search systems）通过在内部推理与迭代检索动作之间进行交替，已成为解决复杂多跳查询的标准方法。然而，一个关键的瓶颈依然存在：虽然推理智能体通常通过强化学习进行优化，但它们所依赖的检索模型往往被视为冻结的黑盒。现有的尝试将检索器与智能体进行联合优化的方法，通常需要沉重的协同训练、金标准段落标注，或者需要能够重新训练推理模型本身。这些要求限制了其在现实场景中的适用性，特别是在推理模型固定、检索器由外部提供或缺乏高质量相关性标签的情况下。作者认为，仅靠查询重构无法完全补偿次优检索带来的影响，因此有必要建立一个能够显式闭合智能体与检索器之间反馈环路的框架，且无需依赖人工监督。

方法论

作者提出了 Critic-R，该框架引入了一个专门的评论家模型（critic model），用于评估智能体在消耗检索到的证据后的内省式推理轨迹（introspective reasoning trace）。该框架通过两个互补的机制运行：

1. Critic-R-Zero（推理时精炼）

该组件完全在推理阶段运行，不需要对底层模型进行梯度更新或重新训练。

机制： 当智能体执行搜索时，检索到的文档会被投喂给推理器，以生成一段内省式推理轨迹。一个独立的评论家模型（ $M_C$ ）会对该轨迹进行分析，以判断检索到的上下文是否足以解决智能体的信息需求。
反馈环路： 如果评论家认为证据不足（负反馈），它会利用智能体在推理轨迹中表现出的明确不满，来重写搜索查询和检索指令。这种精炼后的查询会触发新的检索尝试。
终止条件： 该循环会重复执行，直到达到预设的预算（ $K$ ）或评论家确认证据已令人满意。最终选定的文档将被提交至推理历史中。
数据收集： 这一过程自然地生成了“正向”文档（满足智能体的文档）和“硬负样本”文档（在不成功的精炼尝试中被拒绝的文档），这些文档被收集用于训练目的。

2. Critic-Embed（检索器微调）

为了摊销迭代精炼的计算成本并永久提升检索质量，作者利用 Critic-R-Zero 生成的轨迹作为自动监督的来源。

训练信号： 被评论家验证为有用的文档被视为正样本（ $D^+$ ），而精炼过程中被拒绝的文档则被视为硬性的轨迹内负样本（ $D^-$ ）。
对比学习： 检索器使用带有这些自动构建的对比对的 InfoNCE 目标函数进行微调。至关重要的是，这一过程不需要人工的相关性标注（金标准段落）。
约束条件： 为了确保标签质量，只有当最终预测符合下游任务指标时，相关的轨迹才会被保留用于训练。

3. 统一系统

完整的 Critic-R 系统结合了这两种机制：Critic-Embed 检索器提供了领域对齐的高质量初始检索，而 Critic-R-Zero 循环则提供了推理时的安全网，以从复杂的边缘案例失败中恢复。

核心贡献

反馈环路闭合： 本文引入了一个框架，在推理和训练阶段都显式地闭合了推理智能体与检索器之间的反馈环路，挑战了“推理智能体可以仅靠自身补偿检索失败”的假设。
检索的推理时扩展（Inference-Time Scaling）： Critic-R-Zero 证明了通过在推理时分配额外的计算资源来迭代精炼查询和指令，可以在不修改推理智能体或检索器的情况下，显著缓解检索失败问题。
检索器的自动监督： Critic-Embed 展示了一种利用来自智能体-评论家交互的轨迹进行对比学习，从而对稠密检索器进行微调的新方法，消除了对昂贵金标准段落标注的需求。
模块化设计： 该框架的设计与推理智能体的训练目标是正交的，使其可以应用于任意智能体（例如 Search-R1）和检索器。

实验结果

该框架在四个具有挑战性的多跳问答基准测试上进行了评估：HotpotQA、2WikiMultihopQA、MuSiQue 和 Bamboogle。

推理时精炼 (RQ1)： 使用冻结的检索器，Critic-R-Zero 在不同规模（3B 到 14B）的智能体上均显著提高了答案准确率。该方法在精确匹配（EM）和 F1 分数上实现了 12.4% 的整体相对提升。作者指出，增加评论家模型的规模（从 14B 到 72B）并不一定保证更好的性能，在处理更难的数据集时，32B 的评论家往往表现最优。
检索器微调 (RQ2)： 仅在 Critic-R-Zero 轨迹上训练的 Critic-Embed 检索器，其表现优于现成的稠密检索器（Stella-400M）以及与搜索智能体进行端到端协同训练的检索器（Agentic-R）。它实现了高达 7.5% 的整体性能相对提升，证明了收集到的轨迹包含可迁移的监督信号。
统一系统 (RQ3)： 将训练好的 Critic-Embed 检索器与 Critic-R-Zero 推理循环相结合，取得了最强的结果，实现了 10.9% 的整体相对提升。作者观察到，这两个组件是互补而非冗余的，它们解决了不同类型的检索失败。
内省反馈的作用 (RQ4)： 一项消融实验显示，若从评论家的输入中移除智能体的内省反馈（ $T_{i+1}$ ），训练出的检索器性能会出现显著下降。这证实了智能体的内部推理轨迹是主要的监督信号来源，而非仅仅是一个边际输入。

重要性与主张

本文主张，在智能体循环内显式建模并优化检索质量，是实现更鲁棒的代理搜索的一条强大路径。Critic-R 的重要性在于其能够：

在不需要人工相关性标注的情况下，提高检索质量和下游答案准确率。
在推理模型无法重新训练或检索器为固定外部组件的设置下，依然能有效发挥作用。
提供一种可扩展、模块化的方法，使推理时精炼与离线检索器微调能够相互增强。

作者总结道，尽管该框架展现出了巨大的潜力，但其成功取决于推理智能体提供准确内省反馈的能力，且其在高度动态环境（如实时网络搜索）中的效能仍有待进一步评估。