🤖 AI

ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

GRPO 是一种通过结合用于热启动的结构化反思数据引擎与反思增强型组相对策略优化（Group Relative Policy Optimization）算法来增强工具使用智能体的创新框架，使智能体能够有效地从近失失败（near-miss failures）中学习，并共同优化反思标记与纠正动作，从而超越现有基准。

原作者： Binjie Zhang, Mike Zheng Shou

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Binjie Zhang, Mike Zheng Shou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但有点笨拙的机器人助手，利用一套数字工具箱（比如网页搜索、图像阅读器或代码执行器）来解决复杂的谜题。这个机器人是一个“视觉-语言模型（Vision-Language Model）”，这意味着它能看懂图片并阅读文本，但当它尝试使用这些工具时，有时会犯错。

这篇论文介绍了一种新的训练方法，叫做 ReGRPO（反思增强型组相对策略优化）。以下是通过简单的类比对它的解释：

问题所在：那个不知道如何修复错误的机器人

目前，当我们训练这些机器人时，我们大多是在向它们展示如何完成任务的完美范例。这就像是在给学生展示一份每一步都做得完全正确的标准答案。

问题在于： 如果机器人尝试使用某个工具并失败了（例如，它试图读取一张收据，但由于相机角度不对，导致它什么也没读到），它就不知道该怎么办了。它只会盲目地继续下去，或者直接放弃。
差距在于： 旧的训练方法并没有教会机器人如何从错误中恢复。它们只教会了机器人在一切顺利时如何取得成功。

解决方案：“错误-反思-修正”循环

研究人员创建了一个新系统，教机器人停下来、思考并自我修正。他们称之为**“反思（Reflection）”**。

把它想象成一个GPS导航系统：

错误（差一点就成功）： 机器人尝试转弯，但道路被封锁了（工具失效了）。
反思（“啊哈！”时刻）： 机器人没有直接撞车，而是停了下来并问道：“为什么失败了？哦，我试图在错误的部位读取文本。证据是，我读取到的文本是空的。我的计划是将摄像头框向右移动。”
修正： 机器人立即尝试新的计划并成功了。

他们是如何构建它的（“结构化数据引擎”）

为了教会机器人这项技能，研究人员并没有只是等待它自然出错。他们建立了一个模拟实验室：

他们拿出一个完美的任务并故意破坏它（例如，他们命令机器人看向照片中的错误位置）。
他们观察机器人的失败过程，并记录下到底哪里出了问题。
他们使用了一个“教师AI”（一个非常聪明的模型）来为机器人编写一段结构化的笔记。这个笔记包含三个特定部分：
1. 错误类型： 发生了什么样的错误？（例如，“我看了错误的位置。”）
2. 证据： 什么证明了这一点？（例如，“我读取的文本是空的。”）
3. 修复计划： 如何解决它？（例如，“将摄像头框移动到文本处。”）
然后，他们向机器人反复展示这种“错误 + 笔记 + 修复”的序列，直到它学会自动执行。

训练游戏（组相对策略优化）

一旦机器人学会了基础知识，他们就让它参加一个训练游戏来变得更强。

游戏规则： 他们要求机器人解决同一个谜题 10 次。
评分方式： 有时候它能立即成功；有时候它失败了，停下来“反思”，然后修正它。
奖励机制： 机器人通过解决谜题获得积分，但如果它进行了不必要的“思考”（反思），它会失去一些积分。
目标： 机器人学会了只有在真正需要的时候才停下来反思，并且让它的反思保持简短且有用。它学会了比较自己的尝试：“嘿，那个通过反思并修正的版本比那个只是盲目继续的版本得分更高。”

结果：一个更聪明、具备自愈能力的机器人

研究人员在两个具有挑战性的任务上测试了这个新机器人（ReGRPO）：

GTA： 涉及读取收据、图表和 UI 界面等任务。
GAIA： 涉及处理复杂的文档，如 PDF 和电子表格。

最终成果：

这个新机器人解决这些任务的能力显著优于之前的开源机器人。
它不仅变得更擅长使用工具，而且在工具失效时变得更擅长恢复。
至关重要的是，它学会了在最终测试中无需人类或第二台计算机来检查其工作就能完成任务。它学会了信任自己的“反思”来即时修复错误。

总结

简而言之，这篇论文教 AI 智能体成为像具备自我修正能力的机械师一样。它不仅仅是学会如何完美地驾驶汽车，而是学会了如何听到异响、诊断问题并立即修复它，而无需停车去请示主管。这使得 AI 在事情并不总是按计划进行的现实世界中变得更加可靠。

技术摘要：ReGRPO —— 用于工具使用型智能体的反思增强策略优化

1. 问题陈述

工具增强型视觉语言模型（VLMs）旨在通过调用外部工具（如 OCR、网页搜索、代码执行）来解决复杂的多模态、多步任务。然而，当前的方法在鲁棒性和恢复能力方面存在两个主要局限性：

监督微调（SFT）的局限性： 现有的 SFT 方法（如 MAT-AGENT）过度依赖成功的轨迹。当智能体偏离最优路径或遇到工具故障（例如，由于轻微的布局偏移导致 OCR 结果为空）时，它们几乎无法提供恢复信号。模型学会了遵循成功的轨迹，但缺乏诊断并修复局部错误的能力。
标准强化学习（RL）的局限性： 标准的 RL 方法通常只提供稀疏的、轨迹层面的奖励（成功/失败）。在长程任务中，标量失败奖励无法识别具体是哪一步失败了，或者应该如何纠正。这种歧义性导致学习缓慢且不稳定，因为智能体无法区分是错误的工具选择还是错误的参数输入。

核心挑战在于如何使工具使用型智能体不仅能够执行任务，还能在单次推理过程中诊断失败、生成结构化反思并执行纠正动作，而无需依赖昂贵的外部验证器或测试时的试错。

2. 方法论：ReGRPO

作者提出了 ReGRPO（Reflection-augmented Group Relative Policy Optimization，反思增强型组相对策略优化），该框架将诊断性反思视为一个可学习的变量，而非固定的提示词启发式方法。该方法由三个主要部分组成：

A. 结构化反思数据引擎

为了解决 SFT 中缺乏恢复数据的难题，作者引入了一个数据引擎，将工具执行失败转化为有根据的监督信号。

故障诱导： 从地面真值（ground-truth）轨迹开始，系统通过扰动工具选择或参数（例如，移动边界框）来合成“近失”动作。这些动作在沙盒中执行，以生成真实的、有根据的失败观测（例如，空 OCR、API 错误）。
反思思维（RoT）三元组： 教师模型 VLM（默认：GPT-4o）分析失败上下文并生成一个结构化的三元组：
- 错误类型（ErrorType）： 分类诊断（例如，GroundingDrift 地图漂移、ToolMismatch 工具不匹配）。
- 证据（Evidence）： 对触发错误的视觉或文本观测的明确引用（例如，“区域 #box1 的 OCR 输出为空”）。
- 修复计划（FixPlan）： 纠正错误的具体策略（例如，“扩大边界框”）。
监督： 这些三元组与纠正后的动作配对，形成“失败 $\to$ 反思 $\to$ 纠正”的轨迹，用于热启动 SFT。

B. 反思增强型 GRPO 训练

ReGRPO 扩展了组相对策略优化（GRPO）算法，以联合优化反思 Token 和纠正动作。

局部轨迹公式化： 该策略不再对原子动作进行评分，而是采样一组 $K$ 个候选局部轨迹。如果初始动作 $a^{(0)}$ 失败，策略会生成反思 $z$ 和纠正动作 $a^{(1)}$ 。
复合奖励函数： 奖励 $R(\tau)$ $R (τ)$ 平衡了任务成功率、执行效率和可选的验证：
$R(\tau) = \lambda_{exec} \mathbb{1}_{\{success\}} - \eta C(\tau) + \lambda_{val} V(x_i, \tau)$
- 反思成本（ $C(\tau)$ ）： 惩罚反思 $z$ 的 Token 长度，迫使智能体仅在必要时进行反思。
- 验证器价值（ $V$ ）： 一个可选的、仅在训练阶段使用的信号，通过元数据确定性地计算（无需调用 LLM），以稳定学习过程。
优化： 策略使用组相对优势进行更新。通过在同一组内将恢复后的轨迹与未恢复的失败进行比较，模型学习哪些反思是有用的，以及如何高效地生成它们。

C. 零验证器推理阶段

在部署时，ReGRPO 以单路径、零验证器模式运行，以确保效率。

确定性触发器： 一个轻量级门控 $g_i$ $g_{i}$ 决定是否开启局部反思-纠正模块。当满足以下条件时，触发器激活：
1. 检测到工具错误。
2. 观测结果为空。
3. 策略对动作的置信度（ $u_i$ ）低于自适应阈值（ $\kappa_i$ ）。
恢复： 如果被触发，智能体执行单个局部块： $a^{(0)} \to o^{(0)} \to z \to a^{(1)} \to o^{(1)}$ 。这使得智能体能够进行自我纠正，而无需外部验证器调用或搜索。

3. 核心贡献

本文做出了三个主要贡献：

结构化反思数据引擎： 一个将原始工具执行失败转化为有根据的“错误-反思-纠正”监督信号的流水线，使智能体从一开始就能学习恢复策略。
ReGRPO 算法： 一个将结构化反思集成到 GRPO 目标函数中的新型优化框架。它联合优化反思生成和纠正动作，将反思视为决策变量而非静态提示词。
最先进的性能： 在相同的骨干网络（Qwen2-VL-7B）和工具集设置下，ReGRPO 在 GTA 和 GAIA 基准测试中取得了最佳结果，超越了包括 MAT-AGENT 和 SPORT 在内的强力基线。

4. 实验结果

作者在两个多模态基准测试上评估了 ReGRPO：

GTA (229 个任务)： 侧重于视觉感知和局部操作（例如，读取收据）。
GAIA (446 个任务)： 侧重于文档理解、网页导航以及跨 PDF、PPTX 和 XLSX 的逻辑推理。

主要发现：

性能： 默认的无验证器 ReGRPO（ $\lambda_{val}=0$ ）在 GTA 上实现了 67.66% 的答案准确率，在 GAIA 上实现了 23.35%。这相比 SPORT 基线有了显著提升（GTA 提升 +7.40%，GAIA 提升 +2.74%）。
消融实验：
- RoT SFT： 与标准 SFT 相比，添加结构化反思数据进行热启动 SFT 提升了性能，证明了显式错误诊断的价值。
- 结构化 vs. 自由形式： 结构化反思（受 Schema 约束）优于自由形式的反思，表明 ErrorType-Evidence-FixPlan 架构对于有效学习至关重要。
- 验证器独立性： 虽然添加可选的教师衍生验证器奖励带来了微小的收益，但核心 ReGRPO 流水线在没有它时依然非常有效，验证了零验证器部署策略的可行性。

5. 意义与主张

本文声称 ReGRPO 解决了工具使用型智能体的一个关键差距：即在不依赖脆弱的监督轨迹或昂贵的外部验证的情况下，实现从失败中恢复的能力。

内化纠正： 不同于以往将反思视为测试时启发式方法的方法，ReGRPO 将纠正循环内化到了策略参数中。模型学习何时进行反思以及如何生成有根据的诊断，从而实现成功的恢复。
效率： 通过使用确定性触发器和单路径执行策略，ReGRPO 保持了低延迟和部署效率，避免了外部验证器或多路径搜索带来的计算开销。
泛化性： 该框架在模型骨干（已在 Qwen2-VL-7B 上验证）和工具集方面具有模型无关性，提供了一种可扩展的、用于训练鲁棒且具备自我纠正能力的多模态智能体的方法。

作者总结道，当通过组相对策略优化进行优化时，结构化反思为处理现实世界多步任务中固有的分布偏移和工具故障提供了一种鲁棒的机制。