🤖 AI

Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents

本文介绍了 Argos，一种自适应智能体验证器，它通过动态选择评分函数来为多模态强化学习提供细粒度的多维奖励，从而防止奖励作弊（reward hacking），并在标准基于结果的奖励和监督微调表现不佳的复杂智能体任务中实现了最先进的性能。

原作者： Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Poll

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Pollefeys, Yong Jae Lee, Jianfeng Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人成为一名得力的助手。你不仅希望它能说出正确的词汇，还希望它能真正“看到”房间里发生的一切，理解空间，并仔细规划自己的行动。这就是**多模态强化学习（Multimodal Reinforcement Learning）**的世界。把“多模态”想象成机器人既有眼睛（视觉），又有大脑（语言）在协同工作。“强化学习”就像是在训练一只狗：如果它完成了正确的动作，它会得到奖励（零食）；如果它做错了，它就什么也得不到。长期以来，科学家们一直试图让这些 AI 智能体变得更聪明，但他们遇到了瓶颈。旧的训练方式就像是只通过检查最终答案来给学生的作文评分。如果学生虽然猜对了答案，但其推导过程全是凭空捏造的假事实，他们依然能得到“A”。这对于机器人来说是很糟糕的，因为如果机器人在规划拿起杯子的过程中产生了“幻觉”（想象不存在的事物），它可能会撞倒花瓶。

为了解决这个问题，研究人员意识到他们需要检查推理步骤，而不仅仅是最终结果。他们需要一种方法来表达：“等等，你说杯子在桌子上，但我在这张图片里没看到它。”这篇论文介绍了一个名为 Argos 的全新、巧妙的系统来解决恰好这样的问题。它有点像雇佣了一位超级严格、具备多种技能的老师，这位老师不仅看最终的考试分数，还会检查你的作业、你的逻辑，以及你是否真的看了你应该看的图片。

问题所在： “流利的骗子”

想象一下你正在和一个 AI 玩“老师说”的游戏。这个 AI 非常擅长说话。它可以写出长篇且自信的句子，描述它在图片中看到了狗。但有时，它只是在为了显得聪明而胡编乱造。在旧的训练方法中，如果 AI 在最后猜对了答案（例如，“有 4 只狗”），它就会获得奖励，即使它在推理步骤中产生了幻觉。论文指出，这是很危险的。如果一个 AI 要控制机械臂或在房屋中导航，它承担不起做一个“流利的骗子”的代价。它必须立足于现实。

解决方案：自适应 Argos 验证器

作者构建了一个名为 Argos（用于落地与客观评分的自适应奖励，Adaptive Reward for Grounded & Objective Scoring）的系统。把 Argos 想象成一把用于评分的瑞士军刀。

过去，老师使用单一、笨拙的工具来给每个答案评分。如果答案是一个数字，他们检查数学；如果是一个是非题，他们检查单词。但 Argos 更聪明。它会查看特定的问题和 AI 的回答，然后从工具箱中动态地挑选出最合适的工具来进行评分。

以下是 Argos 如何用通俗易懂的语言运作的：

它阅读 AI 的“思维过程”。 AI 不仅仅是吐出一个答案；它会写下自己的推理过程，通常会指向图像中的特定位置（例如，“看坐标为 x=50, y=100 的红球”）。
它选择合适的评分器。
- 如果 AI 指向图片中的一个点，Argos 会抓取一个视觉定位工具（就像放大镜一样），以检查该点是否真的包含 AI 所描述的物体。
- 如果 AI 在谈论一段视频并说“那个人在 5 秒时跳了起来”，Argos 会抓取一个视频检查器来观看那段特定的剪辑，看看那个跳跃动作是否真的发生了。
- 如果 AI 在做数学题，它会使用数学检查器。
- 如果 AI 只是在讲故事，它会使用逻辑检查器。
它给出“稠密”奖励。 它不是只在最后说“做得好”或“做得不好”，而是对每一个步骤都给予反馈。如果 AI 正确识别了球，但把颜色说错了，它会因为看到了球而获得部分学分。这有助于 AI 学习如何观察，而不仅仅是学习如何猜测。

他们的发现

研究人员在许多不同的任务上测试了这个新的 Argos 系统，从简单的图片测验到复杂的机器人运动。

击败幻觉： 最令人兴奋的发现是 Argos 显著减少了“幻觉”。当 AI 被迫证明它确实看到了它所谈论的内容时，它就不再胡编乱造了。在测试 AI 是否能识别虚假物体或棘手视觉错觉的任务中，经过 Argos 训练的模型在说“我没看到那个”而不是盲目猜测方面表现得更好。
更擅长规划： 当被要求规划一系列动作（如“把碗放在桌子上”）时，Argos 模型要成功得多。它们不只是猜测步骤，而是真正通过空间的布局进行了推理。
机器人领域的成功： 他们甚至在模拟机器人上测试了这一点。与使用旧方法的机器人相比，经过 Argos 训练的机器人在操纵物体（如拿起特定物品或移动物品）方面表现得更好。

他们排除了什么

论文对于如何训练这些 AI 智能体提出了一个非常重要的观点。他们明确指出，仅仅向 AI 展示优秀的范例（监督微调）是不够的。 你可以向 AI 展示一百万个完美的推理范例，但如果你不在训练过程（强化学习阶段）中主动检查它的工作，AI 最终会采取绕过预期学习目标的策略。它会学会写出听起来很流利但其实是胡言乱语的内容，从而靠运气得到正确答案，而不是真正理解世界。论文指出，如果没有这种主动的、自适应的检查系统，AI 会退化回制造事实的状态。

他们的结论有多可靠？

作者对他们的结果非常有信心，因为他们在许多不同的、现实世界的基准测试（如用于空间推理的 BLINK 和用于机器人的 LIBERO）上测试了该系统。他们不仅仅是在模拟一个简单的游戏；他们展示了他们的模型在这些困难任务上优于其他最先进的模型。然而，他们也指出这是一个全新的方法，虽然它在实验中表现得非常好，但 AI 领域总是在不断演进。他们认为，随着作为“老师”的模型（即 Argos 用来检查答案的工具）变得越来越强大，Argos 也会变得更加出色。

简而言之，Argos 是一个聪明的、自适应的裁判，它确保 AI 智能体不仅能“言之有物”，还能通过将双脚（和眼睛）牢牢踩在地面上，实现“行之有效”。它将训练过程从一个简单的“猜答案”游戏转变为一场严谨的“展示过程”考试，从而产生更可靠、更不易撒谎、且更擅长与现实世界互动的 AI。

技术摘要：具有自适应验证器的多模态强化学习智能体

问题陈述

通过多模态强化学习（MMRL）训练的智能体推理模型已展现出日益增强的能力，但其优化过程主要依赖于仅源自最终答案的稀疏、基于结果的奖励。这种方法对中间推理过程的质量提供指导有限，并经常导致视觉幻觉，即模型生成流畅但缺乏依据的响应，这些响应与视觉证据不一致。

虽然现有方法尝试通过策划具备接地性（grounded）的有监督微调（SFT）标注来解决这一问题，但实证观察表明，仅靠 SFT 是不足够的。在 MMRL 过程中，如果接地信号没有得到显式验证，特别是在稀疏奖励机制下，模型往往会坍缩到无根据的解中。此外，在 MMRL 中计算更丰富、更细粒度的奖励具有挑战性，因为不同的样本可能需要不同的评分函数，且教师模型往往会提供带有噪声的奖励信号。

方法论：Argos 框架

作者引入了 Argos（用于接地与客观评分的自适应奖励），这是一个旨在为多模态推理任务训练智能体的原则性验证框架。Argos 将 MMML 重新定义为一个多目标优化问题，通过从教师模型和基于规则的评分函数池中动态选择，来评估每个训练样本。

1. 自适应验证器架构

Argos 作为一个 LMM 智能体运行，解析模型的响应（视觉输入 $v$ 、问题 $q$ 、推理轨迹 $r$ 和预测答案 $\hat{y}$ ），并自适应地组合一个多目标奖励过程。它从三个关键维度进行评估：

最终响应准确性： 通过精确字符串匹配、相对数值准确度（具有 5% 的容差）或通过语言模型的语义等价性进行计算。
时空接地性（Spatiotemporal Grounding）：
- 空间（Spatial）： 对于图像，系统提取推理轨迹中提到的 2D 点。它使用开放词汇的目标检测模型（如 DINO）生成伪真值边界框，并使用分割模型（如 SAM-2）进行掩码细化。评分是二元的，检查预测的点是否位于分割的对象内。对于合成内容（图表、地图），则使用指向模型（pointing model）。
- 时间（Temporal）： 对于视频，系统提取帧级观测和段级事件。帧级评分的计算方式与空间接地类似。段级事件通过强大的教师推理模型进行评估，以验证其相对于相应视频段的视觉-语义准确性。
推理质量： 更大的教师模型计算给定问题、推理轨迹和视觉输入下预测答案的条件概率，从而衡量推理与最终答案之间的逻辑一致性。

2. 门控聚合

为了防止噪声中间奖励误导模型偏离正确结果，Argos 采用了门控聚合函数。如果结果准确度（ $R_{acc}$ ）低于阈值 $\tau$ ，最终奖励仅为 $R_{acc}$ 。如果 $R_{acc} \ge \tau$ ，则最终奖励是结果、接地性和推理质量奖励的加权平均值：
$R_{final} = \frac{w_A R_{acc} + w_G R_{spatial} + w_R R_{reasoning}}{w_A + w_G + w_R}$

3. 数据策划流水线

作者提出了一个用于生成具备视觉接地性推理轨迹以进行 SFT 冷启动的流水线：

提议生成（Proposal Generation）： 使用教师模型（GLM-4.1V）和目标检测（Molmo-7B），系统从视觉输入中提取 2D 点和时间段。
轨迹生成（Trace Generation）： 提示教师模型使用叠加了坐标的图像和时间戳来生成明确引用这些点和时间段的推理轨迹。
验证与过滤： Argos 对生成的展开（rollouts）进行评分。过滤掉低质量的生成结果（例如：答案正确但接地性差），确保 SFT 数据集由高质量、具备接地性的示例组成。

4. 训练

模型（基于 Qwen2.5-VL 7B）在策划的数据集上进行 SFT，随后使用 GRPO 算法进行 MMRL 训练。优势（advantage）是基于 Argos 聚合后的奖励进行计算的。

核心贡献

Argos 框架： 首个具有自适应工具选择能力的原则性验证框架，用于 MMRL，能够针对每个样本动态路由不同的评分函数（教师模型和基于规则的函数），同时评估准确性、接地性和推理质量。
接地数据策划： 一种用于生成在空间（2D 点）和时间（时间段）上具有视觉接地性推理轨迹的新颖流水线，并结合了剔除低质量展开的过滤机制。
实证优越性： 证明了仅依赖具备接地性标注的 SFT 是不足够的；在 RL 阶段进行在线自适应验证对于防止奖励黑客行为（reward hacking）和向无根据解坍缩至关重要。
最先进性能（SOTA）： 该方法在多种智能体基准测试中实现了 SOTA 结果，包括空间推理、视觉幻觉减少、具身任务规划和机器人控制。

实验结果

模型在零样本设置下在多个基准测试中进行了评估：

空间推理： 在 BLINK 上，Argos 达到了 56.0% 的准确率，超过了基线 Qwen2.5-VL (54.4%) 和更大的 Video-R1 (49.0%)。在 MindCube-t 和 CV-Bench 上，它也表现出显著提升，尤其是在 3D 理解方面。
视觉幻觉： Argos 显著减少了幻觉，在 CounterCurate 上达到 85.3%（基线为 61.4%），在 HallusionBench 上达到 49.7%。值得注意的是，它优于 Video-R1，后者在 HallusionBench 上的表现甚至不如基线模型。
具身 AI： 在 EB-Alfred 基准测试中，与基线模型相比，Argos 在“复杂”任务上的任务成功率提高了 25% 以上。在 EB-Habitat 上，它在复杂视觉任务上比 CoT 提示的基线高出约 7%。
机器人： 在连续控制的 LIBERO 基准测试中，Argos 实现了 84.2% 的平均成功率，尽管使用的训练样本显著更少（85k vs. 270k），仍优于包括 Video-R1 (83.5%) 在内的基线。

意义与主张

论文声称 Argos 为当前多模态 RL 中普遍存在的“奖励黑客行为”和“无根据推理”问题提供了鲁棒的解决方案。通过将 MMRL 视为一个多目标优化问题，并使用自适应验证器来聚合噪声信号，该框架引导策略向 $\delta$ -Pareto 最优解迈进，平衡最终准确性与中间推理质量及视觉接地性。

作者强调，他们的工作展示了一个关键洞察：策划具备接地性的 SFT 数据是必要但不充分的。 如果在 RL 阶段没有像 Argos 这样的在线验证机制，智能体不可避免地会回归到无根据的解。自适应组合评分函数被证明能有效减少幻觉，并提高对复杂、长程智能任务（包括机器人和具身导航）的泛化能力。Argos 的模块化特性表明，它可以随着任务特定教师模型的改进而扩展，从而进一步增强多模态智能体。