💻 computer science

H-GRPO: Permutation-Invariant Reinforcement Learning for Grounded Visual Reasoning

本文介绍了 H-GRPO，这是一个通过采用置换不变强化学习（Permutation-Invariant Reinforcement Learning）将复杂查询分解为基于特定视觉证据的原子子问题，从而增强视觉语言模型性能与可解释性的框架，旨在减少幻觉并培养类人化的演绎推理能力。

原作者： Eric Peh, Debaditya Roy, Basura Fernando

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Eric Peh, Debaditya Roy, Basura Fernando

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但有点调皮的艺术系学生，名叫“视觉语言模型”（VLM）。当你向他展示一张图片并问一个问题，比如“厨师在做饭吗？”，他通常能给出正确的答案。但问题在于，他可能会根据“厨师通常戴白帽子”这个事实来瞎猜，即便照片里的人其实是一个戴着白帽子的面包师。他在走“捷径”，甚至可能会编造细节（幻觉）来为他的猜测辩解。

你分享的这篇论文介绍了一种名为 H-GRPO 的新训练方法来解决这个问题。你可以把它想象成一种新的作业批改方式，它要求学生必须展示解题过程，一步步地给出证据。

以下是该方法的运作方式，通过简单的概念进行拆解：

1. 问题所在：“黑盒”式的猜测

目前的这些 AI 模型就像是“黑盒”。你输入一张图片，一个答案就蹦了出来。我们不知道它们是如何得出答案的。它们可能对了，但理由不对。这就像一个学生写对了数学题的答案，但公式写错了；他只是运气好，并没有真正学会。

2. 解决方案：“侦探的笔记本”

作者提出了一个新的框架，要求 AI 不得只给出一个最终答案。相反，它必须扮演一名填写结构化笔记本的侦探。

对于每一个问题，AI 必须将问题分解成微小的步骤。对于每一步，它必须写下三样东西：

问题： “我现在正在看什么？”（例如：“那是玛芬盘吗？”）
答案： “是的，它是。”
证据： 在照片中围绕玛芬盘画出的一个特定方框，以此来证明。

这把 AI 的思考过程从神秘的猜测变成了透明的事实链：我看到了玛芬盘（证据在此） -> 我看到了白色夹克（证据在此） -> 因此，这是一位厨师。

3. 挑战：通往真理的不同路径

这里非常棘手。想象两个侦探在调查同一桩犯罪案件。

侦探 A 先看鞋子，然后看帽子，最后看枪。
侦探 B 先看枪，然后看帽子，最后看鞋子。

两位侦探都找到了相同的线索，并得出了相同的结论。如果你是一个严厉的老师，你可能会说：“侦探 A，你的观察顺序错了！零分。” 这显然不公平。

论文中的创新点 H-GRPO 就像一位聪明的老师，它理解观察的顺序并不重要，只要线索在那里即可。它使用了一个数学工具（称为“匈牙利匹配”）来将学生的线索与正确的线索进行配对，无论这些线索被记录的顺序如何。它会检查：“你找到鞋子了吗？是的。你找到帽子了吗？是的。做得好，即使你寻找它们的顺序不同。”

4. 奖励机制：“给我看证据”

在过去，只有当 AI 给出最终正确答案时，它才会得到“做得好！”的评价。现在，有了 H-GRPO，AI 只有满足以下条件才能获得奖励：

它遵循了笔记本的格式。
它得出了正确的最终答案。
至关重要的一点是： 笔记本中的每一个步骤都由照片中的特定部分作为支撑。

如果 AI 试图在没有指向照片中任何位置的情况下编造事实，它会得到低分。这迫使 AI 停止猜测，开始真正地去“观察”图像。

5. 结果：更擅长“观察”，而不只是“了解”

作者在涉及图片的各种谜题上测试了该方法。

对于需要空间推理的任务（例如弄清楚物体的位置或它们之间的关系），这种新方法效果显著。AI 变得更不容易被捷径所迷惑。
对于需要深厚知识的任务（例如复杂的科学问题），它确实有所帮助，但 AI 仍然需要先具备相关知识。该方法确保了 AI 正确地利用图片，但它无法教给 AI 本身并不掌握的事实知识。
可解释性： 因为 AI 必须写下它的步骤并指向证据，人类实际上可以阅读它的“思考过程”并验证其是否合理。它不再是一个黑盒，而是一个透明的黑盒。

总结

简而言之，H-GRPO 是一种训练技术，它教会 AI 模型成为诚实的侦探。它不再让 AI 仅仅靠猜测和运气来给出答案，而是强迫它们：

将问题分解成小块。
指向照片中证明每一块内容的精确位置。
即使发现线索的顺序不同，也能因找到正确的线索而获得奖励。

这使得 AI 的推理更加可靠，不易产生幻觉，并且让其过程更容易被人类理解和信任。

技术总结：用于具身视觉推理的 H-GRPO

1. 问题陈述

视觉语言模型（VLMs）目前面临着高基准测试准确率与忠实视觉推理之间的严重脱节。虽然模型通常表现出强大的性能，但它们经常依赖于表层相关性，忽略相关的视觉证据，或产生中间事实幻觉。当 VLMs 使用强化学习（RL）进行后训练时，这一问题会进一步加剧；仅针对最终答案正确性进行优化会放大“捷径”推理，而非鼓励基于证据的演绎。

现有的基于 RL 的方法（如 R1-VL、Vision-R1）主要监督文本推理或最终结果，而没有将中间步骤锚定在局部视觉证据上。相反，接地（Grounding）方法（如 Visual-RFT、ViGoRL）将定位视为辅助手段，而非推理过程的核心组成部分。此外，目前的数据集缺乏能够同时捕捉推理结构、中间答案和特定空间证据的大规模标注。此类模型训练的一个关键挑战在于，有效的推理路径并非唯一的；不同的模型可能会使用不同的中间步骤或顺序来解决同一个视觉问题。标准的序列级比较会因为推理路径偏离了固定的参考顺序而惩罚正确的推理。

2. 方法论

2.1 接地推理分解

所提出的框架强制模型将全局视觉查询分解为一系列原子的、可验证的子任务。模型不再生成单体式的推理，而是生成一个由以下部分组成的结构化输出 $y$ ：

中间三元组 ( $\tau_i$ )： 一个序列 $\{ \tau_1, \dots, \tau_m \}$ ${τ_{1}, \dots, τ_{m}}$ ，其中每个三元组包含：
- $q_i$ ：一个子问题。
- $a_i$ ：一个中间答案。
- $b_i$ ：一个空间证据边界框 ( $[x_{min}, y_{min}, x_{max}, y_{max}]$ )，用于定位支持该答案的视觉依据。
推理路径 ( $r$ )： 三元组的自然语言综合。
最终答案 ( $a_{final}$ )： 对原始问题的简洁回答。

2.2 数据合成 (GVRS)

为了解决训练数据不足的问题，作者构建了接地视觉推理合成 (Grounded Visual Reasoning Synthesis, GVRS) 数据集。

流水线： 由 GPT-4o 起草并经由人工在环（human-in-the-loop）验证精炼的高质量参考集包含 40 个示例。通过使用 SAM3 进行边界框精炼来增强空间精度。
规模： 利用通过奖励评分选出的优化系统提示词，从四个来源（Visual7W, Visual-CoT, A-OKVQA, 和 ERQA）生成了 10,000 个训练样本。
验证： 数据集的子集由专家进行了人工验证，以确保逻辑一致性、语义正确性和空间准确性。

2.3 H-GRPO：匈牙利群相对策略优化 (Hungarian Group Relative Policy Optimization)

核心创新是 H-GRPO，一种旨在处理非唯一推理路径的置换不变性（permutation-invariant）强化学习框架。

置换不变性匹配： H-GRPO 不再按固定顺序比较生成的推理链与参考推理链，而是将评估形式化为预测三元组集合 ( $\hat{D}$ ) 与参考三元组集合 ( $D^*$ ) 之间的二分匹配问题。
相似度度量： 构建一个相似度矩阵 $S$ ，其中每个条目结合了：
- 边界框的存在性与兼容性。
- 用于子问题 ( $sim_q$ ) 和子答案 ( $sim_a$ ) 的 Sentence-BERT 余弦相似度。
- 用于空间重叠的交并比 (IoU)。
匈牙利算法： 使用匈牙利算法寻找最优的一对一分配，以最大化总相似度得分 ( $S_{HS}$ )。
奖励函数： 总奖励 $R$ 是以下各项的复合：
1. 格式奖励 ( $R_{format}$ )： 确保输出遵循三元组结构（子问题、答案、推理路径、最终答案）。
2. 匈牙利推理奖励 ( $R_{HS}$ )： 源自匹配得分的密集过程级奖励，通过阈值处理以抑制弱推理。
3. 最终答案奖励 ( $R_{answer}$ )： 仅在推理充分接地（即 $R_{HS}$ 超过阈值）时激活。
公式为： $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$ 。

这种公式确保模型只有在最终答案正确且源自语义对齐、视觉落地的中间步骤时，才能获得强奖励，无论这些步骤生成的顺序如何。

3. 核心贡献

接地推理分解协议： 一种将推理步骤表示为三元组（子问题、子答案、空间证据）的新颖表示法，强制实现视觉证据的显式外显化。
可扩展的数据合成流水线： 一种无需大量人工标注即可生成逐步接地推理轨迹的方法，从而创建了 GVRS 数据集。

H-GRPO 框架： 一种使用匈牙利匹配进行置换不变性强化学习的算法，用于对齐预测与参考推理步骤，在执行证据一致性的同时实现灵活的推理轨迹。

统一的评估协议： 一套综合指标体系，用于衡量答案正确性、落地忠实度、步骤对齐度和视觉证据依赖度。

4. 实验结果

该方法在开源 VLM 主干网络（Qwen2.5-VL-3B 和 SmolVLM-2.2B）上，针对域内和分布外 (OOD) 基准测试进行了评估。

域内性能： 对于 SmolVLM-2.2B 主干网络，H-GRPO 在 A-OKVQA 和 Visual7W 上取得了最佳结果（分别为 73.4% 和 77.2%），优于标准的 SFT 和原始 GRPO。对于 Qwen2.5-VL-3B，H-GRPO 匹配或略微超过了 SFT/GRPO 的性能，尤其是在 Visual7W 上。
分布外泛化能力： H-GRPO 在空间和几何推理任务中展示了卓越的泛化能力。它在 RealWorldQA、RoboSpatial (70.2%) 和 MMStar 上取得了最高分。在 MMMU 上的提升较为温和，这表明该方法对于视觉落地任务最为有效，而非纯粹的知识密集型推理。
可解释性： 通过 LLM-as-a-Judge 进行评估，H-GRPO 的推理轨迹在所有维度（相关性、连贯性、一致性、清晰度、可解释性）上得分最高，显著优于 R1-VL、ViGoRL 和 Reason-RFT。
定性分析： 示例显示，模型能够成功地将类别级、空间和动作推理锚定在特定的图像区域（例如，通过白色夹克和食物柜台识别厨师），从而降低了无根据幻觉的风险。

5. 重要性与主张

论文声称 H-GRPO 解决了推理准确性与落地忠实度之间的权衡问题。通过强制要求每一个中间逻辑步骤都必须锚定在特定的视觉区域，该框架生成的推理路径具有以下特点：

可验证性： 人类和奖励函数可以检查每个步骤的视觉证据。
忠实性： 最终答案是经过验证的视觉事实的逻辑结果，而非统计学上的猜测。
灵活性： 置换不变性奖励允许多样化的有效推理顺序，避免了因仅仅遵循与参考序列不同的顺序而受到惩罚。

作者指出，虽然 H-GRPO 显著提高了定位密集型和空间推理任务的性能，但它并不能完全弥补抽象或科学推理（如 MMMU）所需的领域知识差距。他们得出结论，未来的工作必须将接地监督扩展到符号、图表及长上下文多模态推理，以充分实现基于证据的视觉演绎潜力。