技术摘要：ReGround

问题陈述

视觉语言模型（VLMs）在多步推理过程中经常遭受**视觉接地衰减（visual grounding decay）**的问题。随着推理链条的增长，模型的语言先验依赖度增加，而对图像 token 的注意力则逐渐减弱。作者发现了一个一致的退化特征：在对 2,510 个重新检查的样本进行分析时，图像 token 上的注意力熵在第一轮推理（Round 1）期间通常显著下降，并且在没有干预的情况下无法恢复。

虽然之前的研究已经记录了这种衰减现象，但仍存在一个关键空白：仅仅重新注入视觉证据并不能保证实现修正。本文认为，**诊断质量（diagnostic quality）**才是决定性因素。如果没有针对性的自我诊断，视觉重新检查可能会导致“有害的二次猜疑（harmful second-guessing）”，即模型可能会推翻正确的答案或无法从错误中恢复。相反，有效的重新检查既需要图像的重新注入，也需要具有意义且具针对性的诊断性提示（diagnostic cue）。

方法论：ReGround 框架

ReGround 是一个两阶段、无需工具（tool-free）的框架，旨在教导 VLM 自主诊断接地失败情况并选择性地重新检查视觉证据。它不需要架构修改或外部工具（如裁剪或缩放工具）。

第一阶段：冷启动监督微调（SFT）

该框架使用**序列化重新检查触发机制（sequential Re-examination Trigger）和视觉自我诊断（Visual Self-Diagnosis）**构建了一个专门的训练数据集：

1. 重新检查触发策略： 并非所有样本都需要重新检查。系统通过以下三个步骤过滤初始响应：

   • 是否正确？ 如果答案错误，则无条件触发重新检查。
   • 是否接地（Grounded）？ 如果答案正确，由评判模型（Qwen2.5-VL-72B）根据四个标准评估其推理是否真正具备视觉接地性：视觉属性覆盖度、替代选项排除、缺乏模棱两可的表述以及视觉锚定。正确但未接地的答案会触发重新检查。
   • 是否可验证？ 对正确且接地的答案应用随机触发器（$\epsilon$），以教会模型重新检查也可以作为一种验证手段。
   • 无 ReGround（No-ReGround）： 未通过随机触发检查的所有样本将被保留为单轮轨迹，以防止过度触发。

2. 视觉自我诊断与重新注入： 一旦触发，系统会在 <reground> 标签内生成一个诊断性提示。系统使用了三种信息重新注入模式：

   • 纠错（Correction）： 识别可能的视觉感知偏差，以重定向注意力。
   • 接地（Grounding）： 强制模型将推测性语言锚定到具体的空间坐标或元素上，而不透露答案。
   • 验证（Verification）： 全局性地重新注入图像，以双重检查逻辑链。

3. 能力引导（Capability Bootstrapping）： 在数据构建过程中，使用更强的模型变体（如 72B）生成诊断性提示。策略模型（如 7B）在 SFT 期间学习自主生成这些提示。训练完成后，丢弃较强的模型变体。

4. 轨迹格式化： 数据被格式化为多轮模板：初始推理 $\rightarrow$ <reground>（诊断 + 重新注入） $\rightarrow$ 修订后的推理 $\rightarrow$ 最终答案。

第二阶段：强化学习（GRPO）

使用**组相对策略优化（GRPO）**结合非对称奖励函数来校准触发行为，从而精炼策略：

• 重新接地奖励 ($R_{reg}$)： 奖励有效 <reground> 跨度结构的出现。
• 准确率奖励 ($R_{acc}$)： 奖励正确的最终答案，但包含一个负交互项。如果模型在不必要的场景下触发了重新检查，则会惩罚这种边际收益，从而抑制盲目猜测。
• 格式惩罚 ($R_{form}$)： 惩罚语法错误。

这种奖励塑造产生了一种非对称分布：最高的奖励分配给成功的恢复（重新接地 + 正确），而“盲目失败”（无重新接地 + 错误）则会被惩罚。这鼓励模型学习何时进行重新检查以及如何有效地利用重新检查。

核心贡献

1. 衰减与恢复的实证证据： 作者证明了在 98.0% 的推理步骤中注意力熵变窄，但在图像重新注入后，94.4% 的案例实现了恢复。
2. 诊断质量是瓶颈： 本文指出，通用的重新检查会降低性能，而针对性的自我诊断可以恢复由 Oracle（更强模型）提供的 79–90% 的增益。
3. 触发策略分析： 研究表明，过度触发会损害正确答案，而保守触发则会错失可恢复的增益。平衡的策略至关重要。
4. 实用的无需工具框架： ReGround 在无需外部工具或架构更改的情况下提升了多个基准测试的性能，仅依赖于图像重新注入和自我诊断。

实验结果

实验在八个基准测试（包括 MathVista, MathVision, MathVerse, HallusionBench, MMBench 等）上进行，使用了两种 VLM 主干网络（Qwen2.5-VL-7B 和 Qwen3-VL-8B）。

• 性能提升： 在 Qwen2.5-VL-7B 上，ReGround 在八个基准中的五个取得了最佳表现，在数学推理任务上提升显著（例如，MathVista +3.8，MathVerse +4.5），并在针对视觉幻觉的 HallusionBench 上实现了大幅提升（+6.8）。
• 跨主干网络迁移： 将相同的训练方案应用于 Qwen3-VL-8B，在所有八个基准测试中均获得了持续的收益，且无需重新调整超参数。
• 效率： 与基线相比，ReGround 带来的推理开销适中（总 token 数 1.62 倍，延迟 1.76 倍），但在速度和准确性方面均优于像 Thyme 这样的工具增强型基线。
• 消融实验：
  • 机制： 视觉重新注入是必不可少的；仅靠文本反思带来的收益微乎其微。
  • 数据构成： 移除“No-ReGround”样本会导致触发率飙升至约 85% 并降低准确率，证实了负面样本的必要性。
  • 提示质量： 通用提示（如“再看一遍”）可能会损害性能。针对性的自我诊断是关键变量。

重要性与主张

本文主张，诊断质量而非仅仅是重新检查视觉证据的行为本身，才是成功进行视觉自我修正的核心因素。ReGround 证明，只要经过高质量诊断性提示和平衡触发策略的训练，VLM 就可以学会自主识别何时失去了视觉接地，以及应该重新审视哪些特定的证据。

作者将 ReGround 定位为一种互补的、无需工具的机制，旨在解决多步推理中特有的“视觉接地漂移”失效模式。通过将诊断性引导与重新检查格式分离，这项工作表明，未来提升落地推理（grounded reasoning）的方向应侧重于增强模型自我诊断和针对特定视觉证据的能力，而非仅仅依赖外部工具或扩大模型规模。