DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

1. 研究背景与问题 (Problem)

核心痛点：
尽管多模态大语言模型（MLLMs）在图像描述、视觉问答等宏观任务上表现优异，但在**细粒度视觉感知（Fine-grained Visual Perception）和精确的空间推理（Precise Spatial Reasoning）**方面仍存在显著局限。

• 现有模型的缺陷： 即使是最先进的 MLLM 也往往忽略细微的视觉线索，如小物体的变化、颜色的微调、物体的缺失或属性的改变。
• 现有方法的不足：
  • 监督数据稀缺： 传统的视觉定位（Visual Grounding）数据集（如 RefCOCO）依赖昂贵的人工标注，难以大规模扩展。
  • 代理任务局限性： 现有的辅助任务（如视觉拼图、幻觉检测）未能显式地针对细粒度感知进行设计，导致模型对细节不敏感。
  • 强化学习（RL）的挑战： 直接利用 RL 优化感知任务时，由于差异信号极其稀疏（模型初期很难找到任何差异），奖励信号容易坍缩至零，导致训练不稳定。

研究目标：
提出一种可扩展的框架，通过“差异定位”任务，强制模型学习识别和定位图像对之间的细微差异，从而提升其细粒度感知能力。

---

2. 方法论 (Methodology)

论文提出了 DiG (Differential Grounding) 框架，包含四个核心组件：

2.1 任务定义 (Problem Formulation)

• 输入： 一对高度相似的图像（$I_a$ 为参考图，$I_b$ 为修改图）以及文本指令。
• 任务： 模型需识别并定位两幅图像间所有的视觉差异（如物体增减、属性改变），输出对应的边界框（Bounding Boxes）。
• 关键约束： 模型不需要预先知道差异的数量，必须自主推断。

2.2 自动化数据构建流水线 (Data Construction Pipeline)

为了解决数据稀缺和标注成本问题，作者开发了一个基于 3D 渲染（Blender） 的自动化数据生成管道：

• 程序化生成： 通过 JSON 配置文件定义场景中的物体（形状、颜色、材质、大小、位置）。
• 可控差异： 随机采样 $K$ 个物体进行修改（添加、移除、属性变更），生成成对的图像 $(I_a, I_b)$。
• 完美标注： 由于修改是在 3D 空间中程序化定义的，渲染引擎可直接提取精确的 2D 投影作为 Ground Truth 边界框，完全无需人工标注。
• 可扩展性： 可通过增加差异数量上限 $N$ 来灵活调整任务难度。

2.3 奖励建模与策略优化 (Reward Modeling & Policy Optimization)

采用 GRPO (Group Relative Policy Optimization) 进行强化学习，设计了包含三个部分的奖励函数：

1. 格式奖励 ($r_{format}$)： 确保输出为可解析的 JSON 边界框列表（如 [[x1, y1, x2, y2], ...]）。
2. 准确性奖励 ($r_{acc}$)：
   • 检测完整性 (F1 Score)： 基于匈牙利算法（Hungarian Algorithm）进行预测框与真值框的匹配，计算查准率和查全率。
   • 空间精度 (IoU)： 计算匹配框的广义交并比（GIoU）。
   • 公式：$r_{acc} = \lambda_1 F1 + \lambda_2 IoU$。
3. 总奖励： $r = (1-\alpha)r_{acc} + \alpha r_{format}$，平衡格式正确性与感知质量。

2.4 课程学习策略 (Curriculum Learning)

针对差异信号稀疏导致的训练不稳定问题，提出了分阶段的课程学习策略：

• 阶段 1 (单差异)： 仅包含 1 个差异的样本，提供密集反馈，帮助模型建立基础定位能力。
• 阶段 2 (双差异)： 包含 2 个差异，提升组合推理能力。
• 阶段 3 (混合差异)： 包含 1 到 4 个不等的差异，且不告知差异数量，迫使模型进行真正的推断和泛化。
• 效果： 这种由简入繁的调度将奖励景观从稀疏引导至密集，实现了稳定的优化收敛。

---

3. 主要贡献 (Key Contributions)

1. DiG 框架： 提出了一种新颖的“差异定位”代理任务框架，通过让模型寻找图像对间的差异，有效增强了 MLLM 的细粒度空间感知能力。
2. 自动化数据管道： 构建了基于 3D 渲染的可扩展数据生成系统，能够大规模生产高质量、差异可控的图像对及完美标注，解决了数据瓶颈。
3. 课程学习优化： 设计了针对稀疏奖励信号的课程学习策略，解决了强化学习在细粒度感知任务中难以收敛的问题。
4. 广泛的性能提升： 证明了该方法不仅提升了定位任务，还显著增强了模型在通用多模态基准上的推理和感知能力。

---

4. 实验结果 (Results)

作者在 Qwen3-VL (4B 和 8B) 模型上进行了广泛实验，结果显著：

• 视觉感知基准 (Perception Benchmarks)：
  • 在 HalBench、HRBench-8K、POPE、V* 等多个基准上，DiG 微调后的模型均取得提升。
  • 例如，Qwen3-VL-8B 在 HalBench 上提升了 +3.4，在 V* 上提升了 +2.1。
• 通用多模态基准 (General Benchmarks)：
  • 在 MMBench、MMStar、ScienceQA 等任务上表现优异。
  • Qwen3-VL-4B 在 MMStar 上提升了 +3.5，在 ScienceQA 上提升了 +2.3。
  • 这表明细粒度感知能力的提升能有效迁移到高层推理任务中。
• 视觉定位基准 (Grounding Benchmarks)：
  • 在 RefCOCO、RefCOCO+、RefCOCOg 数据集上，DiG 模型在 IoU@50/75/95 等指标上均优于基线模型。
  • 8B 模型在 RefCOCO 测试集上平均提升了约 2-3 分。
• 消融实验 (Ablation Study)：
  • 课程学习： 逐步增加难度的训练策略（DiG-1 -> DiG-2 -> DiG-Mix）带来了持续的性能增益，证明了课程调度的有效性。
  • 奖励组件： 结合 IoU 和 F1 的混合奖励优于单一指标，证明了空间精度和检测完整性同样重要。

---

5. 意义与总结 (Significance)

• 填补了感知鸿沟： DiG 成功弥合了 MLLM 在“高层语义理解”与“低层视觉感知”之间的鸿沟，使模型不仅能“看懂”场景，还能“看清”细节。
• 可扩展的范式： 通过 3D 渲染生成数据和课程学习策略，DiG 提供了一种可扩展、低成本且鲁棒的解决方案，无需依赖昂贵的人工标注即可训练高精度的感知模型。
• 通用性： 实验证明，通过差异定位任务学到的细粒度感知技能具有极强的迁移性，能显著提升模型在各类下游任务（从物体定位到复杂推理）中的表现。
• 未来方向： 这项工作为构建更具备“感知对齐（Perceptually Aligned）”能力的多模态智能体提供了新的思路，即通过可验证的代理任务来强化模型的底层感知能力。

总结： DiG 通过“找不同”这一看似简单的任务，结合自动化数据生成和课程强化学习，成功解决了 MLLM 细粒度感知不足的难题，显著提升了模型在视觉定位、空间推理及通用多模态理解方面的性能。