All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

1. 研究背景与问题 (Problem)

背景：
近年来，强化学习（RL），特别是组相对策略优化（GRPO），在提升视觉 - 语言模型（VLMs）的推理能力方面表现出色。然而，RL 模型背后的机制及其局限性尚未被充分探索。

核心问题：
作者通过对比研究发现，RL 模型（如基于 GRPO 训练的模型）与基座模型（Base Models）在推理行为上存在根本性差异：

• RL 模型（收敛性思维）： 倾向于进行更深但更窄的推理。它们往往过早地收敛到单一的、主导的推理策略上，导致“多样性崩溃”（Diversity Collapse）。这使得模型容易陷入局部最优，且在面对复杂问题时缺乏替代方案，导致可扩展性（Scalability）差。
• 基座模型（发散性思维）： 虽然在单条路径上的推理不如 RL 模型精细，但它们表现出更广泛、更多样化的思维模式。在多次采样尝试下，基座模型往往能通过不同的推理路径解决更多问题。

具体痛点：
现有的 GRPO 算法在训练早期就会导致推理多样性急剧下降，模型迅速放弃潜在的替代策略，仅专注于优化少数几种策略。这限制了模型在测试时通过多路径探索（Test-time Scaling）来提升性能的能力。

---

2. 方法论 (Methodology)

为了解决 GRPO 的多样性崩溃问题，作者提出了 多组策略优化（Multi-Group Policy Optimization, MUPO）。

核心思想：
MUPO 旨在激励模型在多个解决方案之间进行发散性思维（Divergent Thinking），既保持对单个解决方案的深度优化，又维持多种策略的多样性。

具体技术细节：

1. 分组策略 (Partitioning)：

   • 将每个训练步骤生成的 $N$ 个响应（Responses）根据推理轨迹的嵌入空间（Embedding Space）划分为 $K$ 个组（Groups）。
   • 使用约束聚类算法，确保每个组代表一种独特的推理模式。

2. 局部优势估计 (Localized Advantage Estimation)：

   • 不同于 GRPO 全局计算优势（Advantage），MUPO 在每个组内部独立计算优势。
   • 目标函数由 $K$ 个独立的 GRPO 目标组成，每个组有自己的优势估计，防止大组主导优化过程。

3. 多样性奖励 (Diversity Reward)：

   • 引入一个额外的奖励项 $R_{div}$，鼓励不同组之间的推理轨迹保持距离（即增加组间分离度）。
   • 多样性奖励基于推理嵌入的余弦距离计算：$R_{div} = \text{Average Distance between groups}$。
   • 防奖励黑客（Reward Hacking）： 多样性奖励仅在准确性奖励（$R_{acc}$）为真（即回答正确）时才生效，确保模型不会为了多样性而牺牲正确性。

4. 动态权重调度 (Annealing Schedule)：

   • 多样性奖励的权重 $\lambda$ 采用余弦退火策略（Cosine Schedule）。
   • 训练初期： $\lambda$ 较高，鼓励广泛探索多种推理策略。
   • 训练后期： $\lambda$ 逐渐降低，使模型逐渐聚焦于发现全局最优解，实现从“探索”到“利用”的平滑过渡。

5. 负载均衡 (Load Balance)：

   • 引入权重系数 $w_k$ 来平衡不同组对总目标的贡献，防止样本量大的组主导优化。

---

3. 关键贡献 (Key Contributions)

1. 揭示了 RL 与基座模型的本质区别： 首次系统性地指出 RL 模型倾向于“深度但狭窄”的推理，而基座模型具备“广度且多样”的发散思维，且后者在多次尝试下具有更高的成功潜力。
2. 发现了 GRPO 的“多样性崩溃”现象： 通过训练动态分析，证明 GRPO 会导致模型在训练早期迅速收敛到狭窄的策略子集，导致局部最优和可扩展性受限。
3. 提出了 MUPO 算法： 设计了一种简单有效的策略优化算法，通过分组和多样性奖励机制，成功在强化学习框架中保留了发散性思维。
4. 实证效果显著： 在多个基准测试中，MUPO 模型不仅提升了单次推理的准确率（Acc@1），更显著提升了多采样下的性能（Acc@4），证明了其强大的测试时扩展能力。

---

4. 实验结果 (Results)

作者在 9 个推理基准（包括数学类如 MathVerse, MathVista 和通用类如 MMStar, HallusionBench）上进行了评估。

主要发现：

• 性能提升：
  • MUPO-Thinker-7B 在数学基准上的 Acc@1 平均提升了 2.5%，在通用基准上提升了 2.3%，超越了之前的最强基线（如 Vision-R1, VLAA-Thinker）。
  • MUPO-Thinker-3B 的表现甚至接近或超越了某些 7B 规模的基线模型。
• 测试时扩展能力 (Test-Time Scaling)：
  • 在 Acc@4（4 次采样取最优）指标上，MUPO-7B 在数学基准上比最强基线高出 6.0%，在通用基准上高出 6.2%。
  • 这表明 MUPO 模型能够生成更多样化的有效路径，显著提高了通过多次尝试解决问题的概率。
• 可视化分析：
  • t-SNE 投影： 显示 GRPO 模型的推理嵌入高度聚集（收敛），而 MUPO 模型呈现出多模态分布（发散），覆盖了更广阔的解空间。
  • 案例分析： 在几何题和物体计数任务中，GRPO 往往固执地采用一种易错策略（如逐个计数或复杂方程），而 MUPO 能灵活切换策略（如排除法、验证法），从而得出正确答案。

---

5. 意义与影响 (Significance)

• 理论突破： 挑战了“强化学习必然优于基座模型”的简单认知，指出了当前 RL 训练范式在多样性保持上的缺陷，为理解 VLM 的推理行为提供了新视角。
• 方法创新： MUPO 提供了一种“即插即用”的 GRPO 替代方案，无需复杂的架构修改，即可显著提升模型的推理广度和鲁棒性。
• 实际应用价值： 对于需要解决复杂、多解或高难度视觉推理任务的应用场景（如科学问答、复杂图表分析），MUPO 能够显著提高模型的可靠性和成功率，特别是在允许进行多次推理尝试的场景下。
• 未来方向： 该工作强调了在强化学习中平衡“探索（Exploration）”与“利用（Exploitation）”的重要性，为未来设计更智能的推理模型提供了重要参考。

总结： 这篇论文通过引入 MUPO 算法，成功解决了 Vision-Language Models 在强化学习训练中“多样性崩溃”的问题，使模型既能像专家一样深入思考，又能像人类一样多角度发散思考，从而在复杂推理任务中取得了新的 State-of-the-Art 成绩。