技术摘要：超越模式崩溃：面向多样化推理的分布匹配

1. 问题陈述

本文指出，模式崩溃（mode collapse）是在策略强化学习（RL）方法中的一个根本性局限，特别是那些用于通过可验证奖励强化学习（RLVR）训练大型推理模型（LRMs）的方法。虽然像组相对策略优化（GRPO）这样的方法在数学解题和代码生成方面取得了成功，但它们表现出一种倾向：一旦发现高奖励轨迹，便将概率质量集中在单一轨迹上。这种行为抑制了替代解决方案策略，阻碍了探索，并导致脆弱的推理，使其无法泛化。

作者认为，这种现象不仅仅是实现上的瑕疵，而是优化目标的直接后果：标准的在策略 RL 隐式地最小化反向 Kullback-Leibler (KL) 散度（$D_{KL}(\pi_\theta \| p^*)$）。反向 KL 本质上是“寻模”的，它会放大遇到的第一个成功轨迹，而不是维持对多个多样化高奖励解的分布。相比之下，前向 KL 散度（$D_{KL}(p^* \| \pi_\theta)$）表现出“覆盖模式”的行为，鼓励策略匹配目标分布的完整支撑集，但它通常难以处理，因为它需要从全局奖励加权分布中进行采样。

2. 方法论：DMPO

为了在不依赖难以处理的全局采样的情况下解决模式崩溃问题，作者提出了分布匹配策略优化（DMPO）。

核心洞察

DMPO 在组级别而非全局级别近似前向 KL 最小化。该算法不是从全局目标分布中采样，而是针对给定提示的一组采样轨迹构建目标分布。

算法公式

1. 组级别目标分布：对于从当前策略 $\pi_{\theta_{old}}$ 采样的一组 $G$ 条轨迹 $\mathcal{O} = \{o_1, \dots, o_G\}$，构建一个与它们奖励的指数成正比的目标分布 $p(o_i | \mathcal{O})$（即玻尔兹曼分布）：
   $$p(o_i | \mathcal{O}) = \frac{\exp(r(o_i)/\alpha)}{\sum_{j=1}^G \exp(r(o_j)/\alpha)}$$
   这在计算上是可行的，因为它只需要组级别的配分函数。

2. 组级别策略分布：为了使策略与该目标对齐，该方法定义了一个基于长度归一化对数似然的策略分布 $q_\theta(o_i | \mathcal{O})$，以解决轨迹长度偏差：
   $$q_\theta(o_i | \mathcal{O}) = \frac{\exp(\varphi(o_i))}{\sum_{j=1}^G \exp(\varphi(o_j))}$$
   其中 $\varphi(o_i)$ 是每个 token 的平均对数概率。

3. 分布匹配损失：通过最小化 $q_\theta$ 与 $p$ 之间的散度来使策略与目标对齐。作者使用**均方误差（MSE）**代替 KL 散度以获得数值稳定性，防止当策略概率接近零时梯度爆炸：
   $$\mathcal{L}_{DM}(\theta) = \frac{1}{G} \sum_{i=1}^G (p(o_i | \mathcal{O}) - q_\theta(o_i | \mathcal{O}))^2$$

4. 统一目标：最终目标将标准的 GRPO 奖励最大化项与分布匹配正则化相结合：
   $$\mathcal{L}_{DMPO}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda \mathcal{L}_{DM}(\theta)$$
   这里，$\mathcal{L}_{GRPO}$ 驱动利用（奖励最大化），而 $\mathcal{L}_{DM}$ 通过防止策略在高奖励区域内崩溃到单一模式来强制探索。

3. 主要贡献

A. DMPO 算法

本文提出了 DMPO 作为解决模式崩溃的原则性、实用方案。通过在组级别近似前向 KL，它在不需要学习配分函数或全局采样的情况下实现了覆盖模式的行为。该方法与现有的 GRPO 框架兼容，仅需添加一个正则化项。

B. MM-NP-Bench

作者引入了MM-NP-Bench，这是一个旨在严格评估推理模型中探索能力的多模态基准。

• 范围：它将基于文本的 NP-Bench 扩展为包含 10 个 NP 难组合优化任务的视觉表示（例如 TSP、图着色、顶点覆盖）。
• 双指标评估：为了使模式崩溃可观察，该基准使用两个指标：
  • 成功率（SR）：衡量约束满足情况（可行性）。
  • 质量比率（QR）：衡量相对于启发式基线的优化质量。
  • 意义：模式崩溃表现为高 SR 但低 QR（找到有效但次优的解）。
• 基础设施：包括参数化生成器、基于规则的验证器和启发式求解器，以提供接近最优的基线。

C. 实证验证

本文提供了广泛的实验，证明 DMPO 在多个领域优于强大的基线（GRPO、GSPO、GPG、FlowRL 等）。

4. 结果

优化任务上的性能

• MM-NP-Bench（多模态）：DMPO 实现了 43.1% 的质量比率，比 GRPO（38.4%）相对提高了 12%。它还实现了最高的成功率（61.9% 对比 55.7%）。
• NP-Bench（纯文本）：DMPO 实现了 43.9% 的质量比率，比 GRPO（40.1%）相对提高了 9%。
• 消融实验：该方法对超参数选择表现出鲁棒性（$\lambda \in [0.3, 0.7]$ 和 $\alpha \in [0.8, 1.2]$）。

泛化与迁移

• 数学推理：在优化任务上使用 DMPO 训练，与 GRPO 相比，在数学推理基准（AIME、AMC 等）上的性能提高了 2.0%。
• 域外任务：DMPO 在域外视觉推理基准（LogicVista、MathVista 等）上表现出 2.3% 的提升，表明保留多样性的训练增强了通用推理能力。

训练动态

对训练日志的分析显示，虽然 GRPO 遭受“长度崩溃”（退化为简短、琐碎的响应）和过早的奖励平台期，但 DMPO 保持了持续的改进并保留了稳健的推理链（约 400 个 token）。DMPO 保持了比 GRPO 更低的熵，表明这是一种“结构化多样性”（自信地执行不同的逻辑策略），而不是随机混乱。

5. 意义与主张

本文主张将分布匹配确立为一种实用且原则性的方法，以防止在策略 RL 中的模式崩溃。作者认为：

1. 根本原因识别：RLVR 中的模式崩溃根本上是由反向 KL 最小化的寻模性质引起的。
2. 可行方案：传统上被认为难以处理的前向 KL 最小化，可以通过在组级别进行有效近似来保留解的多样性。
3. 普遍益处：在特定优化任务训练期间保留多样性，会转化为通用推理能力的提升，这表明探索是大型推理模型中稳健推理的关键组成部分。

这项工作将 DMPO 定位为不仅仅是多样性正则化器，而是一种能够发现寻模目标所遗漏的更高质量解的机制，从而提升优化性能以及跨模态推理的稳健性。