技术摘要：提升多模态 RLVR 的泛化鲁棒性

1. 问题陈述

本文探讨了通过可验证奖励强化学习（RLVR）微调的多模态大语言模型（MLLM）中存在的提示词鲁棒性差距（prompt-robustness gap）。虽然 RLVR 通过针对确定性信号（如正则表达式匹配或符号验证）进行优化，显著提高了标准基准测试的准确率，但这些增益是脆弱的。作者观察到，仅仅通过改写问题或改变提示词模板，就会导致性能大幅下降，使得模型在处理高风险部署场景（如医疗或法律领域的视觉问答 VQA）时变得不可靠。

作者在标准的 RLVR 目标函数中识别出两个根本原因：

1. 奖励纠缠（Reward Entanglement）： 标准的二元验证器（例如 $V = V_f \cdot V_c$）将格式合规性（$V_f$）与语义正确性（$V_c$）混为一谈。零奖励无法区分模型是由于未能理解任务而失败，还是仅仅因为未能遵循输出格式而失败。这导致了信息性奖励方差的损失，特别是在格式合规性较高时，会导致梯度信号偏向于特定模板的行为，而非通用的推理能力。
2. 提示词依赖（Prompt Dependency）： 标准 RLVR 在固定的训练分布（$P_{train}$）上进行优化。理论分析（命题 B.5）表明，该目标函数是不可识别的：那些在训练模板上表现完美但在未见过的语义等价提示词上失败的策略，可以获得相同的训练奖励。因此，模型学会了利用特定的提示词模板，而不是学习提示词不变的推理能力。

2. 方法论：提示词不变 RLVR (PIRL)

为了解决这些问题，作者提出了提示词不变 RLVR (PIRL)，它实现了两个设计条件：奖励分解 (C1) 和 不变性控制 (C2)。

2.1. 动态三元奖励 (DTR)

为了满足奖励分解，PIRL 使用动态三元奖励取代了标准的二元验证器：
$$R = R_t + \alpha_{rew} R_s$$

• $R_t$（格式感知三元验证器）： 对于格式正确的正确答案赋予 $+1$，对于格式正确的错误答案赋予 $0$，对于格式失败赋予$-1$。这实现了格式合规性与语义正确性的解耦。
• $R_s$（语义得分）： 一个有界的语义得分（源自 NLI 分数器），在格式桶内提供方差。即使格式正确，$R_s$ 也能区分语义正确程度的差异。
• 解耦优势归一化 (DAN)： 为了防止语义得分的缩放比例在组归一化过程中主导三元信号，作者建议在每个 Rollout 组内分别对 $R_t$ 和 $R_s$ 进行 z-score 标准化，然后再进行组合。

2.2. 嵌入空间对抗者与一致性正则化

为了满足不变性控制，PIRL 引入了一个对抗训练循环：

• 对抗智能体（Adversarial Agent）： 对抗者在有界 $\ell_2$ 球内（$\|\delta\|_2 \le \epsilon_{emb}$）扰动指令 Token 嵌入。这模拟了在不改变视觉输入或地面真值答案的情况下，对指令进行最坏情况下的重写。对抗者的目标是最小化策略的期望 DTR 奖励。
• 一致性正则化： 为了确保策略在这些扰动下不会崩溃，引入了一致性损失。该损失最小化了策略在原始提示词与对抗性（受扰动）提示词下的 Token 分布之间的 Kullback-Leibler (KL) 散度。这作为一种可处理的替代方案，用于强制执行跨语义等价类的答案级不变性。

2.3. 训练目标

整体目标结合了裁剪后的 GRPO 损失（使用经 DAN 归一化的 DTR 优势函数）与一致性惩罚项：
$$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$$
其中 $\bar{q}$ 代表通过投影上升法生成的冻结对抗样本。

3. 核心贡献

1. 识别提示词鲁棒性差距： 本文正式揭示了标准 RLVR 会导致对提示词格式的过拟由于，从而产生了一个差距：尽管训练准确率很高，但模型在面对改写后的提示词时性能会发生退化。
2. 理论形式化： 作者将提示词鲁棒性形式化为对语义等价类上的优化。他们证明了标准二元奖励会导致奖励方差偏差，且训练目标在提示词不变策略方面存在不可识别性。
3. PIRL 框架： 他们提出了一个具体的实现方法 (PIRL)，通过 DTR 实现奖励分解，并通过嵌入空间对抗者和一致性正则化实现不变性控制。
4. 实验验证： 在 Exam、Medical 和 Legal VQA 基准测试上的广泛实验表明，与标准 GRPO 和多模板基准相比，PIRL 显著减少了压力测试下的性能下降。

4. 实验结果

作者在三个领域对 Qwen2.5-VL-7B 和 Qwen3-VL-8B 进行了 PIRL 评估：

• 模板压力测试 (T-Stress)： 模型在具有不同数量未见模板（$N=1$ 到 $15$）的提示词下进行测试。
  • 标准 GRPO 显示出显著的退化（例如，Qwen2.5 在 MathVista 上 $\Delta T \approx -4.4\%$）。
  • PIRL 保持了稳定性，通常表现为正向变化或微乎其微的下降（例如，Qwen2.5 在 MathVista 上 $\Delta T \approx +0.3\%$）。
  • PIRL 优于多模板 (GRPO-MT) 基准，后者仅部分缓解了该问题。
• 动态评估 (D-Test)： 使用基于算子的变体（改写、布局变化等）。
  • 与 GRPO 和 GRPO-MT 相比，PIRL 在所有基准测试中始终实现了最小的平均性能下降。
  • 在高风险领域（医疗和法律），PIRL 保留了准确率，而 GRPO 则显著退化（例如，在 PathVQA 上，GRPO 下降了 $-6.7\%$，而 PIRL 仅下降了 $-0.8\%$）。
• 消融研究： 全部的 PIRL 配置（MT + ADV + DTR）取得了最佳结果。虽然消融实验在所有指标上并未明确隔离出 DTR 或对抗者相对于多模板基准的个体必要性，但两者的结合提供了最稳健的性能，且没有检测到明显的成本增加。

5. 重要性与主张

本文声称 PIRL 恢复了 RLVR 微调模型的鲁棒性，使其达到与基座模型相当甚至更好的水平，有效地弥合了提示词鲁棒性差距。

• 可靠性： 该方法对于医疗、法律等高风险领域尤为重要，因为在这些领域，模型无法处理重写指令的能力使其无论原始准确率如何都显得不可靠。
• 机制： 这项工作表明，RLVR 的脆弱性并非强化学习的固有局限，而是奖励纠缠和训练覆盖范围有限的结果。通过解耦格式与语义并强制执行不变性，模型学会了跨语义等价类进行泛化，而非记忆模板。
• 审慎性： 作者承认，鲁棒性并不保证正确性（一个稳定的模型仍可能自信地犯错），并且他们提出的不变性目标是全语义等价类的一个可处理的松弛（在嵌入空间而非离散 Token 空间进行操作）。他们将 PIRL 定位为一种支持而非取代关键领域专家判断的方法。