论文技术总结：Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLM Reward Models

1. 研究背景与问题 (Problem)

背景：
视觉语言模型（VLM）在生成式任务中日益普及，如何可靠地评估和引导其输出质量成为核心挑战。传统的标量奖励模型（Scalar Reward Models）虽然高效，但缺乏可解释性。为此，生成式奖励模型（Generative Reward Models, GRMs）应运而生，它们通过生成自然语言批评（Critique）和偏好判决来评估输出。典型的 GRM 输出结构包含三个部分：

1. Rubric (R)：评估标准/准则。
2. Evaluation (E)：基于准则的详细评估。
3. Answer (A)：最终的偏好判决（如选择回答 1 或 2）。

核心问题：
现有的 GRM 训练方法通常存在以下缺陷：

• Rubric 质量被忽视：训练过程仅优化最终的判决结果（Answer），中间的 Rubric 生成步骤完全无监督且未经验证。这导致模型可能生成看似合理但实际上是“事后合理化”（Post-hoc rationalization）的 Rubric，即为了凑出预设答案而编造理由，缺乏真正的指导意义。
• 缺乏可转移性：生成的 Rubric 往往无法被独立的评估者（或不同模型）理解并复现正确的判断，导致泛化能力差。
• 现有解决方案的局限：
  • LLM-as-a-Judge：使用外部大模型评分 Rubric 质量。但这计算成本高，且评分信号不可微（Non-differentiable），无法直接用于强化学习（RL）的闭环训练。
  • 缺乏闭环验证：Rubric 的质量在训练过程中是一个“黑盒”，无法通过梯度信号进行优化。

核心问题陈述：能否引入一个独立的代理（Proxy）来验证 Rubric 的可转移性，并将此验证信号整合到 RL 训练闭环中，从而显式地提升 Rubric 的质量？

---

2. 方法论 (Methodology)

作者提出了 Proxy-GRM 框架，通过引入**代理引导的 Rubric 验证（Proxy-Guided Rubric Verification）**机制，将 Rubric 质量优化纳入强化学习循环。

2.1 核心定义：Rubric 可转移性 (Rubric Transferability)

一个 Rubric 被认为是“可转移”的，如果独立的评估代理（Proxy Agent）仅根据该 Rubric、原始查询和候选回答，就能做出与人类偏好一致的正确判断。

• 形式化定义：$Transferability(R) = 1[\phi(q, I, r_1, r_2, R) = A^*]$，其中 $\phi$ 是代理模型，$A^*$ 是真实偏好。

2.2 训练流程

整个框架分为两个主要阶段：

阶段一：代理模型训练 (Proxy Agent Training)

训练一个专门用于消费（而非生成）Rubric 的轻量级代理模型。

• 输入：原始查询、图像、候选回答对、以及外部提供的 Rubric。
• 输出：基于 Rubric 的评估和最终判决（不生成新的 Rubric）。
• 两种变体：
  1. Proxy-SFT：基于高质量标注数据进行的监督微调（SFT）。让模型学会忠实遵循给定的 Rubric 进行判断。
  2. Proxy-RL：在 SFT 基础上，使用二元准确率（预测判决是否正确）作为奖励信号进行强化学习，增强鲁棒性。
• 关键发现：实验表明，Proxy-SFT 的表现优于 Proxy-RL。这是因为仅基于最终结果的 RL 可能导致代理模型内部推理过程不一致，而 SFT 能更好地保留过程的一致性。

阶段二：策略模型训练 (Policy Model Training - Proxy-GRM)

训练生成式奖励模型（策略模型 $\pi_\theta$），使其生成高质量的 Rubric 和判决。

• 冷启动 (Cold-Start)：使用 SFT 初始化策略模型，学习结构化输出格式。
• 强化学习 (RL)：使用 GRPO (Group Relative Policy Optimization) 算法，采用复合奖励函数：
  $$r = r_{acc} + r_{proxy} + 0.5 \cdot r_{format}$$
  • $r_{acc}$ (准确率奖励)：策略模型的最终判决是否正确。
  • $r_{proxy}$ (代理奖励)：核心创新点。将策略生成的 Rubric 传递给**冻结（Frozen）**的代理模型。如果代理模型能根据该 Rubric 做出正确判决，则给予正奖励；否则给予负奖励。这迫使策略模型生成“可被独立验证”的 Rubric。
  • $r_{format}$ (格式奖励)：确保输出符合 XML 标签结构。

2.3 推理模式

• 标准模式：直接使用策略模型的输出。
• 代理验证模式：策略生成 Rubric 后，由代理模型复核。若两者一致，则高置信度接受；若不一致，可记录用于分析（尽管最终仍使用策略模型的判决，因为代理也可能犯错）。

---

3. 主要贡献 (Key Contributions)

1. 提出 Rubric 可转移性概念：首次将 Rubric 的可转移性（即独立评估者能否复现判断）作为多模态 GRM 质量的关键维度，并提出了基于代理的验证方案。
2. 构建 Proxy-GRM 闭环框架：设计了将独立代理验证信号整合到 RL 训练循环中的方法，解决了传统"LLM-as-a-Judge"无法提供可微分训练信号的问题。
3. 揭示 SFT 优于 RL 的代理训练规律：发现用于验证 Rubric 的代理模型，采用 SFT 训练（Proxy-SFT）比采用 RL 训练（Proxy-RL）效果更好。这揭示了在过程级评估任务中，保持推理过程的一致性比单纯优化最终结果更重要。
4. 数据高效性与 SOTA 性能：仅使用约 50k 训练样本（约为同类方法的 1/4），在多个基准测试中取得了最先进（SOTA）的结果。
5. 验证了 Rubric 的泛化能力：生成的 Rubric 能够有效地迁移到未见过的评估模型上，无需额外训练即可提升评估精度。

---

4. 实验结果 (Results)

4.1 基准测试表现

在三个主流多模态奖励模型基准上，Proxy-GRM (配合 Proxy-SFT) 均取得了最佳成绩：

• VL-RewardBench：整体准确率 75.22% (超越 Unified-Reward-Think 1.42%，R1-Reward 3.30%)。
• Multimodal Reward Bench：整体准确率 85.62% (超越 R1-Reward 3.42%，且大幅超越 GPT-4o 和 Claude-3.7 等闭源模型)。
• MM-RLHF-Reward Bench：整体准确率 82.94%。

4.2 数据效率

• 同类方法（如 R1-Reward, Unified-Reward）通常使用 >200k 样本训练。
• Proxy-GRM 仅使用 ~50k 样本（其中 5k 用于训练代理，45k 用于 RL），却实现了超越，证明了代理引导的验证信号比单纯堆砌数据更有效。

4.3 消融实验与分析

• 代理模型选择：Proxy-SFT (7B) 表现优于 Proxy-RL，甚至优于更大的 Qwen2.5-VL-32B 通用指令模型。专用训练（Specialized Training）比通用大模型更有效。
• 多代理集成：尝试集成多个代理（Ensemble）反而导致性能大幅下降（如从 75% 降至 62%），因为不同代理的评估标准不一致，导致奖励信号冲突和噪声。单一校准良好的代理最佳。
• 奖励配置：隐式的奖励累加（$r_{acc} + r_{proxy}$）优于显式修改准确率奖励的方案，后者会导致信用分配（Credit Assignment）混乱。
• 可转移性验证：将 Proxy-GRM 生成的 Rubric 提供给其他模型（如 Qwen-7B, Qwen-32B, Unified-Reward），这些模型在使用该 Rubric 后，评估准确率显著提升（例如 Unified-Reward-SFT 在 VL-RewardBench 上提升 3.76%），证明了 Rubric 真正具有通用指导意义。

---

5. 意义与影响 (Significance)

1. 解决“事后合理化”问题：通过强制 Rubric 必须能被独立代理验证，有效抑制了模型为了凑答案而编造理由的现象，提升了评估的诚实性和逻辑性。
2. 过程监督的新范式：将过程监督（Process Supervision）从数学推理领域扩展到多模态评估领域，证明了优化中间推理步骤（Rubric）对最终结果的重要性。
3. 可解释性与可靠性：生成的 Rubric 不仅服务于当前模型，还能作为通用的评估标准被其他模型使用，增强了 VLM 评估系统的透明度和可靠性。
4. 高效训练路径：为资源受限场景下训练高性能奖励模型提供了新思路，即通过“小数据 + 高质量验证信号”替代“大数据 + 黑盒优化”。

总结：Proxy-GRM 通过引入“代理验证”机制，成功将 Rubric 生成从黑盒优化转变为可验证、可转移的显式优化过程，显著提升了多模态奖励模型的性能和可靠性，且具备极高的数据效率。