Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLMReward Models

Resumen Técnico: Rationale Matters (Proxy-GRM)

1. El Problema

Los Modelos de Recompensa Generativos (GRMs) para Modelos de Lenguaje y Visión (VLM) evalúan las salidas mediante un pipeline de tres etapas: generación de una rúbrica (criterios de evaluación), puntuación basada en esos criterios y un veredicto final. Sin embargo, existe un problema fundamental en el entrenamiento actual de estos modelos:

• Falta de supervisión intermedia: Los métodos existentes optimizan exclusivamente el veredicto final (la respuesta preferida), dejando la generación de la rúbrica intermedia completamente no supervisada.
• Racionalización post-hoc: Como resultado, los modelos tienden a generar rúbricas que simplemente justifican una respuesta predeterminada en lugar de guiar una evaluación principista. Estas rúbricas suelen ser vagas, incompletas o sesgadas.
• Limitaciones de "LLM como Juez": El enfoque común de usar un LLM externo para verificar la calidad de la rúbrica es computacionalmente costoso y, más críticamente, no proporciona una señal diferenciable para el entrenamiento por refuerzo (RL), dejando el ciclo de retroalimentación abierto.
• Baja transferibilidad: Las rúbricas generadas a menudo no son útiles para evaluadores independientes o en diferentes distribuciones de tareas.

2. Metodología: Proxy-GRM

Los autores proponen Proxy-GRM, un marco de entrenamiento que introduce un agente proxy para verificar la calidad de la rúbrica y cerrar el ciclo de retroalimentación durante el entrenamiento por refuerzo.

Componentes Clave:

1. Definición de Transferibilidad: Una rúbrica se considera "transferible" si un evaluador independiente, utilizando solo esa rúbrica (sin ver la generación original), puede llegar al mismo veredicto de preferencia correcto.
2. Entrenamiento del Agente Proxy:
   • Se entrena un agente ligero (Proxy) que consume rúbricas pero no las genera.
   • Proxy-SFT: Se entrena mediante Supervised Fine-Tuning (SFT) para seguir fielmente una rúbrica dada y predecir la preferencia correcta.
   • Proxy-RL: Se entrena mediante RL sobre el checkpoint de SFT para mejorar la robustez.
   • Hallazgo crucial: Los autores descubren que Proxy-SFT supera a Proxy-RL como verificador, sugiriendo que el RL optimizado solo para el resultado final puede degradar la fidelidad del proceso de evaluación.
3. Entrenamiento del Modelo de Política (GRM):
   • Fase 1 (Cold-Start): SFT inicial para aprender el formato estructurado (<rubric>, <eval>, <answer>).
   • Fase 2 (RL con Guía Proxy): Se utiliza el algoritmo GRPO (Group Relative Policy Optimization) con una función de recompensa compuesta:
     • $r_{acc}$: Recompensa por el veredicto final correcto.
     • $r_{format}$: Recompensa por el formato XML correcto.
     • $r_{proxy}$: Recompensa de calidad de rúbrica. Se pasa la rúbrica generada al agente proxy congelado. Si el proxy logra predecir la preferencia correcta usando solo esa rúbrica, se otorga una recompensa positiva.
   • El agente proxy permanece congelado durante el entrenamiento de la política, actuando como un juez independiente.

3. Contribuciones Clave

• Identificación de la Transferibilidad: Se destaca la transferibilidad de la rúbrica como una dimensión crítica y poco explorada de la calidad de los GRMs multimodales.
• Marco de Cierre de Bucle (Closed-Loop): Se propone Proxy-GRM, que integra un verificador externo (proxy) directamente en el ciclo de RL, superando la limitación de "caja negra" de los métodos actuales.
• Descubrimiento sobre Agentes de Verificación: Se demuestra empíricamente que los agentes entrenados con SFT (Proxy-SFT) son mejores verificadores que aquellos entrenados con RL (Proxy-RL), revelando una tensión entre la optimización de resultados y la fidelidad del proceso.
• Eficiencia de Datos: El método logra resultados de vanguardia utilizando solo ~50k muestras de entrenamiento, lo que es aproximadamente 4 veces menos que los métodos comparables (que suelen usar >200k muestras).

4. Resultados Experimentales

El modelo fue evaluado en tres benchmarks líderes: VL-RewardBench, Multimodal Reward Bench y MM-RLHF-Reward Bench.

• Rendimiento General: Proxy-GRM (con Proxy-SFT) alcanza el estado del arte (SOTA) en todos los benchmarks.
  • En VL-RewardBench: 75.22% de precisión global (superando a Unified-Reward-Think en 1.42 puntos y a R1-Reward en 3.30 puntos).
  • En Multimodal Reward Bench: 85.62% (superando a R1-Reward en 3.42 puntos y a modelos propietarios como GPT-4o y Claude-3.7).
• Transferibilidad: Las rúbricas generadas por Proxy-GRM mejoran significativamente la precisión de evaluadores externos no vistos (como Qwen2.5-VL-32B o Unified-Reward-SFT) sin necesidad de reentrenar esos evaluadores.
• Análisis de Configuración:
  • La agregación implícita de recompensas (suma simple) funciona mejor que las modificaciones explícitas de la recompensa de precisión basadas en el proxy.
  • Combinar múltiples agentes proxy (ensambles) degradó el rendimiento debido a señales de recompensa conflictivas y ruido; un solo agente proxy bien calibrado es superior.
  • El tamaño del proxy importa: Agentes muy pequeños (3B) introducen ruido, mientras que los especializados (Proxy-SFT 7B) superan a modelos mucho más grandes (32B) en esta tarea específica.

5. Significado e Impacto

Este trabajo cambia el paradigma de cómo se entrenan los modelos de recompensa generativos:

1. De la Racionalización a la Verificación: Pasa de generar justificaciones post-hoc a generar criterios de evaluación verificables e independientes.
2. Eficiencia: Demuestra que la calidad de la señal de entrenamiento (verificación de proceso) es más importante que simplemente escalar la cantidad de datos.
3. Interpretabilidad y Confiabilidad: Al optimizar para que las rúbricas sean útiles para otros agentes, se obtienen criterios de evaluación más robustos, menos sesgados y más aplicables a tareas complejas y abiertas, mejorando la alineación de los VLMs con las preferencias humanas.

En resumen, Proxy-GRM establece que "la racionalización importa" (Rationale Matters), demostrando que optimizar explícitamente la calidad y transferibilidad de los criterios intermedios es esencial para construir sistemas de recompensa multimodales fiables y eficientes.