Resumen Técnico: Mejora de la Robustez de la Generalización en RLVR Multimodal

1. Planteamiento del Problema

El artículo aborda la brecha de robustez ante el prompt en los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) ajustados mediante Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Si bien el RLVR mejora significativamente la precisión en los benchmarks estándar al optimizar contra señales deterministas (por ejemplo, coincidencia de expresiones regulares o verificación simbólica), estas ganancias son frágiles. Los autores observan que el simple hecho de parafrasear una pregunta o alterar la plantilla del prompt puede causar una degradación aguda en el rendimiento, lo que hace que los modelos sean poco fiables para despliegues de alto riesgo (por ejemplo, VQA médico o legal).

Los autores identifican dos causas raíz dentro del objetivo estándar de RLVR:

1. Entrelazamiento de la Recompensa: Los verificadores binarios estándar (por ejemplo, $V = V_f \cdot V_c$) confunden el cumplimiento del formato ($V_f$) con la corrección semántica ($V_c$). Una recompensa de cero no puede distinguir entre un modelo que falló al comprender la tarea y uno que simplemente falló al seguir el formato de salida. Esto conduce a una pérdida de la varianza informativa de la recompensa, particularmente cuando el cumplimiento del formato es alto, causando que la señal del gradiente se sesgue hacia comportamientos específicos de la plantilla en lugar de un razonamiento general.
2. Dependencia del Prompt: El RLVR estándar optimiza sobre una distribución de entrenamiento fija ($P_{train}$). El análisis teórico (Proposición B.5) demuestra que este objetivo no es identificable: las políticas que funcionan perfectamente en las plantillas de entrenamiento pero fallan en prompts semánticamente equivalentes no vistos pueden alcanzar la misma recompensa de entrenamiento. En consecuencia, el modelo aprende a explotar plantillas de prompt específicas en lugar de aprender un razonamiento invariante al prompt.

2. Metodología: RLVR Invariante al Prompt (PIRL)

Para abordar estos problemas, los autores proponen el RLVR Invariante al Prompt (PIRL), que operacionaliza dos condiciones de diseño: Descomposición de la Recompensa (C1) e Invariancia de Control (C2).

2.1. Recompensa Trinar Dinámica (DTR)

Para satisfacer la Descomposición de la Recompensa, PIRL reemplaza el verificador binario estándar con una Recompensa Trinar Dinámica:
$$R = R_t + \alpha_{rew} R_s$$

• $R_t$ (Verificador Trinar Consciente del Formato): Asigna $+1$ para una respuesta correcta en el formato correcto, $0$ para una respuesta incorrecta en el formato correcto, y $-1$ para un fallo de formato. Esto desacopla el cumplimiento del formato de la corrección semántica.
• $R_s$ (Puntuación Semántica): Una puntuación semántica acotada (derivada de un evaluador NLI) que proporciona varianza dentro de los grupos de formato. Incluso si el formato es correcto, $R_s$ puede diferenciar entre grados de corrección semántica.
• Normalización de Ventaja Desacoplada (DAN): Para evitar que la escala de la puntuación semántica domine la señal trinar durante la normalización de grupo, los autores proponen realizar un z-scoring de $R_t$ y $R_s$ por separado dentro de cada grupo de ejecución antes de combinarlos.

2.2. Adversario en el Espacio de Incrustación y Regularización de Consistencia

Para satisfacer el Control de Invariancia, PIRL introduce un bucle de entrenamiento adversarial:

• Agente Adversario: Un adversario perturba las incrustaciones de los tokens de instrucción dentro de una bola $\ell_2$ acotada ($\|\delta\|_2 \le \epsilon_{emb}$). Esto simula el peor caso de reformulación de instrucciones sin alterar la entrada visual o la respuesta de verdad de campo (ground-truth). El adversario busca minimizar la recompensa DTR esperada de la política.
• Regularización de Consistencia: Para asegurar que la política no colapse bajo estas perturbaciones, se añade una pérdida de consistencia. Esta pérdida minimiza la divergencia de Kullback-Leibler entre las distribuciones de tokens de la política bajo el prompt limpio y el prompt adversarial (perturbado). Esto actúa como un sustituto tratable para imponer la invariancia de la respuesta a través de la clase de equivalencia semántica.

2.3. Objetivo de Entrenamiento

El objetivo general combina la pérdida GRPO recortada (usando ventajas normalizadas por DAN de DTR) con la penalización de consistencia:
$$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$$
donde $\bar{q}$ representa las muestras adversarias congeladas generadas mediante ascenso proyectado.

3. Contribuciones Clave

1. Identificación de la Brecha de Robustez ante el Prompt: El artículo revela formalmente que el RLVR estándar conduce al sobreajuste en los formatos de prompt, creando una brecha donde los modelos se degradan ante prompts parafraseados a pesar de tener una alta precisión de entrenamiento.
2. Formulación Teórica: Los autores formalizan la robustez del prompt como una optimización sobre clases de equivalencia semántica. Demuestran que las recompensas binarias estándar causan un sesgo de varianza de recompensa y que el objetivo de entrenamiento sufre de no-identificabilidad respecto a las políticas invariantes al prompt.
3. Marco de Trabajo PIRL: Proponen un método concreto (PIRL) que instancia la descomposición de la recompensa mediante DTR y el control de la invariancia mediante un adversario en el espacio de incrustación y la regularización de consistencia.
4. Validación Empírica: Experimentos extensos en benchmarks de Examen, Médico y Legal demuestran que PIRL reduce significativamente las caídas de rendimiento bajo pruebas de estrés en comparación con GRPO y las líneas base de múltiples plantillas.

4. Resultados Experimentales

Los autores evaluaron PIRL en Qwen2.5-VL-7B y Qwen3-VL-8B a través de tres dominios:

• Prueba de Estrés de Plantilla (T-Stress): Los modelos fueron probados en prompts con un número variable de plantillas no vistas ($N=1$ a $15$).
  • El GRPO estándar mostró una degradación significativa (por ejemplo, $\Delta T \approx -4.4\%$ en MathVista para Qwen2.5).
  • PIRL mantuvo la estabilidad, mostrando a menudo caídas positivas o insignificantes (por ejemplo, $\Delta T \approx +0.3\%$ en MathVista).
  • PIRL superó a la línea base de Multi-Plantilla (GRPO-MT), que solo mitigó parcialmente el problema.
• Evaluación Dinámica (D-Test): Utilizando mutaciones basadas en operadores (parafraseo, cambios de diseño, etc.).
  • PIRL logró consistentemente la menor caída de rendimiento promedio en todos los benchmarks en comparación con GRPO y GRPO-MT.
  • En dominios de alto riesgo (Médico y Legal), PIRL preservó la precisión donde GRPO se degradó significativamente (por ejemplo, en PathVQA, GRPO cayó $-6.7\%$ mientras que PIRL solo cayó $-0.8\%$).
• Estudios de Ablación: La configuración completa de PIRL (MT + ADV + DTR) produjo los mejores resultados. Aunque la ablación no aisló definitivamente la necesidad individual de DTR o del adversario más allá de la línea base de múltiples plantillas en todas las métricas, la combinación proporcionó el rendimiento más robusto sin un costo detectable.

5. Significado y Reivindicaciones

El artículo afirma que PIRL restaura la robustez de los modelos ajustados con RLVR a un nivel comparable o incluso superior al del modelo base, cerrando efectivamente la brecha de robustez ante el prompt.

• Fiabilidad: El método es particularmente significativo para dominios de alto riesgo (médicos, legales) donde la incapacidad de un modelo para manejar instrucciones reformuladas lo vuelve poco fiable, independientemente de su precisión bruta.
• Mecanismo: El trabajo demuestra que la fragilidad de RLVR no es una limitación inherente del aprendizaje por refuerzo, sino una consecuencia del entrelazamiento de la recompensa y la cobertura limitada del entrenamiento. Al desacoplar el formato de la semántica y forzar la invariancia, el modelo aprende a generalizar a través de la clase de equivalencia semántica en lugar de memorizar plantillas.
• Modestia: Los autores reconocen que la robustez no garantiza la corrección (un modelo estable aún puede estar erróneamente seguro) y que su objetivo de invariancia es una relajación tratable de la clase de equivalencia semántica completa (operando en el espacio de incrustación en lugar del espacio de tokens discretos). Posicionan a PIRL como un método para apoyar, no para reemplazar, el juicio experto humano en dominios críticos.