Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training

Resumen Técnico: ¿Por qué el Aprendizaje por Refuerzo (RL) generaliza mejor que el Ajuste Fino Supervisado (SFT)?

Este trabajo presenta una perspectiva centrada en los datos para explicar la brecha de generalización observada en el post-entrenamiento de Modelos de Lenguaje-Visión (VLM). Los autores proponen que la superioridad del RL no reside necesariamente en su algoritmo de optimización, sino en su capacidad implícita para filtrar datos.

1. El Problema: La Brecha de Generalización

En el post-entrenamiento de VLMs, se ha observado consistentemente que los modelos entrenados mediante Aprendizaje por Refuerzo (RL) muestran un rendimiento superior en datos fuera de la distribución (OOD - Out-of-Distribution) en comparación con los modelos entrenados mediante Ajuste Fino Supervisado (SFT). Mientras que el SFT tiende a sobreajustarse al conjunto de entrenamiento (In-Distribution), el RL logra una robustez notable. La pregunta fundamental es: ¿Cuál es el mecanismo subyacente que permite esta ventaja de generalización?

2. Hipótesis: El Mecanismo de Filtrado Implícito

Los autores postulan una hipótesis centrada en los datos: la diferencia radica en cómo cada método trata la dificultad de las muestras.

• SFT: Aplica actualizaciones uniformes a todos los datos de entrenamiento, sin distinguir entre muestras fáciles, medias o difíciles.
• RL: Actúa como un filtro implícito. Al utilizar recompensas, el RL genera una alta varianza en muestras de dificultad media (donde algunas respuestas son correctas y otras no), lo que produce gradientes significativos. Por el contrario, las muestras fáciles (recompensa máxima constante) y las difíciles (recompensa mínima constante) producen ventajas relativas cercanas a cero, lo que resulta en actualizaciones insignificantes. Por tanto, el RL se concentra naturalmente en el "punto dulce" de la dificultad media.

3. Metodología: DC-SFT (Difficulty-Curated SFT)

Para validar la hipótesis y resolver el problema, los autores introducen DC-SFT (Ajuste Fino Supervisado Curado por Dificultad). La metodología consiste en:

1. Taxonomía de Dificultad: Clasificar las muestras en tres categorías basándose en la tasa de éxito de múltiples respuestas generadas por el modelo (G=8):
   • Fáciles: Todas las respuestas son correctas.
   • Medias: Mezcla de respuestas correctas e incorrectas.
   • Difíciles: Todas las respuestas son incorrectas.
2. Variantes de DC-SFT:
   • SFT-M: Entrena exclusivamente con muestras de dificultad media (imitando el comportamiento del RL).
   • SFT-EM: Entrena con una combinación de muestras fáciles y medias, eliminando explícitamente las muestras difíciles.

4. Contribuciones Clave

• Explicación Teórica: Proporcionan una nueva interpretación de la brecha RL-SFT desde una óptica de gestión de datos.
• Nuevo Método (DC-SFT): Un enfoque simple que mejora la generalización sin la complejidad del RL.
• Análisis de Gradientes: Demuestran que las muestras "difíciles" producen normas de gradiente mucho más altas, lo que provoca que dominen la optimización y desvíen al modelo hacia el sobreajuste, dañando la capacidad OOD.

5. Resultados Principales

Los experimentos realizados con modelos como Qwen2.5-VL (3B y 7B) y MiniCPM-V-4 arrojaron los siguientes hallazgos:

• Superación del RL: Las variantes de DC-SFT (especialmente SFT-EM) superan el rendimiento OOD de los métodos basados en RL (como GRPO).
• Estabilidad y Eficiencia: DC-SFT es significativamente más estable durante el entrenamiento (evitando las caídas bruscas de rendimiento que sufre el RL) y es mucho más eficiente computacionalmente (hasta 4.9x más rápido en ImageNet).
• Capacidad de Razonamiento: En tareas complejas de razonamiento multimodal (benchmarks como MMMU y MathVista), DC-SFT también supera tanto al SFT estándar como al RL.
• Impacto de los datos difíciles: Se demostró que incluso una pequeña proporción de datos difíciles (5%) puede degradar severamente la generalización OOD.

6. Significado y Conclusión

Este trabajo cambia el enfoque del desarrollo de VLMs: en lugar de buscar algoritmos de optimización de RL cada vez más complejos para mejorar la generalización, sugiere que la curación inteligente de la dificultad de los datos es una vía más directa, estable y eficiente. DC-SFT se posiciona como una herramienta poderosa para construir modelos con capacidades de razonamiento robustas y una alta capacidad de generalización en entornos del mundo real.