S-GRPO: Unified Post-Training for Large Vision-Language Models

Resumen Técnico: S-GRPO

1. El Problema: La Dicotomía Ineficiente entre SFT y RL

Los autores identifican un dilema fundamental en la adaptación de Modelos Grandes de Visión y Lenguaje (LVLMs) a dominios especializados (como diagnóstico médico o resolución de problemas geométricos):

• Fine-Tuning Supervisado (SFT): Aunque eficiente para inyectar conocimiento, fuerza al modelo a seguir una única trayectoria determinista. Esto provoca un cambio de distribución severo que resulta en "olvido catastrófico" de las capacidades multimodales generales del modelo (el "impuesto de alineación").
• Aprendizaje por Refuerzo (RL) Puro (ej. GRPO): Explora múltiples trayectorias, pero sufre de un problema de "arranque en frío" (cold-start). En tareas visuales con verificadores binarios estrictos, un modelo no alineado rara vez genera respuestas correctas espontáneamente. Si todas las trayectorias de un grupo fallan, la varianza de la recompensa colapsa a cero, los gradientes desaparecen y el aprendizaje se detiene (colapso de optimización).

Actualmente, la industria utiliza pipelines de dos etapas (SFT seguido de RL) para mitigar esto, pero esto es computacionalmente costoso y el SFT inicial ya degrada las capacidades generales antes de que el RL pueda recuperarse.

2. Metodología: S-GRPO e Inyección Condicional de Trayectorias (CGI)

El paper propone S-GRPO (Supervised Group Relative Policy Optimization), un marco unificado de una sola etapa que integra la guía supervisada dentro de la exploración de RL.

• Mecanismo Central: Inyección Condicional de Trayectorias de Verdad Terrena (CGI):

  • Durante la exploración en línea, el modelo genera un grupo de $G$ trayectorias candidatas.
  • Un verificador binario evalúa si todas las trayectorias generadas fallan (recompensa 0).
  • Si hay fallo completo (Cold-Start): El sistema inyecta dinámicamente la trayectoria de verdad terrena ($y_{gt}$) en el grupo de candidatos, reemplazando una de las trayectorias fallidas.
  • Asignación de Recompensa: La trayectoria inyectada recibe una recompensa máxima garantizada ($R_{max}=1$), mientras que las generadas incorrectamente reciben 0.
  • Resultado Matemático: Esto asegura que la desviación estándar de las recompensas del grupo sea mayor que cero, generando una señal de ventaja relativa ($\hat{A}$) estrictamente positiva para la trayectoria experta y negativa para los errores. Esto evita el colapso de gradientes.

• Transición Dinámica:

  • A medida que el modelo mejora y comienza a generar trayectorias correctas por sí mismo, la condición de "fallo completo" deja de cumplirse.
  • La inyección de la verdad terrena se detiene automáticamente, permitiendo que el entrenamiento transite suavemente de un "aprendizaje supervisado de arranque" a una optimización de preferencia pura (RL).

3. Contribuciones Clave

1. Marco Unificado de Post-Entrenamiento: S-GRPO elimina la necesidad de separar el entrenamiento en fases de SFT y RL, integrando ambos objetivos en un solo paisaje de optimización.
2. Resolución del Problema de Arranque en Frío: La estrategia CGI garantiza señales de aprendizaje positivas incluso cuando el modelo base no puede generar ninguna respuesta válida, resolviendo el problema de la escasez de recompensas en dominios visuales estrictos.
3. Preservación de Capacidades Generales: Al no depender de un SFT agresivo inicial, el método mitiga el olvido catastrófico, manteniendo la integridad estructural y las capacidades de instrucción generales del modelo base.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como Qwen2.5-VL-7B en tres dominios: descripción de imágenes (COCO), problemas geométricos (Geo170K) y diagnóstico de rayos X (OpenI).

• Rendimiento en Dominio Específico: S-GRPO alcanza un rendimiento comparable o superior al Fine-Tuning Completo (FFT) y al pipeline de dos etapas (SFT $\to$ GRPO). Por ejemplo, en COCO, logra un CIDEr de 1.0106 (vs. 1.0172 de FFT).
• Preservación de Generalidad: A diferencia del FFT, que sufre una degradación masiva en métricas generales (ej. caída del 36% en IFEval-I y colapso en MME), S-GRPO mantiene altas puntuaciones en capacidades generales (IFEval-I: 0.7387 vs. 0.3405 de FFT).
• Estabilidad de Convergencia: Mientras que el GRPO estándar colapsa (curva de recompensa plana) debido a la falta de gradientes, S-GRPO muestra una curva de recompensa monótonamente creciente y converge rápidamente gracias a la inyección de anclajes de alta calidad.
• Estudio de Ablación: Se demostró que la inyección condicional (CGI) es superior a la inyección incondicional. La inyección constante (sin CGI) reintroduce el sesgo de "fuerza de enseñanza" (teacher-forcing) y degrada la capacidad de exploración autónoma.

5. Significado e Impacto

El trabajo de S-GRPO es significativo porque:

• Unifica la teoría: Demuestra matemáticamente que el aprendizaje supervisado y el por refuerzo no son etapas disjuntas, sino extremos de un espectro continuo que puede optimizarse simultáneamente.
• Eficiencia Computacional: Elimina la necesidad de costosas fases de pre-entrenamiento supervisado (SFT) antes de aplicar RL, reduciendo la huella computacional y el tiempo de entrenamiento.
• Viabilidad en Dominios Estrictos: Ofrece una solución práctica para adaptar LVLMs a tareas donde la recompensa es binaria y escasa (como diagnósticos médicos o verificación de fórmulas), un escenario donde los métodos de RL tradicionales fallan estrepitosamente.

En conclusión, S-GRPO representa un avance hacia una alineación de modelos multimodales más robusta, eficiente y capaz de equilibrar la especialización de dominio sin sacrificar la inteligencia general.