Stage-1 Controls the Entropy Regime, Not the Outcome

Resumen Técnico: La Etapa 1 controla el régimen de entropía, no el resultado

Planteamiento del problema
Los pipelines de post-entrenamiento de dos etapas para Modelos de Lenguaje-Visión (VLM) —que consisten en un calentamiento de Etapa 1 (Ajuste Fino Supervisado, SFT, o Destilación On-Policy, OPD) seguido de una Etapa 2 de Aprendizaje por Refuerzo (RL)— son cada vez más estándar. Una suposición prevaleciente en la comunidad es que la elección del calentamiento determina significativamente el resultado final de RL. Específicamente, los defensores argumentan que el SFT puede inducir un olvido catastrófico de las capacidades base, mientras que el OPD (entrenar a un estudiante sobre sus propios rollouts bajo la distribución de tokens de un profesor) proporciona una inicialización superior para el RL. Este artículo interroga estas afirmaciones dentro de un régimen de datos pequeños (≈1–2k ejemplos) utilizando el modelo Qwen2.5-VL-7B, con el objetivo de determinar qué controla realmente la Etapa 1 y si altera significativamente el punto final descendente.

Metodología
El estudio emplea una configuración experimental controlada comparando tres estrategias distintas de calentamiento seguidas de recetas de GRPO (Optimización de Política Relativa de Grupo) estrechamente emparejadas en la Etapa 2:

1. OPD: Destilación on-policy de un profesor Qwen2.5-VL de 72B de la misma modalidad sobre todos los 2,101 prompts de entrenamiento de Geometry3K.
2. SFTID: SFT optimizado in-domain utilizando las trazas correctas del profesor (vía muestreo de rechazo) con un prompt de sistema.
3. SFTOOD: SFT optimizado out-of-domain (OOD) utilizando las mismas trazas del profesor pero sin un prompt de sistema y con parada temprana a las 100 etapas.

Distinciones clave en la configuración:

• Consistencia del profesor: Todos los calentamientos derivan del mismo profesor de 72B, eliminando confusiones de identidad del profesor.
• Confusión de cobertura de datos: Existe una diferencia deliberada en la cobertura de datos. Las trazas de SFT se derivan del muestreo de rechazo, reteniendo solo los 807 problemas que el profesor resuelve dentro de 4 muestras. El OPD entrena sobre todos los 2,101 prompts, incluyendo 1,294 problemas que el profesor nunca resuelve. Los autores tratan esto como una diferencia de configuración conocida y analizan su impacto en la entropía.
• Evaluación: Los modelos se evalúan in-domain (validación interna de Geometry3K) y out-of-domain (MathVista testmini). Las métricas incluyen entropía de la política, pass@k (con $k \in \{1, 4, 8, 16\}$) y diversidad de respuestas.

Hallazgos clave

1. El olvido depende de la receta (F1)
El estudio desafía la noción de que el SFT con pocos datos causa inherentemente un olvido catastrófico.

• Una variante de SFT sobre-entrenada (200 pasos, sin prompt de sistema) mostró una caída significativa en el rendimiento OOD en MathVista (−9.5 puntos).
• Sin embargo, un SFT con receta emparejada y parada temprana (100 pasos) de hecho mejoró el rendimiento OOD en +2.1 puntos sobre el modelo base.
• Conclusión: El olvido observado no es una propiedad intrínseca del SFT, sino una consecuencia de elecciones específicas de la receta (por ejemplo, duración del entrenamiento, ingeniería de prompts).

2. Los puntos finales in-domain ocupan una banda estrecha (F2)
A pesar de los diferentes calentamientos, el rendimiento final in-domain en Geometry3K converge a un rango estrecho.

• Todos los tres calentamientos, tras GRPO, alcanzaron un mejor puntaje de validación interna entre 53% y 54%.
• Esto se alinea con métodos especializados recientes, sugiriendo un "headroom" limitado para separar los calentamientos en este benchmark específico, en lugar de una saturación universal de la tarea.

3. La Etapa 1 controla el régimen de entropía, no el resultado (F3)
La diferencia más distinta y confiable entre los métodos es el régimen de entropía que entra en el RL.

• Brecha de entropía: El OPD entra en la fase de RL con una entropía de política sustancialmente mayor (0.10–0.16 inicialmente) en comparación con las variantes de SFT (0.015–0.04). Esta brecha persiste a través de las trayectorias disponibles, permaneciendo el OPD más alto incluso al final del entrenamiento.
• Ventaja de inicialización in-domain: En la etapa de inicialización (antes de RL), el modelo OPD de alta entropía demuestra un mayor potencial de exploración. Aunque la precisión greedy (pass@1) es comparable o ligeramente inferior, el OPD logra una ventaja significativa en pass@16 (+2.0 a +5.2 puntos sobre las líneas base de SFT) y una mayor diversidad de respuestas.
• Beneficio evanescente: Esta ventaja está estrictamente limitada:
  • Post-RL: Después de la Etapa 2 de GRPO, la ventaja de pass@16 desaparece. Los puntos finales finales para todos los modelos están dentro de 1.1 puntos entre sí, con intervalos de confianza que cruzan el cero.
  • Transferencia OOD: En MathVista, el orden de la entropía desaparece por completo. Los seis modelos (tres inicializaciones × dos etapas) caen dentro de un rango de 1.2 puntos en pass@16.

Significancia y Reivindicaciones
El artículo enmarca explícitamente su contribución como una caracterización empírica acotada en lugar de un nuevo método o un récord en un leaderboard.

• Qué controla la Etapa 1: El hallazgo principal es que la Etapa 1 se asocia fuertemente con el régimen de entropía de la política que entra en RL. El OPD mantiene un estado de alta entropía, mientras que el SFT colapsa a un estado determinista de baja entropía.
• Qué NO controla la Etapa 1: El estudio no encuentra evidencia de que la elección del calentamiento (OPD vs. SFT) determine el punto final de RL o la generalización OOD en esta configuración de pocos datos. El "beneficio descendente" de la ventaja de entropía es pequeño, localizado en la inicialización in-domain, y no sobrevive al proceso de optimización de RL.
• Limitaciones: Los autores reconocen una confusión: la brecha de entropía puede estar impulsada parcialmente por el hecho de que el OPD ve la "cola difícil" de problemas (1,294 no resueltos por el profesor) que el SFT nunca ve. Aunque la intuición a nivel de objetivo (reverse-KL vs. cross-entropy) respalda el mecanismo de entropía, el artículo no afirma causalidad sin un control alineado con los datos (entrenar OPD con los mismos 807 problemas que el SFT).

Conclusión
En este estudio de VLM con pocos datos, la elección del calentamiento de la Etapa 1 es un determinante fuerte del régimen de entropía, pero no del resultado final. Si bien el OPD ofrece una inicialización de alta entropía con mejor exploración in-domain (pass@16), esto no se traduce en un punto final de RL superior o en un rendimiento OOD. El artículo concluye que la entropía es la diferencia más clara observada, pero esto no es evidencia de que el OPD sea un calentamiento de RL universalmente mejor.