Resumen Técnico: Optimización Asimétrica del Razonamiento y la Percepción en el Post-Entrenamiento de Modelos Visión-Lenguaje

1. Declaración del Problema

Las técnicas de post-entrenamiento, específicamente el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL), han mejorado significativamente las capacidades de razonamiento de los Modelos Visión-Lenguaje (VLM) de vanguardia. Sin embargo, estas ganancias no se han traducido proporcionalmente en las capacidades de percepción. Estudios recientes indican que el post-entrenamiento puede producir mejoras limitadas o incluso degradar el rendimiento de percepción, creando un cuello de botella para el razonamiento visual de extremo a extremo. La pregunta central abordada por este trabajo es: ¿Por qué el post-entrenamiento favorece desproporcionadamente el razonamiento sobre la percepción y cómo se puede mitigar esta asimetría?

Los autores argumentan que los errores de percepción limitan severamente la efectividad del razonamiento avanzado. Para investigar esto, introducen un marco de diagnóstico controlado que desentraña la percepción del razonamiento, permitiendo la evaluación y optimización independientes de cada componente.

2. Metodología

2.1 Marco de Diagnóstico Controlado

Los autores proponen un marco diseñado para separar la percepción ($p$) y el razonamiento ($r$) dentro de la salida del modelo.

• Salidas Desentrelazadas: La secuencia de salida se estructura como $y = [p, r]$, donde $p$ es una transcripción textual de la información visual y $r$ es el proceso de razonamiento, separados por tokens especiales. Esto impone un orden de "percepción-antes-de-razonamiento".
• Métricas de Evaluación:
  • Precisión de Percepción ($a_p$): Medida comparando la percepción generada por el modelo $p$ contra una representación canónica de verdad fundamental $p^*$.
  • Precisión de Razonamiento Contrafactual ($a_r$): Para aislar la capacidad de razonamiento de los errores de percepción, el modelo se condiciona sobre la percepción de verdad fundamental $p^*$ para generar el razonamiento $r'$. La precisión se mide entonces como $Acc(r' | p^*)$.
  • Precisión de Extremo a Extremo ($a$): La precisión estándar de la tubería completa.
• Tareas Sintéticas: Para garantizar anotaciones de verdad fundamental y evaluación programática, los autores utilizan dos tareas sintéticas:
  1. Coloreado de Grafos (GC): Imágenes de entrada de grafos; $p^*$ es la lista de aristas; la corrección requiere un coloreado de nodos válido.
  2. Sudoku: Imágenes de entrada de cuadrículas; $p^*$ es la cuadrícula parcialmente rellenada; la corrección requiere una solución válida.
     Estas tareas se renderizan programáticamente a partir de problemas basados en texto para mantener una $p^*$ canónica.

2.2 Paradigmas de Entrenamiento

El estudio evalúa dos métodos dominantes de post-entrenamiento:

• Ajuste Fino Supervisado (SFT): Optimiza la pérdida de entropía cruzada promediada por tokens sobre la secuencia de salida.
• Aprendizaje por Refuerzo (RL): Utiliza la Optimización de Política Relativa por Grupos (GRPO) con la precisión de extremo a extremo como señal de recompensa principal.

2.3 Mecanismos Hipotetizados e Intervenciones

Los autores investigan dos mecanismos específicos que impulsan la asimetría:

1. Hipótesis 1: Desequilibrio de Tokens (SFT)

   • Mecanismo: En la supervisión de Cadena de Pensamiento (CoT), los tokens de percepción ocupan una fracción significativamente menor de la salida total en comparación con los tokens de razonamiento. Dado que SFT utiliza una pérdida promediada por tokens, la percepción recibe una señal de optimización más débil.
   • Intervención: Ponderación de Pérdida. La pérdida de SFT se modifica a $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$, donde $\lambda$ aumenta el peso de los tokens de percepción. También prueban NGDiff, un método de equilibrio dinámico de múltiples tareas basado en normas de gradiente.

2. Hipótesis 2: Acoplamiento de Recompensas (RL)

   • Mecanismo: La recompensa de resultado (precisión de extremo a extremo) se correlaciona más fuertemente con la corrección del razonamiento que con la corrección de la percepción. La percepción solo influye en la recompensa si el razonamiento subsiguiente también es correcto, lo que conduce a una asignación de crédito ruidosa o desalineada para la percepción.
   • Intervención: Aumento de Recompensa. La función de recompensa se modifica a $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$, añadiendo explícitamente una señal de percepción. También evalúan recompensas sustitutas (similitud CLIP, auto-recompensa, recompensas basadas en profesores) para escenarios donde las recompensas de percepción de verdad fundamental no están disponibles.

3. Resultados Experimentales

3.1 Configuración Empírica

Los experimentos se realizaron en Qwen3-VL-2B e InternVL3.5-2B utilizando las tareas GC y Sudoku. Los conjuntos de datos incluyeron 2.000 instancias de entrenamiento SFT y 16.000 instancias de entrenamiento RL por tarea.

3.2 Hallazgos sobre SFT

• Confirmación de Asimetría: El SFT estándar mejora sustancialmente la precisión del razonamiento mientras produce ganancias mínimas en la precisión de percepción.
• Validación del Desequilibrio de Tokens: El análisis reveló que la percepción representa solo ~2.5% de los tokens en las trazas de CoT, contribuyendo meramente al 1.3% de la pérdida total y al 8.5% de la norma del gradiente.
• Eficacia de la Intervención:
  • Aumentar el peso de la percepción ($\lambda$) mejora la precisión de percepción pero crea una compensación donde un peso excesivo perjudica el razonamiento.
  • Equilibrio Óptimo: La precisión de extremo a extremo alcanza su punto máximo con una ponderación moderada de la percepción.
  • Resultados: La ponderación de pérdida mejoró la precisión de extremo a extremo en 10.0–13.8 puntos sobre el SFT estándar. El método dinámico NGDiff mejoró esto aún más, logrando ganancias de hasta 18.2 puntos sin ajuste manual de hiperparámetros.

3.3 Hallazgos sobre RL

• Confirmación de Asimetría: El RL también mejora el razonamiento más que la percepción.
• Rechazo del Desequilibrio de Tokens: A diferencia del SFT, la reponderación de las probabilidades de tokens en el objetivo de RL no mitigó la asimetría y a menudo desestabilizó el entrenamiento. Esto indica que la cantidad de tokens no es el impulsor principal en RL.
• Validación del Acoplamiento de Recompensas: El análisis de correlación de Pearson mostró que la recompensa de resultado se correlaciona fuertemente con el razonamiento ($r \approx 0.65\text{--}1.00$) pero débilmente con la percepción ($r \approx 0.34\text{--}0.43$).
• Eficacia de la Intervención:
  • Aumento de Recompensa: Añadir una recompensa de percepción ($\alpha > 0$) mejoró la precisión de percepción. Al igual que en SFT, existe una compensación, pero el rendimiento de extremo a extremo alcanza su punto máximo en un $\alpha$ no nulo.
  • Resultados: El aumento de recompensa mejoró la precisión de extremo a extremo en hasta 6.0 puntos sobre el RL estándar.
  • Recompensas Sustitutas: Cuando las recompensas de percepción de verdad fundamental no estaban disponibles, las recompensas basadas en profesores (usando un modelo más fuerte para generar $p^*$) proporcionaron la señal más fiable, logrando una mejora de 3.2 puntos. La similitud basada en CLIP proporcionó una señal insignificante.

4. Contribuciones Clave

1. Marco de Diagnóstico: Introducción de un marco controlado utilizando tareas sintéticas para desentrelazar y evaluar independientemente la percepción y el razonamiento en el post-entrenamiento de VLM.
2. Identificación de Mecanismos: Identificación de una asimetría consistente entre percepción y razonamiento en SFT y RL, rastreando las causas a mecanismos distintos: desequilibrio de tokens en SFT y acoplamiento de recompensas en RL.
3. Intervenciones Dirigidas: Demostración de que intervenciones específicas y conscientes del paradigma pueden reequilibrar estos componentes:
   • SFT: Ponderación de pérdida (estática o dinámica mediante NGDiff).
   • RL: Aumento de recompensa consciente de la percepción (usando verdad fundamental o sustitutos fiables).
   • Estas intervenciones mejoraron el rendimiento de razonamiento visual de extremo a extremo en hasta 18.2 puntos (SFT) y 6.0 puntos (RL).

5. Significado y Afirmaciones

El artículo afirma que la asimetría observada es una consecuencia fundamental de los objetivos de post-entrenamiento predeterminados y no un artefacto específico del modelo. Los autores argumentan que confiar únicamente en objetivos estándar de SFT o RL es insuficiente para un razonamiento visual robusto de extremo a extremo porque la percepción sigue siendo el cuello de botella dominante.

El significado del trabajo radica en proporcionar estrategias concretas y accionables para mitigar este desequilibrio. Al diagnosticar los modos de fallo específicos (escasez de tokens en SFT, señales de recompensa débiles en RL), los autores sugieren que las futuras tuberías de post-entrenamiento de VLM deben incorporar mecanismos de equilibrio explícitos, como la ponderación de pérdida o recompensas conscientes de la percepción, para desbloquear el potencial completo del razonamiento visual. El estudio enfatiza que estas intervenciones son prácticas y pueden integrarse en tuberías del mundo real siempre que estén disponibles la supervisión de percepción o señales proxy.

Limitaciones: Los autores señalan que el estudio depende de tareas sintéticas (Coloreado de Grafos y Sudoku) para aislar variables. Si bien esta abstracción limita la comparación directa con la diversidad del mundo real, es necesaria para establecer mecanismos causales que están oscurecidos en datos complejos y ambiguos del mundo real. Se argumenta que los mecanismos propuestos (desequilibrio de tokens y acoplamiento de recompensas) son propiedades generales de los objetivos de post-entrenamiento, lo que sugiere que las intervenciones son aplicables más allá del entorno sintético.