Resumen Técnico: Destilación On-Policy con Ventaja Visual para Modelos Visión-Lenguaje

1. Declaración del Problema

La destilación de conocimiento on-policy ha demostrado ser efectiva para comprimir Modelos de Lenguaje Grandes (LLMs) mediante el entrenamiento de un estudiante para que coincida con la distribución de salida de un profesor sobre sus propias secuencias generadas. Sin embargo, aplicar este paradigma a Modelos Visión-Lenguaje (VLM) revela una discrepancia crítica: la destilación estándar trata todos los tokens de manera uniforme, sin distinguir entre el andamiaje lingüístico y los tokens que dependen genuinamente de evidencia visual de alta resolución.

Los autores observan que, en las secuencias típicas de VLM, la gran mayoría de los tokens sirven como plantillas lingüísticas o estructuras de razonamiento, mientras que solo una pequeña minoría está determinada por detalles visuales (por ejemplo, números específicos en un diagrama). La minimización estándar de la divergencia Kullback-Leibler (KL) promedia los gradientes uniformemente a través de todos los tokens. En consecuencia, la señal de supervisión fuerte presente en los pocos tokens críticos para la visión se diluye por los abundantes tokens lingüísticos circundantes. Como resultado, aunque la precisión de salida del estudiante puede mejorar, su dependencia subyacente de la entrada visual no se fortalece; el estudiante aprende a imitar el texto superficial del profesor sin aprender realmente a atender a la imagen.

2. Metodología: Destilación On-Policy con Ventaja Visual (VA-OPD)

Para abordar esta dilución, los autores proponen la Destilación On-Policy con Ventaja Visual (VA-OPD), un método que identifica y prioriza explícitamente los tokens que requieren detalles visuales de alta resolución.

2.1 Ventaja Visual (VA)

La herramienta de diagnóstico central es la Ventaja Visual (VA), una métrica a nivel de token que cuantifica la dependencia del profesor en detalles visuales. Para cada token $y_t$ en una secuencia generada por el estudiante, la VA se calcula como la diferencia de log-probabilidad rectificada no negativamente entre la puntuación del profesor con la imagen original ($v$) y una imagen degradada ($\tilde{v}$) donde los detalles de alta resolución (por ejemplo, OCR, símbolos pequeños) se destruyen mediante submuestreo:
$$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$$
Una VA alta indica que la predicción del token depende en gran medida de detalles visuales de alta resolución, mientras que una VA baja sugiere que el token se basa en priores lingüísticos o características globales robustas de la imagen.

2.2 Observaciones Clave

El análisis empírico de las secuencias del estudiante revela dos propiedades críticas:

1. Dispersión: La VA sigue una distribución de cola pesada; el 10% superior de los tokens porta aproximadamente el 93% de la masa total de VA.
2. Concentración de Supervisión: Enmascarar la pérdida KL en tokens de alta VA provoca una caída significativa en la precisión, mientras que enmascarar tokens de baja VA o aleatorios tiene un efecto negligible. Esto confirma que la señal de supervisión visual está concentrada en una pequeña minoría de tokens.

2.3 El Objetivo VA-OPD

VA-OPD modifica el objetivo estándar de destilación on-policy aplicando la VA en dos granularidades para prevenir la dilución de la señal:

• Reponderación a Nivel de Secuencia: Para un conjunto de $K$ secuencias hermanas generadas para el mismo prompt, cada secuencia se asigna un peso suave basado en su VA promediada a lo largo de la trayectoria en relación con sus hermanas. Las secuencias con mayor dependencia visual contribuyen más al gradiente.
• KL Agrupado a Nivel de Token: Dentro de cada secuencia, los tokens se ordenan por VA y se dividen en un grupo de Alta VA (fracción superior, por ejemplo, 20%) y un grupo de Baja VA (el resto). La pérdida KL por token se promedia por separado dentro de cada grupo antes de ser sumada. Esto asegura que la contribución del gradiente de los tokens críticos de alta VA no se reduzca a escala por la longitud total de la secuencia $T$.

La función de pérdida final combina estos componentes:
$$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$$
donde $w^{(k)}$ es el peso de la secuencia y $\lambda$ equilibra las contribuciones de los grupos de alta y baja VA.

3. Contribuciones Clave

1. Identificación del Problema de Dilución: Los autores demuestran que la destilación on-policy estándar para VLM falla en fortalecer la dependencia visual porque la ponderación KL uniforme diluye la señal de supervisión visual concentrada encontrada en una pequeña minoría de tokens.
2. Introducción de la Ventaja Visual (VA): Proponen la VA como una métrica contrafactual relativa al profesor para cuantificar la dependencia visual a nivel de token sin requerir anotaciones adicionales ni modelos de recompensa.
3. Marco VA-OPD: Introducen un objetivo de destilación que utiliza la VA en dos niveles (reponderación de secuencias y KL agrupado a nivel de token) para concentrar la señal de aprendizaje en posiciones críticas para la visión.
4. Validación Empírica: El método se valida en tres tamaños de profesor (4B, 8B, 32B), dos conjuntos de datos (Geometry3K, ViRL39K) y ocho benchmarks, mostrando mejoras consistentes sobre las líneas base estándar.

4. Resultados Experimentales

Los autores evaluaron VA-OPD en la familia Qwen3-VL (profesor de 8B, estudiante de 2B) entrenada en Geometry3K, con pruebas de generalización en ViRL39K y diferentes tamaños de profesor.

• Mejoras de Rendimiento: VA-OPD superó a la OPD Estándar en los ocho benchmarks.
  • Razonamiento Matemático: Mejora promedio de +2.9 puntos.
  • Comprensión Visual: Mejora promedio de +1.5 puntos.
  • Benchmarks Específicos: Se observaron ganancias notables en HallusionBench (+2.5) y AI2D (+2.4), tareas que dependen en gran medida de detalles visuales de alta resolución. Los benchmarks que permiten atajos solo de texto (por ejemplo, MMStar) mostraron ganancias menores, consistente con el enfoque del método en la dependencia visual.
• Leyes de Escala: La ganancia de rendimiento de VA-OPD sobre la OPD Estándar aumentó monótonamente tanto con el tamaño del profesor (de 4B a 32B) como con la escala del conjunto de datos (de Geometry3K a ViRL39K), sugiriendo que los factores se combinan de manera consistente.
• Dependencia Visual: Durante el entrenamiento, la VA media de las secuencias del estudiante aumentó al mismo ritmo que la precisión para VA-OPD, mientras que la OPD Estándar mostró un aumento de precisión con una VA estancada. Esto indica que VA-OPD logra una dependencia visual genuina en lugar de una mera imitación de salida.
• Eficiencia: VA-OPD alcanzó la precisión final de la OPD Estándar aproximadamente 3.0 veces más rápido en tiempo de reloj y alcanzó un techo de rendimiento más alto con presupuestos de tiempo fijos.

5. Significado y Afirmaciones

El artículo afirma que VA-OPD representa el primer método que incrusta la dependencia por token en detalles visuales de alta resolución directamente en el objetivo de destilación on-policy para VLMs. Su significado radica en:

• Mecanismo: Resuelve el problema de "dilución" separando explícitamente los tokens críticos para la visión del andamiaje lingüístico durante el proceso de destilación.
• Eficiencia: No requiere anotaciones adicionales, modelos de recompensa ni cambios en el proceso de generación del estudiante, añadiendo solo una pasada forward extra del profesor por secuencia (con detalles visuales degradados).
• Generalizabilidad: El método mejora el rendimiento a través de diversas escalas de modelos y volúmenes de datos, sugiriendo que aborda una limitación fundamental de las estrategias actuales de destilación de VLM en lugar de un artefacto específico de un conjunto de datos.
• Cambio Cualitativo: A diferencia de los métodos en tiempo de inferencia que modifican la decodificación, VA-OPD modifica el objetivo de entrenamiento para asegurar que el estudiante aprenda a "leer" la imagen, como lo demuestra la aparición de puntos calientes de VA en valores numéricos y características de diagramas en visualizaciones cualitativas.

Los autores se mantienen modestos respecto a las limitaciones, señalando que la VA es un proxy para la dependencia visual basado en contrafactuales del profesor en lugar de una medición directa de los mecanismos de atención internos, y que las ganancias son más pronunciadas en tareas intensivas en visión.