Resumen Técnico: Destilación de Atribución Visual (VAD) para la Destilación Multimodal On-Policy

1. Declaración del Problema

Los Modelos de Lenguaje Multimodales Grandes (MLLM) a menudo fallan debido a errores perceptivos menores (por ejemplo, pasar por alto una palabra o leer incorrectamente una relación espacial), lo que puede descarrilar toda la trayectoria de generación. La Destilación On-Policy (OPD) aborda esto supervisando las trayectorias generadas por el estudiante utilizando un profesor con "vista privilegiada" (un modelo con acceso a evidencia visual mejor, como recortes de alta resolución).

Sin embargo, los métodos actuales de OPD de vista privilegiada sufren de correcciones de fuentes mixtas. Cuando un profesor corrige un token del estudiante, la corrección es una mezcla de:

1. Señales visuales: Evidencia derivada de la vista privilegiada.
2. Priors lingüísticos: Patrones de lenguaje generales.
3. Efectos específicos del profesor: Idiosincrasias del modelo profesor.

Los enfoques existentes no logran distinguir qué parte de la corrección del profesor está realmente respaldada por la evidencia visual.

• Vision-OPD destila directamente la distribución completa del profesor, transfiriendo ruido de fuentes mixtas.
• VA-OPD y V-Zero utilizan una "ventaja visual" para ponderar tokens o trayectorias, pero no logran reconstruir explícitamente el objetivo basándose en qué es lo que la evidencia respalda. Crucialmente, las métricas de ventaja visual positiva pueden omitir la refutación: revelar la evidencia puede suprimir un token incorrecto sin necesariamente potenciar uno correcto, una dinámica que las métricas de ventaja estándar no logran capturar eficazmente.

El desafío central es estimar qué componente de una corrección del profesor es atribuible a una intervención visual controlada, en lugar de simplemente determinar dónde o con qué fuerza destilar.

2. Metodología: Destilación de Atribución Visual (VAD)

VAD introduce un algoritmo de reconstrucción de objetivos contrafácticos que aísla la parte de la corrección del profesor atribuible a la visión. El método opera durante el entrenamiento utilizando un profesor fijo y una política de estudiante, pero no requiere vistas auxiliares durante la inferencia.

2.1 Vistas Contrafácticas On-Policy

Para cada prefijo $y_{<t}$ generado por el estudiante, VAD consulta al mismo profesor fijo bajo tres condiciones:

1. Vista del Estudiante ($p^0_S$): La distribución del estudiante dada la imagen completa $x^0$.
2. Vista con Presencia de Evidencia ($p^+_T$): La distribución del profesor dada una vista recortada y rica en evidencia $x^+$.
3. Vista sin Presencia de Evidencia ($p^-_T$): La distribución del profesor dada una vista degradada o eliminada $x^-$.

2.2 Proxy de Atribución mediante Intervención

VAD define dos vectores en el espacio de log-probabilidades centradas:

• Corrección del Profesor ($r_t$): La diferencia entre el profesor privilegiado ($p^+_T$) y el estudiante ($p^0_S$).
• Proxy de Evidencia Visual ($u_t$): La diferencia entre las vistas del profesor con presencia y ausencia de evidencia ($p^+_T - p^-_T$).

El vector $u_t$ sirve como un proxy firmado de la dirección de la evidencia visual. Un valor positivo indica que la evidencia respalda un token; un valor negativo indica que la evidencia lo refuta.

2.3 Reconstrucción del Objetivo

En lugar de igualar la distribución completa del profesor, VAD reconstruye un nuevo objetivo proyectando la corrección original $r_t$ sobre el proxy visual $u_t$:

1. Descomposición: La corrección se divide en un componente atribuido visualmente ($r^{vis}_t$) y un residuo ($r^{res}_t$).
   • $r^{vis}_t = \beta_t u_t$, donde $\beta_t$ es un coeficiente no negativo que asegura que solo se preserve el acuerdo con la dirección visual.
   • $r^{res}_t = r_t - r^{vis}_t$ (tratado como un residuo mixto, no puramente lingüístico).
2. Ramificación de Soporte y Refutación: El método separa las ramas de soporte (positivo $u_t$) y de refutación (negativo $u_t$). Asigna un "presupuesto de corrección visual" a estas ramas, limitando la participación de soporte para evitar que la evidencia incierta domine.
3. Objetivo Anclado al Estudiante: El objetivo final $q^{VAD}_{T,t}$ se construye aplicando el cambio visual refinado y firmado a la distribución actual del estudiante ($p^0_S$), en lugar de a la del profesor. Esto asegura que el objetivo permanezca anclado al estado del estudiante mientras se corrigen solo los tokens respaldados por la evidencia.

2.4 Objetivo de Entrenamiento

La señal de supervisión primaria es la Divergencia de Jensen-Shannon (JSD) entre el estudiante y el objetivo reconstruido ($q^{VAD}_{T,t}$).

• Regularizador Débil: Para evitar la deriva de lenguaje (por ejemplo, formatos inestables o longitud) causada por el enfoque exclusivo en las correcciones visuales, se añade un regularizador débil derivado de la distribución original del profesor privilegiado. Esto ancla la semántica y el formato sin sobrescribir la reconstrucción visual.

3. Contribuciones Clave

1. Identificación de las Limitaciones de Fuentes Mixtas: El artículo identifica que el emparejamiento directo del profesor y la ponderación de ventaja visual positiva fallan al no estimar explícitamente qué componentes de la corrección están respaldados por intervenciones visuales controladas.
2. Algoritmo VAD: Introducción de un método que utiliza intervenciones visuales contrafácticas para:
   • Construir una dirección proxy para la evidencia visual.
   • Descomponer la corrección del profesor en componentes atribuibles visualmente y residuales.
   • Reconstruir un objetivo anclado al estudiante que separa el soporte de la refutación.
3. Validación Empírica: Demostración de ganancias consistentes en seis benchmarks visuales de grano fino en escalas de 4B y 9B de parámetros, superando la destilación directa y la ponderación de ventaja visual.

4. Resultados Experimentales

Los autores evaluaron VAD en modelos Qwen3.5-4B y Qwen3.5-9B a través de seis benchmarks (V*, ZoomBench, HR-Bench 4K/8K, MME-RealWorld EN/CN).

• Ganancias de Rendimiento: VAD logró la mayor precisión promedio (Avg6) en ambas escalas, superando a los mejores baselines de escala similar por 2.40 puntos (4B) y 2.80 puntos (9B).
• Comparación con SOTA: El checkpoint VAD de 4B superó significativamente a modelos mucho más grandes, incluyendo Gemini 3 Flash, Gemini 3.1 Pro y el modelo Qwen3.5 de 397B.
• Análisis Semántico: El análisis de descomposición confirmó que el componente atribuido ($r^{vis}_t$) está enriquecido en atributos visuales, objetos y tokens de decisión (por ejemplo, "vertical", "metal", "A/B/C/D"), mientras que el componente residual ($r^{res}_t$) contiene andamiaje lingüístico y metacontenido.
• Generalización: A diferencia de otros métodos de post-entrenamiento que a veces degradan la generalización en tareas no vistas, VAD preservó o mejoró ligeramente el rendimiento en tareas de control (MMVP, CV-Bench, MMStar, POPE), mostrando que la especialización visual no sacrificó las capacidades generales.
• Estudios de Ablación:
  • Reconstrucción de Objetivos: La reconstrucción consciente de las ramas proporcionó la mayor ganancia (+1.00 punto sobre la proyección de un solo lado sin regularización).
  • Regularización: El ancla débil del profesor fue crucial para estabilizar el formato de salida y la longitud.
  • Divergencia: Se encontró que la JSD era la divergencia más equilibrada por defecto en comparación con la KL Directa o Inversa.

5. Significado y Reivindicaciones

El artículo sostiene que la reconstrucción de objetivos contrafácticos es una alternativa más efectiva a la supervisión de fuentes mixtas en la OPD multimodal. Al atribuir explícitamente las correcciones a la evidencia visual y reconstruir el objetivo de aprendizaje alrededor de la distribución del estudiante, VAD asegura que el modelo aprenda lo que la imagen respalda en lugar de imitar ciegamente las señales mixtas de un profesor.

Los autores posicionan a VAD como un método que mejora la eficiencia de parámetros (modelos pequeños superando a otros mucho más grandes) y el anclaje perceptivo sin requerir búsqueda compleja en tiempo de inferencia o uso de herramientas. El método se presenta como una solución robusta al "problema de la atribución de la corrección visual", ofreciendo una forma fundamentada de filtrar el ruido de la supervisión privilegiada.

Limitaciones Reconocidas por los Autores:

• La evidencia visual está representada por un único vector contrastivo de un par de vistas, lo que puede sesgar la evidencia compositiva.
• La proyección actual produce un enriquecimiento semántico en lugar de una separación perfectamente identificable; el componente atribuido aún puede retener algunos efectos no visuales del profesor.