Resumen Técnico: ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation

1. Planteamiento del Problema

Las tareas de razonamiento multimodal (por ejemplo, resolución de geometría, análisis de gráficos, respuesta a preguntas visuales) requieren que los modelos integren entradas visuales con un razonamiento de múltiples pasos. La Destilación On-Policy (OPD) ha surgido como un método práctico para mejorar estas capacidades, entrenando a un modelo estudiante en trayectorias muestreadas de su propia política, supervisadas por un profesor.

En entornos de Profesor con Privilegio (Privileged Teacher), el profesor está condicionado por señales disponibles solo durante el entrenamiento que no están disponibles para el estudiante durante la inferencia. Los métodos existentes de Destilación On-Policy de Auto-Distilación Multimodal (OPSD) suelen depender de privilegios en el lado de la respuesta (por ejemplo, respuestas de referencia o razonamientos verificados). Los autores identifican un fallo crítico en este enfoque:

• Desajuste entre Entrenamiento y Prueba (Train-Test Mismatch): Cuando la supervisión del profesor depende de información del lado de la respuesta ($p$) que el estudiante no puede acceder durante la inferencia, se incentiva al estudiante a aprender una "imitación de atajos" (ajustarse a patrones conscientes de la respuesta) en lugar de un razonamiento genuinamente fundamentado en lo visual.
• Brecha Inducida por el Privilegio: Esto crea una brecha de información condicional donde la política del profesor depende de variables ($p$) no determinadas por la entrada de tiempo de inferencia ($X$), lo que conduce a capacidades de razonamiento subóptimas y una potencial degradación del rendimiento en comparación con el modelo base.

2. Metodología: ViCuR

Los autores proponen ViCuR (Visual Cues as Recoverable Privilege), un marco que reemplaza los privilegios del lado de la respuesta con claves visuales fundamentadas (visually grounded cues).

Concepto Central: Privilegio Recuperable

En lugar de condicionar al profesor con la respuesta ($R$), ViCuR condiciona al profesor con una clave visual ($S$): una descripción de la evidencia relevante para la pregunta derivada directamente de la imagen o video de entrada (por ejemplo, "el diagrama muestra dos cuerdas que se intersecan").

• Justificación Teórica: Bajo una abstracción determinista idealizada donde la clave es una función de la entrada ($S = f(X)$), la clave no introduce información adicional más allá de $X$. Por lo tanto, $I(Y_t; S | X, Y_{<t}) = 0$. La supervisión del profesor permanece fundamentada en la información disponible en el tiempo de inferencia, mitigando el desajuste entre entrenamiento y prueba.
• Realidad Práctica: Aunque las claves pueden generarse estocásticamente, describen evidencia visible en lugar de respuestas ocultas, lo que reduce significamente la brecha de privilegio en comparación con los métodos basados en respuestas.

Arquitectura: Recuperación de Claves Basada en Sumideros (Sink-Based Cue Recovery)

Dado que el estudiante no recibe el texto de la clave explícitamente durante la inferencia, debe aprender a extraer la evidencia relevante de los tokens visuales internamente. ViCuR introduce un Módulo de Recuperación de Claves (Cue Recovery Module) ligero:

• Mecanismo: Inspirado en el fenómeno de "atención de sumidero" (attention sink), el módulo designa un token específico (por ejemplo, <BOS>) como un "token sumidero".
• Operación: Durante la fase de prefill (antes de la generación autorregresiva), este token sumidero realiza una atención cruzada dedicada sobre la secuencia de tokens visuales.
  • Agrega información visual relevante para la tarea en una representación de estado oculto interno ($\hat{S}$).
  • Esta agregación es guiada por el objetivo de destilación, donde los gradientes de la supervisión del profesor fomentan que el sumidero retenga características visuales relevantes para la pregunta.
• Eficiencia: El módulo añade parámetros solo para el mecanismo de atención cruzada y opera únicamente durante el prefill. No introduce ninguna sobrecarga autorregresiva durante la inferencia y preserva la interfaz estándar de inferencia multimodal.

Objetivo de Entrenamiento

El sistema utiliza un objetivo de destilación on-policy de tokens muestreados (estilo PPO):

• El profesor genera la supervisión basada en $(X, S)$.
• El estudiante genera basándose en $(X, \hat{S})$, donde $\hat{S}$ es la representación interna recuperada por el token sumidero.
• La pérdida se calcula como la diferencia de log-probabilidad ponderada por ventaja entre el profesor y el estudiante. No se requiere una pérdida auxiliar para generar el texto de la clave; el módulo de recuperación se entrena de extremo a extremo únicamente a través de la señal de destilación.

3. Contribuciones Clave

1. Identificación del Problema: El artículo identifica que los privilegios basados en respuestas en la OPSD multimodal inducen un desajuste entre entrenamiento y prueba que fomenta el aprendizaje de atajos sobre la fundamentación visual.
2. Marco ViCuR: Propone reemplazar el privilegio del lado de la respuesta con claves visuales recuperables e introduce un módulo ligero de atención cruzada de token sumidero para permitir que el estudiante agregue internamente esta evidencia sin alterar el flujo de inferencia.
3. Validación Empírica: El método se valida en siete benchmarks y dos escalas de modelos (2B y 8B), demostrando mejoras consistentes tanto sobre la auto-destilación de mismo backbone como sobre las líneas base de OPD con un profesor más fuerte.

4. Resultados Experimentales

Los experimentos se realizaron utilizando Qwen3-VL (2B y 8B) como backbones del estudiante a través de siete benchmarks: Vision R1-Test (in-domain), DynaMath, MathVista, WeMath, MathVerse (near-domain) y MMMU-Val, Video-MME (out-of-domain).

• vs. OPSD Basada en Respuestas:
  • ViCuR supera consistentemente a la OPSD convencional basada en respuestas.
  • Estudiante 2B: Mejora promedio de +1.19.
  • Estudiante 8B: Mejora promedio de +1.24.
  • Notablemente, la OPSD estándar a menudo rinde por debajo del modelo base (por ejemplo, 44.88 frente a 45.42 para 2B), mientras que ViCuR mitiga esta degradación.
• vs. OPD con Profesor Más Fuerte:
  • ViCuR se extiende eficazmente a configuraciones con profesores externos más grandes (por ejemplo, profesor de 32B para estudiante de 8B).
  • Estudiante 2B: Mejora promedio de +0.64 sobre las líneas base de OPD.
  • Estudiante 8B: Mejora promedio de +1.08 sobre las líneas base de OPD.
  • Se observaron ganancias significativas en tareas fuera de dominio (por ejemplo, +2.30 en MMMU-Val para 2B), lo que sugiere una mejor transferencia de capacidades de razonamiento.
• Estudios de Ablación:
  • Claves Visuales: La fuente principal de mejora proviene de reemplazar los privilegios de respuesta con claves visuales (ganancia de +2.80 a +4.36).
  • Módulo de Recuperación: La adición del módulo de recuperación de claves proporciona ganancias adicionales, confirmando la necesidad de la agregación interna de evidencia.
  • Fuga de Pistas (Hint Leakage): ViCuR reduce significativamente la reproducción explícita de tokens de "Hint" en los rollouts del estudiante en comparación con la OPSD basada en respuestas, lo que indica una menor dependencia de patrones de prompts privilegiados.

5. Significado y Reivindicaciones

El artículo argumenta que en la destilación multimodal on-policy, el diseño del privilegio del profesor es tan importante como la fuerza del profesor.

• Fundamentación sobre Imitación: Al asegurar que la información privilegiada sea recuperable de la entrada en el tiempo de inferencia, ViCuR obliga al estudiante a aprender un razonamiento visualmente fundamentado en lugar de ajustarse a atajos conscientes de la respuesta.
• Eficiencia: El método logra estas ganancias sin aumentar la latencia de inferencia ni requerir tareas de generación auxiliares complejas, lo que lo convierte en una actualización práctica para los pipelines de destilación existentes.
• Generalizabilidad: El enfoque es ortogonal al escalado de modelos, beneficiando tanto la auto-destilación como la destilación de escala cruzada, y muestra robustez a través de tareas de razonamiento in-domain, near-domain y out-of-domain.

Los autores concluyen que diseñar el privilegio alrededor de la evidencia visual recuperable en la inferencia es un factor crítico, a menudo pasado por alto, para lograr un razonamiento multimodal de alta calidad en modelos destilados.