Resumen Técnico: Ocultar para Ver: Enmascaramiento de Prefijos de Razonamiento para el Pensamiento Anclado Visualmente en la Destilación de VLM

Enunciado del Problema

Las recientes aproximaciones de "pensar-responder" en Modelos Visuales-Lingüísticos (VLM), como Qwen3-VL-Thinking, mejoran significativamente el rendimiento en razonamiento generando pasos intermedios de razonamiento antes de la respuesta final. Sin embargo, estas largas trazas de razonamiento incurren en costos computacionales sustanciales, limitando su despliegue en escenarios con recursos restringidos. La destilación de conocimiento (KD) ofrece una solución transfiriendo capacidades desde grandes modelos maestros hacia modelos estudiantiles compactos.

Un desafío crítico en la destilación de VLM de tipo "pensar-responder" es el olvido visual. A medida que el modelo estudiantil genera una larga traza de razonamiento, tiende a depender en gran medida de los prefijos de razonamiento textuales acumulados (los tokens generados previamente) para predecir los tokens subsiguientes. Estos prefijos a menudo contienen información suficiente para imitar la trayectoria del maestro sin requerir que el estudiantil reexamine la entrada visual. En consecuencia, el estudiantil aprende a ignorar la evidencia visual, lo que conduce a una degradación en las capacidades de razonamiento anclado visualmente. Los métodos de destilación existentes que transfieren mapas de atención visual o relaciones entre tokens a menudo fallan en abordar esta tendencia específica a tomar atajos mediante pistas textuales.

Metodología: KD de Enmascaramiento

Los autores proponen Masking-KD, un nuevo marco de destilación diseñado para obligar al modelo estudiantil a anclar su razonamiento en la evidencia visual oscureciendo deliberadamente las pistas textuales más influyentes.

Mecanismo Central

En lugar de utilizar la máscara causal estándar (que permite al estudiantil ver todos los tokens anteriores), Masking-KD emplea una máscara de prefijos de razonamiento salientes. Esta máscara bloquea el acceso tanto a los tokens futuros (causalidad estándar) como a prefijos de razonamiento salientes específicos de los que el estudiantil dependería de otro modo para imitar al maestro. Al eliminar estas pistas textuales de alta influencia, se obliga al estudiantil a utilizar la evidencia visual para compensar la información faltante.

El marco consta de dos componentes adaptativos:

1. Enmascaramiento de Prefijos de Razonamiento Salientes a Nivel de Token:

   • Identificación: Antes del paso principal de destilación, se realiza un paso de avance auxiliar del modelo estudiantil (bajo una máscara causal estándar). Esto genera un mapa de atención de respuesta a respuesta ($A^{resp}$), que revela a qué tokens anteriores atiende más intensamente el estudiantil al predecir el token actual.
   • Selección: Para cada predicción del siguiente token, el método identifica los $\rho$ prefijos más salientes basándose en sus pesos de atención. Estos son los tokens que proporcionan el "atajo" más fuerte hacia la respuesta.
   • Enmascaramiento: Estos prefijos salientes identificados se enmascaran (se establecen en $-\infty$ en los logits de atención) durante el paso real de entrenamiento de destilación, impidiendo que el estudiantil atiende a ellos.

2. Programación de Presupuesto de Enmascaramiento Auto-Paced:

   • La dificultad de destilar cada token varía. Los tokens que se imitan fácilmente (baja discrepancia entre maestro y estudiantil) proporcionan señales de aprendizaje débiles si el estudiantil puede simplemente copiar el prefijo.
   • El método calcula la divergencia KL inversa a nivel de token entre las distribuciones del maestro y del estudiantil durante el paso de avance auxiliar.
   • Se asigna un umbral de ratio acumulativo ($\rho_n$) adaptativamente a cada token basado en esta dificultad. Los tokens que se imitan fácilmente (baja divergencia KL) reciben un presupuesto de enmascaramiento más alto (se enmascaran más prefijos) para obligar al estudiantil a depender de pistas visuales. Los tokens que son más difíciles de aprender reciben menos enmascaramiento para garantizar un entrenamiento estable.

Función Objetivo de Entrenamiento

El estudiantil se entrena para minimizar la divergencia KL inversa entre su distribución predictiva (bajo el contexto enmascarado) y la distribución del maestro (bajo el contexto completo). La función de pérdida se define como:
$$\mathcal{L}_{Distill} = \frac{1}{N} \sum_{n=1}^{N} \sum_{y \in \mathcal{V}} p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}}) \log \frac{p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}})}{p_t(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \mathbf{M})}$$
Donde $\tilde{\mathbf{M}}$ es la máscara de prefijos de razonamiento salientes y $\mathbf{M}$ es la máscara causal estándar.

Contribuciones Clave

1. Marco Masking-KD: Un nuevo paradigma de destilación que mejora el pensamiento anclado visualmente enmascarando prefijos de razonamiento salientes, obligando al estudiantil a utilizar evidencia visual en lugar de depender de atajos textuales.
2. Enmascaramiento Adaptativo a Nivel de Token: Un mecanismo que identifica y enmascara dinámicamente los prefijos de razonamiento más influyentes para cada predicción de token específica, reconociendo que el contexto crítico varía a través de los pasos de decodificación.
3. Programación de Presupuesto Auto-Paced: Una estrategia adaptativa que ajusta la intensidad del enmascaramiento basándose en la dificultad de destilación (divergencia KL) de cada token, amplificando las señales de aprendizaje para los tokens fácilmente imitables.
4. Validación Empírica: Extensos experimentos que demuestran que este enfoque supera a los métodos existentes de destilación de VLM y a las líneas base de auto-destilación.

Resultados Experimentales

Los autores evaluaron Masking-KD en benchmarks de razonamiento multimodal, incluyendo Geometry-3K, MathVista, We-Math, MMK12, MathVerse, LogicVista y MMMU-Pro.

• Mejoras de Rendimiento: Masking-KD logró resultados de vanguardia en todos los tamaños de modelo (2B, 4B y 8B). Notablemente, el modelo 4B destilado superó al maestro 8B no destilado, y el modelo 2B superó al maestro 4B no destilado.
• Comparación con Líneas Base: El método superó significativamente a la destilación estándar a nivel de respuesta, así como a métodos que transfieren explícitamente patrones visuales (por ejemplo, LLaVA-KD, CompoDistill, Align-TI).
• Auto-Destilación: El marco fue efectivo en configuraciones de auto-destilación (donde el estudiantil sirve como su propio maestro), superando otros métodos de auto-destilación como OPSD.
• Análisis de Atención Visual: Análisis cualitativos y cuantitativos confirmaron que los modelos Masking-KD mantienen ratios de atención visual más altos a lo largo del proceso de generación en comparación con las líneas base, mitigando efectivamente el fenómeno de "olvido visual". Se observó que los modelos activaban regiones relevantes de la imagen con mayor intensidad cuando las pistas textuales estaban enmascaradas.

Significado y Afirmaciones

El artículo afirma que el principal cuello de botella en la destilación de VLM de tipo "pensar-responder" es la tendencia del estudiantil a explotar atajos textuales proporcionados por los prefijos de razonamiento acumulados, descuidando así las entradas visuales.

El significado de Masking-KD radica en su cambio de transferir explícitamente el conocimiento visual del maestro (por ejemplo, mediante mapas de atención) a guiar al estudiantil para desarrollar su propio proceso de razonamiento anclado visualmente. Al "ocultar" las pistas textuales más obvias, el método obliga al estudiantil a "ver" la imagen para resolver el problema. Los autores concluyen que este enfoque es más efectivo para la destilación de razonamiento en VLM que los métodos anteriores que se centran únicamente en imitar patrones visuales internos, ya que aborda directamente la causa raíz del olvido visual en tareas de razonamiento de cadena larga.