Resumen Técnico: HEED - Alineación de Residuos Ponderada por Densidad para la Destilación de Modelos Híbridos Visión-Lenguaje

1. Declaración del Problema

La destilación de Grandes Modelos Visión-Lenguaje (VLM) hacia arquitecturas híbridas eficientes (por ejemplo, mezclando capas lineales Mamba-2 con capas de atención) es un enfoque estándar para reducir los costos de inferencia. Sin embargo, los conjuntos de pruebas agregados existentes enmascaran un modo de fallo crítico: mientras que los estudiantes híbridos a menudo preservan capacidades amplias de razonamiento, sufren caídas significativas en el rendimiento en tareas que requieren percepción visual de granularidad fina, como el Reconocimiento Óptico de Caracteres (OCR), la comprensión de documentos y el análisis de gráficos.

Los autores identifican que la destilación de conocimiento (KD) estándar trata todos los tokens visuales de manera uniforme. En imágenes de alta resolución, la mayoría de los parches consisten en fondos suaves (cielo, paredes) con baja densidad de información, mientras que una pequeña fracción contiene detalles críticos (texto, bordes, límites de objetos). La KD estándar asigna términos de pérdida excesivos a los parches de fondo de baja información, fallando en proteger los parches dispersos y de alta densidad esenciales para responder preguntas específicas. Esto resulta en un "colapso de la percepción de granularidad fina" donde el estudiante puede describir una escena en general pero falla en leer dígitos o etiquetas específicos dentro de ella.

2. Metodología: HEED

El método propuesto, HEED (Alineación de Residuos Ponderada por Densidad), aborda este desequilibrio reponderando la pérdida de destilación basándose en la densidad de información local de los parches visuales.

2.1 Perspectiva Diagnóstica

Mediante diagnósticos a nivel de token, los autores localizan el fallo en posiciones específicas:

• Deriva de Residuos: El 10% superior de parches con la mayor densidad de características local (definida por la disimilitud de características ViT respecto a los vecinos) exhibe una deriva de residuo 3.6× mayor desde el profesor en comparación con el 10% inferior.
• Sensibilidad de la Respuesta: Enmascarar estos parches de alta densidad causa una caída 3.5× mayor en la puntuación de respuesta del profesor en comparación con los parches de baja densidad.
• Poder Predictivo: La densidad visual local es el predictor más fuerte de la deriva de residuos, superando al tipo de token (texto vs. visual), la profundidad de la capa y la concentración de atención del profesor.

2.2 El Algoritmo HEED

HEED implementa una estrategia de alineación de residuos ponderada por densidad, libre de entrenamiento, sin modificar la arquitectura del modelo ni añadir parámetros:

1. Estimación de Densidad: Para cada parche visual $p$, se calcula una puntuación de densidad $\rho(p)$ utilizando la autodisimilitud de características ViT congeladas dentro de una vecindad $3\times3$:
   $$\rho(p) = 1 - \frac{1}{|N(p)|} \sum_{q \in N(p)} \frac{v_p^\top v_q}{\|v_p\| \|v_q\|}$$
   Un $\rho(p)$ alto indica un parche localmente distintivo (por ejemplo, texto, bordes); un $\rho(p)$ bajo indica un fondo suave.
2. Ponderación: Estas puntuaciones se normalizan y convierten en pesos de pérdida $w(p)$ utilizando un mapeo exponencial con un parámetro de temperatura $\tau$. Los tokens de texto reciben un impulso constante basado en la densidad visual promedio de la imagen.
3. Alineación de Residuos: En lugar de alinear las salidas de bloques por capa (alineación de estado oculto estándar) o usar pesos uniformes, HEED alinea los flujos residuales del profesor y el estudiante. La pérdida de alineación se pondera por las puntuaciones de densidad:
   $$L_{HEED} = \frac{1}{|S^*|} \sum_{\ell \in S^*} \sum_{p=1}^{T} w(p) \| r_{\ell,p}^{\tilde{\theta}} - r_{\ell,p}^{\theta} \|_2^2$$
   Esto asegura que el estudiante híbrido priorice preservar la información en posiciones de alta densidad durante el proceso de destilación.

2.3 Pipeline de Entrenamiento

El método sigue un cronograma de destilación de tres etapas:

• Etapa 1 (Calentamiento): Alinea los flujos residuales con pesos de atención congelados.
• Etapa 2 (Bloque Completo): Entrena bloques completos Mamba-2 con alineación de residuos ponderada por densidad.
• Etapa 3 (Extremo a Extremo): KD estándar basada en logits (divergencia KL + Entropía Cruzada).
  HEED difiere de los métodos de línea base únicamente en la pérdida de alineación utilizada en las Etapas 1 y 2.

3. Contribuciones Clave

1. Diagnóstico: El artículo demuestra que la destilación de VLM híbridos falla selectivamente en tareas de percepción de granularidad fina (OCR, documentos) mientras preserva el razonamiento, atribuyendo esto al tratamiento uniforme de los tokens en la KD estándar.
2. Mecanismo: Establece que las posiciones visuales de alta densidad (características localmente distintivas) son la fuente principal de deriva y son las más críticas para la respuesta del profesor. La reponderación aleatoria de parches arbitrarios no produce el mismo beneficio; el peso debe apuntar específicamente a posiciones de alta densidad.
3. Método (HEED): Una intervención ligera y libre de parámetros que utiliza la autodisimilitud del parche como proxy de importancia. Mejora el rendimiento sin alterar la arquitectura de inferencia ni añadir costos en tiempo de inferencia.

4. Resultados Experimentales

Los experimentos se realizaron destilando Qwen3-VL-8B-Instruct en un híbrido 3:1 Mamba-2/Atención.

• Ganancias de Rendimiento:
  • En comparación con la KD extremo a extremo estándar, HEED mejora OCRBench v2 en 8.7 puntos.
  • Logra una ganancia promedio de 5.13 puntos en 10 conjuntos de pruebas.
  • En una comparación controlada (cambiando solo el peso de alineación de uniforme a ponderado por densidad), HEED recupera 4.7 puntos en OCRBench v2 y 2.24 puntos en el promedio de 10 conjuntos de pruebas.
• Selectividad: Las ganancias se concentran en conjuntos de pruebas de percepción de granularidad fina (OCR, DocVQA, ChartQA), mientras que los conjuntos de pruebas de razonamiento (MMMU-Pro, MMStar) permanecen estables o ligeramente mejorados.
• Post-Entrenamiento: Después de SFT y DPO estándar, el estudiante HEED alcanza rendimiento a nivel de profesor en el promedio de 10 conjuntos de pruebas (78.79 vs. 78.41) mientras mantiene la eficiencia de la arquitectura híbrida.
• Eficiencia: El estudiante conserva el perfil de eficiencia del modelo híbrido: 4.12× de rendimiento y 68% de ahorro de memoria a una longitud de contexto de 128k en comparación con el profesor, sin costo adicional en tiempo de inferencia.
• Robustez: Los resultados se mantienen a través de diferentes semillas aleatorias, diferentes modelos profesores (InternVL-3.5, MiniCPM-V 4.5, GLM-4.6V) y diferentes arquitecturas híbridas (Gated DeltaNet).

5. Significado y Afirmaciones

El artículo afirma que HEED aborda una limitación fundamental en la compresión de entradas multimodales heterogéneas en modelos de secuencia híbridos de capacidad fija. El principio central es que las pérdidas de destilación no deben tratar todos los tokens de manera uniforme; en su lugar, deben reflejar la importancia variable de los tokens basada en su densidad de información local.

Los autores posicionan HEED como complementario a los métodos de reducción de tokens en tiempo de inferencia (por ejemplo, VisionZip, FastV). Mientras que esos métodos reducen el número de tokens durante la inferencia, HEED optimiza la señal de entrenamiento para asegurar que el modelo aprenda a preservar los tokens más críticos durante la conversión de un profesor de atención completa a un estudiante híbrido. El método se presenta como una intervención práctica y de bajo costo que recupera capacidades de granularidad fina perdidas sin comprometer las ganancias de eficiencia de las arquitecturas híbridas.

Limitaciones Reconocidas:

• La densidad es un proxy de importancia, no una medida universal de saliencia semántica. Favorece el texto y los bordes, pero puede ser menos efectiva para tareas definidas globalmente o con patrones adversarios.
• El método depende de características ViT congeladas; no afirma ser una prueba causal de la deriva, sino más bien una intervención empírica altamente efectiva.
• Los resultados son específicos del entorno de conversión de VLM híbrido probado; los autores no afirman dominancia de Pareto sobre modelos de atención completa en general.