DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

1. El Problema

Los Modelos de Lenguaje y Visión (VLMs) han demostrado capacidades excepcionales en razonamiento multimodal, pero su adopción a gran escala está limitada por su alto costo computacional. La causa principal es la tokenización densa de las imágenes:

• Escalado Cuadrático: A diferencia del texto, donde el número de tokens crece linealmente, los tokens visuales escalan cuadráticamente con la resolución de la imagen ($H \times W$). Por ejemplo, LLaVA-1.5 procesa 576 tokens por imagen, mientras que LLaVA-NeXT puede generar más de 2.800 tokens.
• Costo de Atención: Esta gran cantidad de tokens visuales genera un costo de atención cuadrático en los transformadores, haciendo que los modelos sean limitados por memoria y latencia.
• Limitaciones de Métodos Existentes: Las soluciones actuales de eficiencia suelen ser unidireccionales:
  • Lado de la visión: Fusionan tokens demasiado pronto, arriesgando la pérdida de información (ej. VisionZip, PruMerge).
  • Lado del lenguaje: Eliminan tokens de forma uniforme o progresiva sin adaptación semántica profunda (ej. PyramidDrop, FastV).
  • Ninguna de estas optimiza conjuntamente la eliminación de redundancia y la retención contextual adaptativa.

2. Metodología: DUET-VLM

Los autores proponen DUET-VLM, un marco de compresión dual, "plug-and-play" y unificado que opera en dos etapas complementarias para reducir tokens visuales sin sacrificar precisión semántica.

Etapa 1: Compresión Visión-a-Visión (V2V) - Reducción de Redundancia

Antes de la interacción multimodal, el encoder de visión reduce los tokens mediante un enfoque de agrupamiento local:

• Selección de Tokens Dominantes: Se identifican $k_1$ tokens dominantes basados en los mapas de auto-atención (V2V) de la última capa del encoder (ej. CLIP). Estos representan las áreas de alta activación.
• Agrupamiento Local de Residuos: En lugar de promediar globalmente los tokens restantes (lo que diluye características de baja frecuencia), se agrupan localmente.
  • Los tokens residuales se dividen en $k_2$ pequeños clústeres.
  • Se seleccionan centroides y se promedian solo los vecinos dentro de un ancho de clúster fijo ($w$).
  • Esto preserva detalles finos y evita el ruido de fondo, eliminando tokens no asignados antes de que entren al modelo de lenguaje.

Etapa 2: Poda Visión-a-Texto (T2V) - Poda Semántica Guiada

Dentro del modelo de lenguaje (LLM), se realiza una poda progresiva y adaptativa:

• Guía Semántica: Se utilizan tokens de texto salientes (identificados por un estimador de saliencia, incluyendo el token de "sumidero" o último token) para calcular puntuaciones de atención cruzada (Texto-a-Visión).
• Poda Jerárquica: A medida que la información atraviesa las capas del LLM, se eliminan dinámicamente los tokens visuales menos relevantes basándose en las puntuaciones de atención cruzada.
• Mecanismo: En cada "etapa" (grupo de capas), se retiene un porcentaje de tokens ($\lfloor (1-\lambda) \cdot N_l \rfloor$) seleccionando los que tienen mayor atención hacia los tokens de texto clave. Esto asegura que las capas profundas se centren solo en regiones visualmente críticas para la tarea.

3. Contribuciones Clave

1. Optimización Conjunta Visión-Lenguaje: A diferencia de métodos unidireccionales, DUET-VLM acopla ambos backbones mediante una interfaz diferenciable, permitiendo que las representaciones visuales y el contexto lingüístico se adapten mutuamente durante la reducción.
2. Compresión Visual de Dos Etapas: Un marco unificado que combina la fusión estructural temprana (V2V) con la poda semántica tardía (T2V), manteniendo detalles de bajo nivel al inicio y eliminando redundancia a medida que avanza el razonamiento.
3. Retención de Precisión Extrema: El método logra mantener más del 99% de la precisión de la línea base con una reducción del 67% de tokens, y más del 97% incluso con una reducción del 89%.
4. Generalización: El enfoque funciona tanto en tareas de imágenes como de video, superando a los métodos anteriores en benchmarks diversos.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como LLaVA-1.5-7B, Qwen-2.5-VL-7B y Video-LLaVA-7B.

• Inferencia en LLaVA-1.5-7B:

  • Con 192 tokens (reducción del 67%): 99.0% de precisión promedio (superando a VisionZip y PyramidDrop).
  • Con 64 tokens (reducción del 89%): 95.4% de precisión promedio.
  • Se observa una reducción del 31% en el tiempo de entrenamiento al usar DUET-VLM entrenado, manteniendo una precisión del 99.7% en la configuración de 192 tokens.

• Comprensión de Video (Video-LLaVA-7B):

  • Con una reducción del 53.1% de tokens, el método alcanza >100% de precisión respecto a la línea base (mejorando el rendimiento).
  • Incluso con una reducción extrema del 93.4% (136 tokens), mantiene un 97.6% de precisión, superando ampliamente a otros métodos como FastV o SparseVLM.

• Generalización: En Qwen-2.5-VL-7B, DUET-VLM (C) mantiene >98% de precisión con reducciones agresivas, demostrando robustez en arquitecturas modernas.

5. Significado e Impacto

DUET-VLM demuestra que una gestión inteligente de tokens puede igualar o incluso superar la escalabilidad tradicional de modelos (model scaling) en términos de precisión, mientras reduce drásticamente los requisitos computacionales.

• Eficiencia sin Sacrificio: Permite entrenar e inferir modelos VLMs compactos y semánticamente ricos dentro del mismo presupuesto computacional, eliminando la necesidad de compensar la velocidad con la precisión.
• Adaptabilidad: La capacidad de adaptarse a entradas visuales reducidas (imágenes o video) sin pérdida significativa de rendimiento sugiere un camino viable para desplegar VLMs en dispositivos con recursos limitados o en aplicaciones de tiempo real.
• Nueva Dirección: El trabajo establece que la optimización conjunta de la compresión visual y la poda guiada por texto es superior a las estrategias de compresión de una sola etapa, abriendo nuevas vías para la investigación en eficiencia multimodal.

El código del proyecto está disponible públicamente en el repositorio de AMD AGI.