Rethinking Token Reduction for Large Vision-Language Models

1. El Problema

Los Grandes Modelos Visuales-Lingüísticos (LVLMs) han demostrado capacidades excepcionales en la comprensión y el razonamiento visual. Sin embargo, su despliegue eficiente enfrenta un obstáculo crítico: el alto costo de inferencia causado por la gran cantidad de tokens visuales que deben procesarse.

• Limitación de los métodos actuales: Las técnicas existentes de reducción de tokens se han desarrollado principalmente para escenarios de Pregunta-Respuesta Visual de un solo turno (VQA). Estas estrategias suelen ser "dependientes del prompt" (basadas en la primera pregunta) o "agnósticas al prompt" pero heurísticas (basadas en puntuaciones de atención).
• El desafío del Multi-turno (MT-VQA): En conversaciones multi-turno, las preguntas futuras son impredecibles y pueden referirse a cualquier región de la imagen.
  • Los métodos dependientes del prompt descartan información visual útil para turnos posteriores al centrarse solo en la primera pregunta.
  • Los métodos agnósticos al prompt basados en heurísticas (como los puntajes de atención hacia el token [CLS] o tokens de texto) resultan subóptimos, ya que los tokens retenidos por estas reglas no siempre coinciden con la información visual crítica para el razonamiento futuro.

2. Metodología: MetaCompress

Los autores proponen MetaCompress, un método de reducción de tokens basado en el aprendizaje (learning-based) y agnóstico al prompt, diseñado específicamente para superar las limitaciones de las heurísticas manuales.

A. Formulación del Problema

El trabajo reformula la reducción de tokens como un problema de optimización de un mapeo de compresión. En lugar de usar reglas fijas, se busca aprender una matriz de compresión óptima $P$ que minimice la discrepancia en las respuestas del modelo entre la secuencia visual original y la comprimida.

• Se unifican conceptualmente el pruning (poda) y el merging (fusión) bajo una proyección lineal aprendible.

B. Análisis Preliminar (Hallazgo Clave)

Antes de diseñar el modelo, los autores investigaron qué tokens deberían conservarse. Al entrenar una matriz de compresión óptima para imágenes individuales, descubrieron que:

• Los tokens retenidos por la matriz aprendida no tienen una relación obvia con las métricas heurísticas comunes (como la atención al token [CLS] o a los tokens del prompt).
• Esto valida que las heurísticas actuales son subóptimas y que se requiere un enfoque aprendido.

C. Arquitectura de MetaCompress

Para hacer el método práctico y escalable a diferentes resoluciones y modelos (como LLaVA-NeXT o InternLM-XComposer-2.5), diseñaron un generador de matrices de compresión ($P_{meta}$):

1. Entrada: Solo la secuencia visual codificada ($X_{IMG}$), sin depender del texto (prompt).
2. Mecanismo:
   • Utiliza una capa de embebido de posición.
   • Aplica una proyección de muestreo de consultas ($\tilde{X}_q$) mediante pooling promedio con un tamaño de núcleo y paso ajustables para adaptarse a cualquier longitud de secuencia.
   • Calcula una proyección de claves ($X_k$).
   • Genera la matriz de compresión $P$ mediante un producto interno ponderado entre consultas y claves, seguido de una función de activación (Softmax).
3. Ubicación: Se inserta justo antes del decodificador del LLM, evitando la sobrecarga computacional en capas intermedias.

D. Paradigma de Entrenamiento

MetaCompress se entrena de manera eficiente en datos:

• Objetivo: Minimizar la divergencia de Kullback-Leibler (KL) entre la distribución de respuestas del modelo original y la comprimida ($L_{pred}$).
• Regularización: Se añaden términos para evitar soluciones triviales (colapso) y fomentar la dispersión de la atención:
  • $L_{entropy}$: Promueve la entropía en la matriz de compresión.
  • $L_{collapse}$: Penaliza que todos los tokens comprimidos provengan de la misma fuente.
• Eficiencia: Solo requiere un subconjunto pequeño de datos (~20k muestras) y entrena únicamente los parámetros del generador ligero, sin necesidad de reentrenar todo el LVLM.

3. Contribuciones Clave

1. Exploración del escenario MT-VQA: Identifican y demuestran que los métodos de reducción de tokens actuales fallan en conversaciones multi-turno debido a su dependencia de heurísticas de atención subóptimas.
2. MetaCompress: Introducen un método novedoso, agnóstico al prompt y basado en aprendizaje, que aprende un mapeo de compresión óptimo sin depender de criterios heurísticos manuales.
3. Paradigma de Entrenamiento Eficiente: Desarrollan una estrategia de entrenamiento que aprende mapeos óptimos con costos computacionales y de datos mínimos, logrando una alta generalización.

4. Resultados Experimentales

Los autores evaluaron MetaCompress en tres benchmarks de MT-VQA (MT-VQA-v2, MT-GQA, ConvBench) utilizando cinco arquitecturas de LVLM (incluyendo LLaVA-1.5, LLaVA-NeXT e InternLM-XComposer-2.5).

• Rendimiento (Precisión): MetaCompress supera consistentemente a los métodos de base (Base), aleatorios, de muestreo equidistante (Sample) y a los métodos SOTA como FastV y PruMerge.
  • En el modelo LLaVA-NeXT-13b con una tasa de reducción del 90%, MetaCompress logra un promedio de 75.26% de precisión en MT-VQA-v2, superando a FastV (58.43%) y a PruMerge (no aplicable directamente o inferior en este contexto).
  • Mantiene un rendimiento superior incluso en el turno 3 de las conversaciones, donde otros métodos colapsan.
• Eficiencia:
  • Logra una reducción de tokens del 90% manteniendo una eficiencia computacional comparable al muestreo aleatorio o equidistante.
  • Reduce significativamente el tiempo hasta el primer token (TTFT) y el uso de memoria GPU en comparación con la inferencia base.
• Generalización: El modelo entrenado en un conjunto de datos (ej. MT-GQA) se transfiere exitosamente a otros (ej. ConvBench o Video-MME) sin reentrenamiento específico, demostrando robustez.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de cómo se aborda la eficiencia en LVLMs para escenarios conversacionales reales:

• Superación de Heurísticas: Demuestra empíricamente que las reglas heurísticas (basadas en atención) son insuficientes para tareas complejas y multi-turno, abriendo la puerta a soluciones puramente basadas en aprendizaje.
• Viabilidad Práctica: Al ser agnóstico al prompt y adaptable a resoluciones dinámicas, MetaCompress es una solución lista para usar en aplicaciones de chat con imágenes y video, donde las consultas son abiertas y variables.
• Eficiencia de Recursos: Ofrece una vía para desplegar LVLMs potentes en dispositivos con recursos limitados o en entornos de producción con alta latencia, sin sacrificar la capacidad de razonamiento en diálogos largos.

En resumen, MetaCompress establece un nuevo estándar para la reducción de tokens visuales, priorizando el aprendizaje de la compresión óptima sobre las reglas manuales, lo que resulta en una mayor precisión y eficiencia en interacciones multimodales complejas.