Resumen Técnico: Una Encuesta sobre la Compresión de Tokens para Modelos de Lenguaje de Gran Escala Multimodales Eficientes

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han alcanzado un rendimiento notable al procesar contextos complejos, que incluyen imágenes de alta resolución, secuencias de video extendidas y entradas de audio largas. Sin embargo, esta capacidad introduce un cuello de botella computacional significativo: la complejidad cuadrática ($O(N^2)$) de los mecanismos de autoatención con respecto al número de tokens de entrada ($N$).

A diferencia del texto, donde el recuento de tokens es manejable, los datos visuales y auditivos generan secuencias órdenes de magnitud más largas. Por ejemplo, un video de 90 minutos puede producir aproximadamente 54 millones de tokens, mientras que una sola imagen de alta resolución o un archivo de audio de 2 horas genera decenas de miles o millones de tokens. Esta disparidad causa una severa latencia de inferencia y un alto consumo de memoria, lo que dificulta el despliegue práctico de los MLLM. Además, los datos multimodales contienen una redundancia sustancial (espacial en imágenes, espacio-temporal en video y temporal/espectral en audio), con estudios que indican que más del 50% de los tokens en secuencias típicas de MLLM reciben una atención mínima durante la inferencia.

2. Metodología y Taxonomía

Este artículo presenta la primera encuesta sistemática y síntesis de las técnicas de compresión de tokens específicamente para MLLM. Los autores definen la compresión de tokens estrictamente como métodos que reducen explícitamente el número de tokens pasados a las capas subsiguientes ($M < N$), distinguiéndola del muestreo a nivel de entrada (por ejemplo, extracción de fotogramas) y de los mecanismos de dispersión de la atención que mantienen la longitud de la secuencia pero reducen las vías computacionales.

La encuesta categoriza los enfoques existentes a través de dos lentes primarias:

A. Categorización Centrada en la Modalidad

Reconociendo que los patrones de redundancia difieren entre modalidades, los métodos se agrupan por su enfoque de datos principal:

1. Compresión Centrada en la Imagen: Aborda la redundancia espacial en datos visuales estáticos. Los parches vecinos suelen representar texturas o colores similares.
2. Compresión Centrada en el Video: Apunta a la redundancia espacio-temporal en secuencias dinámicas, donde los fotogramas consecutivos comparten elementos de fondo extensos y un movimiento limitado.
3. Compresión Centrada en el Audio: Maneja la redundancia temporal y espectral en señales acústicas, donde la información relevante suele concentrarse en segmentos dispersos entre el silencio o el ruido.

B. Categorización Centrada en el Mecanismo

Más allá de la modalidad, el artículo disecciona los métodos basados en sus principios algorítmicos subyacentes, que a menudo trascienden tipos de datos específicos:

1. Basados en Transformación: Transforman directamente la información de la de la trans-modalidad para comprimir los tokens alterando la escala o la representación (por ejemplo, Pixel Unshuffle, Pooling Espacial/Temporal, Convolución). Estos métodos suelen preservar la representación estructural pero ofrecen una flexibilidad limitada en las tasas de compresión.
2. Basados en Similitud: Identifican y fusionan tokens basándose en la distancia o similitud en un espacio implícito (por ejemplo, K-Vecinos Más Cercanos, clustering). Aunque son efectivos, corren el riesgo de perder información espacial o temporal detallada si los tokens se sobre-generalizan.
3. Basados en Atención: Explotan la dispersión de los mecanismos de atención para podar tokens con puntuaciones de atención bajas. Estos pueden aplicarse dentro del Codificador (codificadores de visión/audio) o del Decodificador (backbone del LLM). Aunque son potentes, enfrentan desafíos en el despliegue debido a la incompatibilidad con las librerías de aceleración optimizadas (por ejemplo, FlashAttention) que computan la atención de forma implícita.
4. Basados en Consultas (Queries): Utilizan consultas externas (prompts) para guiar la compresión, ya sea a través de la Destilación de Tokens (aprender a representar la información visual/auditiva con menos tokens) o la Selección Cross-Modal (filtrar tokens basados en la relevancia con el texto). Estos son altamente relevantes para la tarea, pero pueden tener dificultades en conversaciones de múltiples turnos donde las consultas cambian.

3. Contribuciones Clave

• Primera Encuesta Estructurada: Este trabajo proporciona la primera taxonomía exhaustiva de la compresión de tokens específicamente para MLLM, cerrando la brecha entre la compresión de prompts centrada en texto y las técnicas específicas de visión/audio.
• Marco Unificado: Demuestra que, a pesar de las redundancias específicas de cada modalidad, los principios algorítmicos fundamentales (identificación de importancia, cuantificación de redundancia y fusión/poda de tokens) son consistentes a través de los dominios visual, temporal y auditivo.
• Análisis Crítico de Compensaciones (Trade-offs): El artículo detalla los pros y contros de cada mecanismo, como la naturaleza libre de parámetros del pooling frente a la abstracción aprendible de la convolución, y la eficiencia de la poda basada en atención frente a su incompatibilidad con los aceleradores de hardware actuales.
• Identificación de Desafíos: La encuesta destaca obstáculos críticos, incluyendo la degradación del rendimiento en altas tasas de compresión (especialmente en modelos más grandes), la pérdida de detalles finos requeridos para tareas como OCR o localización temporal, y la dificultad de integrar la poda dinámica en sistemas de conversación de múltiples turnos.

4. Resultados y Observaciones

El artículo sintetiza los hallazgos de numerosos modelos y métodos de vanguardia (por ejemplo, InternVL, Qwen2-VL, FastV, ToMe, HoliTom, SpeechPrune):

• Eficiencia vs. Rendimiento: Se puede lograr una reducción significativa de tokens con una pérdida de rendimiento mínima. Por ejemplo, retener solo el 10-25% de los tokens visuales a menudo mantiene un rendimiento competitivo en benchmarks como VQA2 y VideoMME. Sin embargo, una compresión agresiva conduce a declives pronunciados en el rendimiento, particularmente en modelos con mayores capacidades de representación (por ejemplo, Qwen2.5-VL, LLaVA-OV-72B).
• Sensibilidad a la Tarea: Las estrategias de compresión no son universalmente aplicables. Las tareas que requieren una alta densidad de información (por ejemplo, Reconocimiento Óptico de Caracteres) o un razonamiento temporal preciso sufren más de la fusión o poda de tokens que el cuestionamiento visual general.
• Brechas de Despliegue: Muchos métodos basados en atención, aunque teóricamente eficientes, son difíciles de desplegar en escenarios del mundo real debido a su dependencia de puntuaciones de atención explícitas, las cuales son inaccesibles en los pipelines de inferencia optimizados y fusionados.

5. Significado y Direcciones Futuras

El artículo sostiene que la compresión de tokens no es simplemente una técnica de post-optimización, sino un habilitador crítico para la escalabilidad de los MLLM. Su importancia radica en:

• Comprensión de Contexto Largo de un Solo Paso (One-Shot): Al condensar la información en tokens densos, los MLLM pueden procesar repositorios de código completos o videos largos en una sola pasada sin requerir cambios arquitectónicos como RingAttention.
• Mejora del Alineamiento de Modalidades: Los métodos de compresión, particularmente la destilación basada en consultas, pueden mejorar el alineamiento entre las entradas multimodales y las representaciones de lenguaje al filtrar información de baja densidad o irrelevante.
• Sinergia Ortogonal: El artículo señala que la compresión de tokens (reducción de la longitud de la secuencia $N$) es estructuralmente ortogonal a la compresión de pesos (reducción de la dimensión del modelo $D$), lo que sugiere que combinar estos enfoques (por ejemplo, cuantización + poda de tokens) puede generar ganancias de eficiencia compuestas.

Direcciones Futuras Identificadas:

• Compresión Multimodal Conjunta: Ir más allá de las estrategias unimodales hacia marcos que exploten la sinergia cross-modal (por ejemplo, usar pistas de audio para podar tokens de video) para los Omni-LLMs.
• Diseño de Arquitectura: Pasar de una compresión remedial al diseño de modelos que incorporen intrínsecamente la redundancia de datos durante la abstracción de características.
• Estándares de Evaluación: El artículo hace un llamado a nuevos benchmarks diseñados específicamente para evaluar la eficacia de la compresión de tokens, yendo más allá de las métricas generales de VQA hacia tareas que requieran localización temporal de grano fino y retención de detalles de alta fidelidad.

En conclusión, esta encuesta establece un recurso fundamental para investigadores y desarrolladores, consolidando el progreso actual y trazando el camino hacia Modelos de Lenguaje de Gran Escala Multimodales más eficientes, escalables y robustos.