Resumen Técnico: Evolución Espectral Guiada para la Poda de Tokens en Modelos de Lenguaje de Gran Escala Multimodales

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han logrado avances significativos en el razonamiento visual y el diálogo, pero sufren de altos costos computacionales debido al procesamiento de cientos o miles de tokens visuales por muestra. Esta ineficiencia es particularmente aguda en escenarios de imágenes y videos de alta resolución.

Los métodos actuales de poda de tokens intentan mitigar esto reduciendo la redundancia de los tokens visuales. Sin embargo, los enfoques existentes suelen depender de señales de una sola capa, como puntuaciones de atención, magnitudes de características o métricas de similitud calculadas dentro de una capa Transformer específica. Los autores identifican dos limitaciones críticas en estos métodos:

1. Sesgo Posicional: Las puntuaciones de atención suelen exhibir un sesgo hacia los tokens que aparecen más tarde en la secuencia aplanada debido a los efectos de la codificación posicional, en lugar de reflejar la verdadera importancia semántica.
2. Representación Estática: Las señales de una sola capa pasan por alto la transformación entre capas de las representaciones visuales. En los MLLMs, los tokens visuales experimentan una evolución estructurada desde detalles espaciales de bajo nivel hacia abstracciones semánticas de alto nivel a medida que pasan por las capas del decodificador del LLM. Las señales instantáneas no logran capturar esta transición dinámica, lo que conduce a la posible poda de tokens semánticamente activos o a la retención de tokens de fondo redundantes.

2. Metodología: Evolución Espectral Entre Capas (CLSE)

Para abordar estas limitaciones, los autores proponen el marco de Evolución Espectral Entre Capas (CLSE, por sus siglas en inglés), un método de poda de tokens libre de entrenamiento. En lugar de medir la importancia del token basándose en la magnitud de la característica o la intensidad de la atención en un solo punto, el CLSE cuantifica cómo evolucionan las representaciones de los tokens entre las capas del Transformer en el dominio de la frecuencia.

Mecanismo Central

El método opera sobre la observación de que los tokens semánticamente activos experimentan una redistribución espectral significativa (transicionando de detalles estructurales de alta frecuencia a abstracciones semánticas de baja frecuencia) a través de las capas, mientras que los tokens de fondo redundantes permanecen relativamente estacionarios en el dominio de la frecuencia.

El proceso de CLSE involucra los siguientes pasos:

1. Proyección de Frecuencia: Los tokens visuales en una capa específica $\ell$ se remodelan en mapas de características espaciales 2D y se transforman al dominio de la frecuencia mediante la Transformada Rápida de Fourier (FFT).
2. Filtrado de Paso Alto: Se aplica un filtro de paso alto Gaussiano al espectro para suprimir los patrones globales de baja frecuencia e aislar la energía estructural de alta frecuencia. Esto aísla la información estructural "residual".
3. Cálculo de la Evolución Espectral: El método calcula la diferencia normalizada entre las distribuciones de energía de alta frecuencia de capas adyacentes ($\ell$ y $\ell+1$).
   • Sea $\mathbf{S}_\ell$ la distribución espacial de la energía de alta frecuencia en la capa $\ell$.
   • La intensidad de la evolución $\mathcal{I}^{(\ell)}$ se calcula como:
     $$\mathcal{I}^{(\ell)} = \text{clip}\left( \frac{|\mathbf{S}_{\ell+1} - \mathbf{S}_{\ell}|}{\mathbf{S}_{\ell} + \overline{\mathbf{S}}_{\ell} + \epsilon}, 0, \tau_{\max} \right)$$
   • Aquí, $\overline{\mathbf{S}}_{\ell}$ es la energía media entre los tokens, que actúa como un regularizador para suprimir fluctuaciones menores en regiones inactivas.
4. Selección de Tokens: Los tokens con puntuaciones de intensidad de evolución más altas se consideran semánticamente activos y se preservan. Los tokens con puntuaciones bajas (que indican representaciones estáticas y redundantes) se podan.

Integración

El CLSE se integra en las primeras capas del decodificador del LLM (específicamente entre los embeddings de entrada y la salida de la primera capa del decodificador). Funciona como un módulo plug-and-play que guía la selección de tokens antes de que las capas subsiguientes procesen la secuencia reducida. El marco es ortogonal a las estrategias de fusión de tokens y puede combinarse con ellas (por ejemplo, CLSE-M).

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco de Evolución Espectral Entre Capas (CLSE): Un principio novedoso para la estimación de la importancia de los tokens que caracteriza la evolución de las representaciones visuales desde detalles estructurales hacia abstracciones semánticas a través de las capas del LLM, yendo más allá de las estadísticas de una sola capa.
2. Estrategia de Poda Libre de Entrenamiento: Una implementación práctica que identifica y elimina tokens redundantes durante la inferencia sin requerir el reentrenamiento del modelo o la modificación de los pesos. Aprovecha la dinámica espectral para preservar los tokens que experimentan cambios representacionales significativos.
3. Validación Empírica: Experimentos extensos en diversos benchmarks de imagen y video que demuestran que CLSE logra un equilibrio superior entre eficiencia y precisión, particularmente bajo ratios de reducción de tokens agresivos.

4. Resultados Experimentales

Los autores evaluaron CLSE en múltiples MLLMs (LLaVA-1.5, LLaVA-Next, Qwen2-VL) y benchmarks (GQA, MMB, POPE, SQA, VQAText, etc.).

Comprensión de Imágenes

• Rendimiento: En LLaVA-1.5-7B, CLSE logró una precisión promedio del 99.4% respecto al modelo de tokens completos al retener solo 192 tokens (una reducción del 66.7%), superando a métodos de vanguardia como FastV (92.1%) y PDrop (96.9%).
• Reducción Agresiva: Incluso con una reducción del 88.9% (64 tokens), CLSE mantuvo un rendimiento del 94.8%, superando significativamente a sus competidores que sufrieron una degradación mayor.
• Generalización: El método demostró mejoras consistentes en diferentes arquitecturas de modelos (LLaVA-Next-7B, Qwen2-VL-7B/72B), manteniendo una alta precisión donde los métodos basados en atención fallaron.

Comprensión de Video

• Compresión Extrema: En Video-LLaVA, comprimiendo los tokens de 2048 a 194 (>90% de reducción), CLSE logró un 35.7% de precisión promedio (usando la evaluación de GPT-4o-mini), comparado con el 26.1% de FastV.
• Variante de Fusión de Tokens (CLSE-M): Al recuperar los tokens podados y agruparlos basándose en puntuaciones espectrales, CLSE-M igualó el rendimiento del modelo original (38.7% de precisión) mientras reducía los FLOPs en aproximadamente un 90%.

Eficiencia

• Costo Computacional: CLSE reduce significativamente los FLOPs y la memoria del caché KV. En LLaVA-1.5-7B, logró una aceleración de 1.50× en el tiempo de pre-llenado (prefilling) con los FLOPs más bajos (43.9%) entre los métodos comparados.
• Escalabilidad: A diferencia de la poda basada en atención que requiere un cálculo de atención "Eager" (complejidad cuadrática $O(N^2)$) para extraer los pesos, CLSE se basa en FFT, manteniendo una complejidad casi lineal $O(N \log N)$. Esto asegura que la sobrecarga del propio mecanismo de poda permanezca baja incluso para secuencias largas.

5. Significado y Reivindicaciones

El artículo afirma que la Evolución Espectral Entre Capas proporciona una señal más fiable para la importancia de los tokens que las métricas instantáneas de atención o de magnitud.

• Mitigación del Sesgo: Al analizar el cambio en la representación a través de las capas en lugar del estado en una sola capa, CLSE mitiga el sesgo posicional inherente a las puntuaciones de atención.
• Fidelidad Semántica: El método se alinea con la comprensión teórica de que la decodificación de los MLLM implica una transición de detalles espaciales a abstracciones semánticas. Los tokens que participan activamente en esta transición (mostrando evolución espectral) son preservados, mientras que los tokens de fondo estáticos son eliminados.
• Robustez: El enfoque es robusto en diferentes niveles de compresión y escalas de modelos, ofreciendo una vía estable para acelerar los MLLMs sin necesidad de reentrenamiento.

Los autores concluyen que el modelado de la dinámica de la representación en el dominio de la frecuencia ofrece una dirección prometedora para el razonamiento multimodal eficiente, fomentando la exploración adicional de las representaciones espectrales en los MLLMs.