Resumen Técnico: VisCo – Aprovechamiento de los Modelos de Lenguaje de Gran Escala como Codificadores Intrínsecos para la Compresión de Tokens Visuales

1. Declaración del Problema

Los Modelos de Visión-Lenguaje (VLM) suelen procesar imágenes de alta resolución codificándolas en un gran número de tokens visuales. Esto resulta en una latencia de inferencia sustancial y una sobrecarga de memoria debido a la complejidad cuadrática de los mecanismos de autoatención y los requisitos de almacenamiento para los cachés de Clave-Valor (KV). Este cuello de botella limita severamente el despliegue de los VLM en escenarios con recursos limitados y en tiempo real.

Las soluciones existentes para la compresión de tokens visuales se dividen en dos categorías, ambas con limitaciones significativas:

• Métodos sin entrenamiento (Training-free): Dependen de métricas heurísticas (p. ej., puntuaciones de atención o similitud de características) para podar o fusionar tokens. Aunque son eficientes, sufren una degradación de rendimiento significativa bajo altas tasas de compresión. Son propensos al "desplazamiento de atención" (attention shift), lo que provoca alucinaciones, y a menudo no logran preservar la semántica global guiada por texto ni los detalles finos.
• Métodos basados en entrenamiento (Training-based): Introducen módulos de compresión externos o requieren un reentrenamiento sustancial (incluyendo realineación y ajuste de instrucciones). Aunque son más robustos, incurren en costos de reentrenamiento pesados, comprometen los conocimientos previos (priors) del VLM preentrenado y a menudo carecen de flexibilidad de tipo "plug-and-play".

El desafío central es lograr una compresión de tokens visuales efectiva que preserve la fidelidad semántica bajo una compresión agresiva (por ejemplo, reduciendo los tokens a una sola unidad) sin requerir un reentrenamiento masivo o módulos externos.

2. Metodología: Marco de Trabajo VisCo

Los autores proponen VisCo, un marco de autocompresión eficiente en entrenamiento que reutiliza el propio VLM preentrenado como un compresor intrínseco. VisCo está diseñado como un autoencoder de VLM asimétrico con parámetros compartidos, que opera en dos etapas:

A. Arquitectura Asimétrica

• Etapa de Codificación: El marco aumenta el backbone del VLM preentrenado con un módulo ligero entrenable. Específicamente, introduce un pequeño conjunto de tokens de memoria ($X_m$) aprendibles y utiliza adaptadores LoRA en las proyecciones Q/V. El codificador procesa la secuencia conjunta de tokens visuales ($X_v$) y tokens de memoria ($X_m$).
• Etapa de Decodificación: Se eliminan los adaptadores LoRA y se reutiliza directamente el backbone del VLM preentrenado original y congelado como decodificador. Este diseño asegura que VisCo requiera solo una adaptación ligera de las capacidades existentes en lugar de reaprender el proceso de generación multimodal desde cero.

B. Construcción de Secuencia y Enmascaramiento Causal

VisCo se adhiere estrictamente al mecanismo de enmascaramiento causal estándar de los VLM de solo decodificador (decoder-only). Los tokens de memoria se anexan después de los tokens visuales en la secuencia de entrada. Esto permite que los tokens de memoria atiendan naturalmente a todos los tokens visuales precedentes utilizando el conocimiento previo de atención intrínseco del modelo, agregando información visual rica sin introducir reglas de interacción personalizadas.

C. Agregación y Paso de Información Jerárquica

Reconociendo que las capas de Transformer exhiben especialización funcional (las capas inferiores codifican patrones locales, las capas superiores codifican semántica abstracta), VisCo emplea un mecanismo de paso de información jerárquica:

1. Construcción del Banco de Memoria: Durante la codificación, en lugar de pasar los estados ocultos finales al decodificador, el sistema retiene las matrices de Clave ($K$) y Valor ($V$) correspondientes únicamente a los tokens de memoria en cada capa $l$. Estas se almacenan en un banco de memoria por capas ($K_{mem}, V_{mem}$).
2. Decodificación Jerárquica: Durante la decodificación, estos cachés KV de memoria por capa se pueblan directamente en el caché KV del decodificador. Esto permite que el decodificador acceda a información semántica de multi-granularidad (desde texturas de bajo nivel hasta discurso de alto nivel) sin necesidad de capas de proyección, aprovechando el intercambio de parámetros entre el codificador y el decodificador.

D. Objetivo de Entrenamiento

VisCo se ajusta mediante end-to-end usando teacher forcing para maximizar la verosimilitud condicional de la respuesta de referencia dada la memoria comprimida y las entradas textuales. No se introducen objetivos de preentrenamiento adicionales.

3. Contribuciones Clave

1. Marco de Autocompresión Intrínseca Asimétrica: VisCo utiliza el propio VLM preentrenado como el compresor, manteniendo intacto el backbone y requiriendo solo un entrenamiento ligero (LoRA + tokens de memoria aprendibles).
2. Mecanismo de Paso de Información Jerárquica: El método introduce un mecanismo para transferir semántica de multi-granularidad desde las capas del codificador hacia el decodificador a través de cachés KV por capa, preservando la jerarquía estructural de la información visual bajo compresión.
3. Evaluación Exhaustiva: Experimentos extensos a través de 3 backbones de VLM (LLaVA-1.5-7B, Qwen2-VL-2B, Qwen2-VL-7B) y 6 benchmarks demuestran una superioridad consistente sobre los métodos existentes, particularmente bajo compresión agresiva.

4. Resultados Experimentales

El artículo evalúa VisCo en benchmarks que incluyen GQA, MMB, MMB-CN, MME, POPE y MMVet.

• Rendimiento bajo Compresión Agresiva:

  • En LLaVA-1.5-7B (576 tokens $\to$ 32 tokens), VisCo retiene el 91.8% del rendimiento original, superando al mejor baseline (VisPruner) por 4.0 puntos en la puntuación promedio.
  • En el escenario extremo de un solo token (1 token), VisCo retiene el 85.3% del rendimiento original, superando significativamente a los métodos sin entrenamiento (p. ej., SparseVLM con ~72.6%) e incluso superando a referencias de entrenamiento más fuertes como MatryoshkaQuery y VoCl-LLaMA en métricas específicas.
  • En Qwen2-VL-2B (que ya tiene compresión integrada), VisCo retiene un rendimiento del 95.2% con una retención de tokens del 25% y del 91.4% con una retención del 12.5%, superando a baselines ajustados como VisionZip.

• Análisis Cualitativo:

  • VisCo captura con éxito tanto el contexto general de la escena como las regiones clave incluso con muy pocos tokens, mientras que los métodos de poda basados en atención pierden el contexto global y los detalles.
  • En el escenario de un solo token, VisCo puede generar subtítulos detallados que contienen descripciones a nivel de objeto y semántica global coherente.

• Eficiencia:

  • VisCo reduce significativamente el almacenamiento del caché KV.
  • Aunque el paso de codificación inicial introduce una sobrecarga, VisCo logra velocidades de decodificación más rápidas. En escenarios de diálogo de múltiples turnos, el reúso de las representaciones en caché permite que VisCo supere la latencia de los métodos sin entrenamiento (como FastV) después de solo tres turnos de diálogo.

• Representaciones Complementarias:

  • Un estudio de ablación (VisCo+) muestra que combinar los tokens de memoria aprendidos con los tokens visuales originales puede incluso mejorar el rendimiento del modelo base en varios benchmarks. Esto sugiere que los tokens de memoria capturan información complementaria en lugar de ser solo un subconjunto comprimido.

5. Significado y Reivindicaciones

El artículo afirma que VisCo demuestra que aprovechar los conocimientos previos (priors) intrínsecos de los VLM preentrenados permite una compresión de tokens visuales robusta con solo un entrenamiento ligero.

• Superación de Compromisos (Trade-offs): VisCo evita la severa degradación de rendimiento de los métodos sin entrenamiento bajo alta compresión y los pesados costos de reentrenamiento de los enfoques basados en módulos externos.
• Patrón de Procesamiento Nativo: Al seguir el patrón de procesamiento nativo del VLM (usando enmascaramiento causal y el intercambio de parámetros) en lugar de reescribirlo, VisCo logra un rendimiento competitivo con métodos pesados mientras mantiene la flexibilidad de la adaptación ligera.
• Más allá de la Compresión: Los autores sugieren que los tokens de memoria aprendidos actúan como representaciones complementarias que enriquecen las características visuales, mejorando potencialmente el modelo más allá de la mera eficiencia de compresión.

El trabajo concluye que una compresión de tokens visuales efectiva depende de las fuertes capacidades de codificación de información ya presentes en los VLM preentrenados, las cuales pueden desbloquearse mediante marcos de autocompresión eficientes como VisCo. Se propone trabajo futuro para explorar la asignación adaptativa de tokens y la extensión a la compresión de video.