Resumen Técnico: HTC-VLM – Compresión de Tokens Híbrida para Modelos de Lenguaje-Visión

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLMs) dependen típicamente de cientos de tokens de parches visuales (por ejemplo, $N=576$ de un codificador ViT) para proporcionar información perceptiva rica a los Modelos de Lenguaje de Gran Escala (LLMs). Este acoplamiento denso incurre en costos computacionales cuadráticos, $O((N+L)^2)$, agotando rápidamente la memoria de la GPU y las ventanas de contexto.

Las estrategias de compresión existentes enfrentan un compromiso fundamental:

• Compresión Continua: Los métodos como el pooling global o la agregación por atención comprimen todos los parches en un único vector denso. Aunque es eficiente, esto suele conducir a una dilución semántica, donde la semántica de alto nivel (identidades de objetos, relaciones espaciales) se pierde debido a que la información mutua $I(v_c; S)$ disminuye a causa del promedio de distribuciones de parches diversas.
• Cuantización Discreta: Los métodos que utilizan Cuantización de Vectores (VQ) preservan la semántica categórica pero descartan pistas continuas de grano fino (texturas, poses, deformaciones), creando una brecha de granularidad que limita el razonamiento detallado.

El desafío central es si un VLM puede retener información visual semánticamente útil cuando toda la imagen se comprime a un solo token sin sacrificar ni la estructura de alto nivel ni el detalle de bajo nivel.

2. Metodología: HTC-VLM

Los autores proponen HTC-VLM (Compresión de Tokens Híbrida para Modelos de Lenguaje-Visión), un marco que desentrelaza la información visual en dos canales complementarios antes de fusionarlos en un único token latente.

2.1 Arquitectura de Doble Canal

En lugar de comprimir los parches brutos directamente, HTC-VLM descompone la entrada visual $I$ en:

1. Canal de Detalle Continuo ($D$): Utiliza un codificador de visión preentrenado (CLIP ViT-L/14) y un proyector lineal para generar $N=576$ embeddings de parches. Esta vía preserva detalles de bajo nivel como gradientes de textura y variaciones de pose.
2. Canal Semántico Discreto ($S$): Utiliza MGVQ (Cuantización de Vectores Multigrupo) para cuantizar la imagen en un vector de características, que luego se proyecta mediante un MLP en una pequeña secuencia de 4 tokens de anclaje semántico discreto ($v_d$). Estos anclajes capturan la semántica categórica de alto nivel (por ejemplo, "perro", "árbol") y la disposición espacial.

2.2 Fusión Híbrida y Cuello de Botella de Desentrelazamiento

Los anclajes discretos se anteponen a la secuencia de parches continuos para formar una secuencia híbrida $V_{hy} \in \mathbb{R}^{580 \times d}$ (4 anclajes + 576 parches). Esta secuencia se introduce en un token entrenable <voco>.

Un componente crítico es la Máscara de Atención de Desentrelazamiento ($M_{hy}$):

• Restricción Texto-a-Visión: Se prohíbe estrictamente que los tokens de texto atiendan a los tokens visuales híbridos brutos ($V_{hy}$). Solo pueden atender al token comprimido <voco>.
• Auto-atención Visual: Los tokens visuales (tanto discretos como continuos) tienen permitido atender entre sí antes de la agregación. Esto permite que el token <voco> inteche la evidencia visual contextualizada.
• Extracción Latente: El token <voco> comprime la secuencia de 580 tokens en un único vector latente $z$, el cual sirve como la única entrada visual para el LLM.

2.3 Fundamento Teórico

El método se basa en el principio de la Cuello de Botella de Información (IB). Los autores argumentan que un único vector continuo sufre de Dominación de Entropía, donde los detalles de alta frecuencia ($D$) saturan la capacidad limitada del cuello de botella, forzando a que la información semántica ($S$) desaparezca. Al introducir anclajes discretos como un "prior semántico", HTC-VLM reduce la barrera de entropía para $S$, permitiendo que el latente $z$ se enfoque su capacidad en codificar el detalle residual $D$. Esto se formaliza mediante una Cota Inferior de Evidencia (ELBO) más ajustada en comparación con las líneas base puramente continuas.

3. Contribuciones Clave

1. Análisis del Cuello de Botella Representacional: El artículo identifica el "conflicto de capacidad semántica-detalle", proporcionando pruebas de información teórica (Teorema 1) que explican por qué los cuellos de botella puramente continuos fallan en preservar la semántica de alto nivel bajo compresión extrema.
2. Marco Híbrido de Desentrelazamiento Semántico: Una arquitectura con principios que inyecta mínimos anclajes semánticos discretos antes de la compresión, permitiendo la optimización conjunta de la semántica discreta y la apariencia continua.
3. Arquitectura Práctica (HTC-VLM): Una instanciación que logra una retención de rendimiento promedio del 87.2% en siete benchmarks bajo un presupuesto de un solo token, superando a la línea base continua líder (VoCo-LLaMA) con un 81.0%.
4. Validación Extendida: Estudios exhaustivos sobre presupuestos de tokens (1–576), generalización de arquitectura cruzada (Qwen-VL, LLaVA-NeXT), eficiencia de inferencia y robustez a hiperparámetros (tamaño del código, topología de la máscara).

4. Resultados Experimentales

4.1 Retención de Rendimiento

Evaluado en siete benchmarks (GQA, VQAv2, MMBench, MME, POPE, SEED-Bench, ScienceQA-Image), HTC-VLM logró una retención promedio del 87.2% respecto al modelo de 576 tokens completo. Esto supera significativamente a:

• VoCo-LLaMA (Solo continuo): 81.0%
• Promedio de Pooling: 64.1%
• Q-Former: 57.2%

4.2 Robustez del Presupuesto de Tokens

Mientras que los métodos de poda estructurada (por ejemplo, ToMe, PDrop) funcionan bien en compresión moderada (64–192 tokens), se degradan bruscamente en el régimen de ultra-bajo número de tokens ($<32$ tokens). HTC-VLM permanece estable incluso en el régimen de 1 token, demostrando que los anclajes discretos previenen el colapso de información donde los métodos continuos fallan.

4.3 Generalización

El cuello de botella híbrido se transfiere eficazmente a backbones más fuertes y estructuralmente diferentes:

• Qwen-VL-Chat: 94.5% de retención (frente al 86.4% de VoCo-LLaMA).
• LLaVA-NeXT (Resolución Dinámica): 95.7% de retención (frente al 86.6% de VoCo-LLaMA).

4.4 Eficiencia y Latencia

En una GPU NVIDIA A100, HTC-VLM reduce la latencia de prefill del LLM en un 94.3% en comparación con el modelo vanilla de 576 tokens. Aunque la adición del codificador MGVQ introduce una carga modesta (~6.1ms), la latencia total del sistema (61.0ms) permanece cercana a la línea base de solo continuo (51.9ms) y es significativamente más rápida que los métodos basados en poda que retienen múltiples tokens.

4.5 Estudios de Ablación

• Anclajes Discretos: Eliminar los anclajes (Solo continuo) reduce el rendimiento al 81.0%; usar solo tokens discretos lo reduce a ~33%.
• Conteo de Anclajes: 4 tokens ofrecen el rendimiento óptimo; 1 o 2 son insuficientes, mientras que 8 introducen redundancia.
• Enmascaramiento: La máscara de cuello de botella de texto (permitiendo la auto-atención visual pero bloqueando la atención de texto-a-visual bruto) es superior a una máscara de grafo de estrella estricta, confirmando la necesidad de contexto visual antes de la compresión.

5. Significado y Reivindicaciones

El artículo afirma que HTC-VLM ofrece una solución práctica al compromiso entre eficiencia y fidelidad en los VLMs. Al desentrelazar explícitamente la semántica y los detalles, el enfoque híbrido permite una compresión extrema (1 token) sin el colapso semántico observado en los métodos puramente continuos.

Los autores enfatizan que las ganancias de rendimiento provienen del diseño híbrico estructural más que de un ajuste de hiperparámetros frágil. Los anclajes discretos actúan como guías semánticas interpretables, estabilizando el proceso de compresión y permitiendo que el LLM razone efectivamente incluso cuando la entrada visual se reduce a un solo token. El trabajo sugiere una dirección futura para la compresión multimodal: diseñar cuellos de botella estructurados y adaptables a la tarea que preserven la interpretabilidad semántica mientras reducen drásticamente los costos de tokens.

Limitaciones Reconocidas: El método introduce un codificador MGVQ ligero, lo que significa que no es estrictamente de costo cero comparado con la compresión de solo continuo. Además, la evaluación actual se centra en VLMs de nivel de imagen; extender esto a video largo o tareas de localización densa podría requerir mayor adaptación.