Resumen Técnico: CIVIC – Compacidad de Secuencia de Extremo a Extremo para Modelos de Visión y Lenguaje Eficientes

1. Declaración del Problema

Los Modelos de Visión y Lenguaje (VLM) enfrentan cuellos de botella significativos de memoria y latencia al procesar imágenes de alta resolución o videos largos, principalmente debido a la enorme cantidad de tokens visuales generados. Aunque la investigación existente se ha centrado en la esparsificación de tokens, la fusión y la compresión de la caché KV para reducir los FLOPs teóricos, estos enfoques a menudo fallan al traducirse en una aceleración proporcional del hardware físico.

El problema central identificado es la "brecha entre compresión y realización". La mayoría de los métodos actuales aplican compresión de tiempo de ejecución post-hoc después de que las representaciones visuales densas ya se han construido. Esto introduce sobrecargas estructurales, que incluyen:

• Acceso a memoria no contiguo: Operaciones como la puntuación de tokens, el enrutamiento, la recolección/dispersión (gather/scatter) y la restauración de interfaces densas interrumpen la contigüidad de la memoria de la GPU.
• Desorientación geométrica: Interrumpir las cuadrículas 2D durante la poda puede llevar a la pérdida de localización de granularidad fina.
• Compresión ineficaz aguas abajo: Incluso si los tokens visuales se reducen en el codificador, las operaciones de prellenado (prefill) y caché KV del modelo de lenguaje (LLM) aguas abajo a menudo continúan procesando interfaces no comprimidas o parcialmente densas, anulando las ganancias de latencia.

En consecuencia, las reducciones teóricas de FLOP no producen una aceleración real del reloj de pared, y las implementaciones con recursos limitados siguen estando limitadas por la latencia y las huellas de la caché KV.

2. Metodología: Marco CIVIC

Para abordar estas barreras, el artículo propone CIVIC (Inferencia Compacta para Compresión Integrada de Visión y Lenguaje), un marco consistente en la trayectoria diseñado para mantener representaciones de secuencia compactas de manera fluida en toda la tubería de inferencia: desde el codificador de visión y la capa de proyección hasta el prellenado del LLM y la caché KV.

Componentes Principales

1. Agregación Basada en Anclajes Aprendidos:
   En lugar de podar tokens después de la codificación, CIVIC convierte parches densos en tokens consecutivos antes de la codificación visual. Utiliza anclajes compactos aprendidos ($A$) para agregar incrustaciones de parches densos ($X_0$) mediante un mecanismo ponderado por softmax. Esto preserva el mapeo espacial y convierte la secuencia densa en una secuencia latente compacta ($Z_0$) sin interrumpir la estructura de la cuadrícula 2D.

2. Codificación Visual Compacta con Compresión KV:
   El codificador visual compacto ($E^c_v$) procesa la secuencia agregada. Crucialmente, mientras que la proyección de consultas (queries) permanece estándar, las claves y los valores se comprimen en un número fijo de anclajes de memoria ($S$). Esto reduce la complejidad de la interacción de atención de $O(T_e^2)$ a $O(M_e \cdot S)$, donde $M_e$ es la cantidad de tokens compactos.

3. Suelo de Retención Espacial Adaptativo:
   Para evitar que la sobrecompresión destruya la localización de granularidad fina, CIVIC emplea un suelo de retención espacial adaptativo. Esto asegura que se preserve una proporción mínima de tokens espacialmente relevantes, salvaguardando la precisión visual durante la truncación agresiva.

4. Prellenado Multimodal Compacto:
   Las incrustaciones visuales compactas se proyectan directamente en el espacio oculto del modelo de lenguaje ($\Pi_c$) e insertan en el contexto del LLM. A diferencia de otros métodos que insertan marcadores de posición densos, CIVIC reemplaza estos tramos completamente con la secuencia compacta ($V_c$), asegurando que el prellenado del LLM y la posterior decodificación autoregresiva operen sobre una secuencia acortada ($L + M_p$) en lugar de la longitud densa original ($L + T_p$).

5. Destilación KL Alineada al Texto:
   Dado que cambia la interfaz de tokens visuales, la destilación estándar es insuficiente. CIVIC utiliza un esquema de destilación KL alineada al texto. Alinea los logits del modelo estudiantil compacto con el modelo maestro denso solo en las posiciones de texto no visuales. Esto permite que las incrustaciones compactas reemplacen directamente los tramos densos sin requerir un reentrenamiento estructural de los parámetros congelados del modelo de lenguaje.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

• Identificación de la Brecha: Los autores identifican que las reducciones teóricas de FLOP en VLM no producen aceleración física a menos que se preserve la compacidad de la secuencia de extremo a extremo a través del codificador de visión, el proyector y el prellenado del LLM.
• Marco Consistente en la Trayectoria: La propuesta de CIVIC, que resuelve los cuellos de botella geométricos y de entrenamiento mediante agregación basada en anclajes aprendidos, un suelo de retención espacial adaptativo y destilación KL alineada al texto para mantener representaciones latentes compactas de extremo a extremo.
• Validación Empírica: La evaluación en la arquitectura Qwen3-VL demuestra que el procesamiento compacto estable reduce drásticamente la latencia y las huellas de la caché KV mientras preserva la precisión multimodal de granularidad fina, eliminando la necesidad de enrutamiento de tiempo de ejecución o restauración densa.

4. Resultados Experimentales

Los experimentos se realizaron en el modelo Qwen3-VL-2B-Instruct utilizando una GPU NVIDIA RTX 4090, comparando CIVIC contra cinco métodos base de reducción de tokens (DyMU, DiffRate, DynamicViT, VisionTrim, ZOO-Prune) en cinco puntos de referencia (MMMU, MathVision, ODinW-13, RealWorldQA, VideoMME).

Métricas de Rendimiento

• Reducción de Latencia: CIVIC logró una latencia total de inferencia de 2514.9 ms, una reducción significativa desde los 3543.0 ms de la línea base. En contraste, muchos métodos post-hoc (por ejemplo, ZOO-Prune, DynamicViT) mostraron regresiones de latencia o mejoras negligenables debido a la sobrecarga.
• Optimización de la Caché KV: La utilización de memoria de la caché KV se redujo de 122.7 MB (línea base) a 44.61 MB (CIVIC), aproximadamente un tercio de la línea base.
• Compresión de Secuencia: La cantidad de tokens de prellenado se redujo de 1122.2 a 407.9.
• Preservación de la Precisión: A diferencia de los métodos de poda post-hoc que sufrieron degradación severa en tareas centradas en el razonamiento (MathVision) y localización de granularidad fina (ODinW-13), CIVIC mantuvo límites de rendimiento estables e incluso mejoró la precisión de localización en algunos casos.
• Sobrecarga: La sobrecarga de compresión para CIVIC fue insignificante (0.49 ms), mientras que las líneas base incurrieron sobrecargas significativas (por ejemplo, 18.45 ms para ZOO-Prune) debido a la administración de registros de tiempo de ejecución.

Perspectivas de Ablación

• Presupuesto de Tokens: Los presupuestos de tokens intermedios (por ejemplo, C=256) ofrecieron el mejor equilibrio entre densidad visual y carga de trabajo aguas abajo; la compresión extrema (C=64) degradó el rendimiento de decodificación debido a la inanición de información.
• Suelo de Retención: Una ratio mínima de retención adaptativa fue crítica; la expulsión ilimitada (Min=0.0) destruyó la precisión visual.
• Consistencia de Extremo a Extremo: Restaurar marcadores de posición densos antes del LLM anuló todas las aceleraciones, confirmando que la compacidad intermedia es inútil a menos que persista en el LLM.

5. Significado y Afirmaciones

El artículo afirma que CIVIC traduce con éxito la compresión teórica en eficiencia de hardware físico. Al imponer una vía compacta contigua, el marco evita el acceso a memoria no contiguo y las sobrecargas de desagrupación localizada que afectan a los métodos actuales.

El significado radica en demostrar que la compacidad holística de la secuencia es el motor definitivo de la aceleración tangible de VLM. Los resultados sugieren que para un despliegue eficiente de VLM, todo el grafo de inferencia debe optimizarse para la compacidad en lugar de tratar la compresión como un añadido post-hoc. Este enfoque permite tamaños de lote más grandes y ventanas de contexto extendidas en escenarios con recursos limitados sin sacrificar las capacidades de razonamiento multimodal de granularidad fina requeridas para aplicaciones prácticas como la robótica y la conducción autónoma.

Los autores permanecen modestos respecto al alcance, señalando que las evaluaciones actuales se restringen a presupuestos de tokens estáticos, imágenes individuales y la arquitectura Qwen3-VL-2B, siendo necesario trabajo futuro para validar la escalabilidad en modelos más grandes y contextos dinámicos adaptativos a instancias.