🤖 AI

Make Your LVLM KV Cache More Lightweight

El artículo propone LightKV, un método novedoso que reduce significativamente la sobrecarga de memoria GPU y el cómputo de los Modelos de Lenguaje y Visión Grandes mediante la compresión de las memorias caché KV de los tokens visuales a través de un paso de mensajes entre modalidades guiado por el prompt, logrando una reducción de la caché de hasta el 50% y un ahorro de cómputo del 40% mientras se preserva el rendimiento en ocho puntos de referencia.

Autores originales: Xihao Chen, Yangyang Guo, Roger Zimmermann

Publicado 2026-05-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xihao Chen, Yangyang Guo, Roger Zimmermann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente muy inteligente y polifacético (un Modelo de Lenguaje y Visión Grande, o LVLM) que puede mirar una imagen y responder preguntas sobre ella. Para hacerlo rápidamente, el asistente mantiene un "borrador" en su memoria a corto plazo llamado KV Cache. Este borrador guarda todas las notas que tomó mientras observaba la imagen, para que no tenga que volver a leer toda la imagen cada vez que piensa en una nueva respuesta.

El problema es que, cuando el asistente mira una foto de alta resolución, divide la imagen en cientos o incluso miles de trozos diminutos (llamados tokens de visión). Cada trozo recibe una nota en el borrador. Si la foto es compleja, el borrador se llena tanto que consume toda la memoria de la computadora, ralentizando todo o incluso colapsando el sistema.

Este artículo presenta LightKV, una nueva forma de reducir ese borrador sin perder los detalles importantes. Así es como funciona, usando analogías sencillas:

El Problema: Un Escritorio Desordenado

Imagina que el escritorio de tu asistente está cubierto de miles de notas adhesivas, cada una describiendo un pequeño parche de una foto (una hoja, una rueda de coche, una nube).

La Vieja Forma: El asistente guarda cada nota adhesiva individual. Si preguntas "¿Qué hay en el cielo?", el asistente tiene que revisar miles de notas sobre hojas y ruedas para encontrar las que hablan de nubes. Esto es lento y ocupa un espacio enorme en el escritorio (memoria GPU).
El Defecto de Soluciones Anteriores: Algunas personas intentaron simplemente tirar notas al azar o agrupar notas que se parecían (como "todas las cosas verdes"). Pero esto es arriesgado. Una nota verde podría ser un árbol (importante) o una camisa verde (irrelevante). Sin contexto, podrías tirar el árbol y guardar la camisa, arruinando la respuesta.

La Solución: LightKV (El Editor Inteligente)

LightKV actúa como un editor superinteligente que sabe exactamente lo que el usuario pregunta. Utiliza el prompt de texto (la pregunta) como guía para decidir qué notas guardar y cuáles fusionar.

Aquí está el proceso paso a paso, explicado con metáforas:

1. La Estrategia del "Chat de Grupo" (Ventanas)

En lugar de intentar comparar cada nota adhesiva individual con cada otra nota del mundo (lo que tomaría una eternidad), LightKV divide el escritorio en pequeñas ventanas manejables (como agrupar notas en pequeños montones).

Analogía: Imagina ordenar una pila enorme de correo en pequeños montones según el vecindario del que provienen las cartas. Solo comparas las cartas dentro del mismo vecindario primero. Esto hace que el trabajo sea mucho más rápido.

2. El "Casamentero" (Grafo Bipartito)

Dentro de cada pequeña ventana, LightKV divide las notas en dos grupos (Grupo A y Grupo B). Luego busca pares donde las notas sean muy similares (baja "divergencia de características").

Analogía: Piensa en ello como un evento de citas rápidas para notas adhesivas. Si dos notas son casi idénticas (por ejemplo, dos parches de cielo azul), se emparejan.

3. La "Pista Contextual" (Guía del Prompt)

Esta es la parte más importante. En los métodos anteriores, el asistente fusionaba notas solo porque se parecían. LightKV pregunta: "¿Ayuda esta nota a responder la pregunta del usuario?"

Cómo funciona: Examina cuánto atención prestó el asistente a la pregunta del usuario cuando leyó la nota por primera vez.
Analogía: Si el usuario pregunta "¿Hay un perro en la imagen?", LightKV revisa las notas. Ve que las notas sobre el "parche de pelaje marrón" recibieron mucha atención cuando se leyó la palabra "perro". Por lo tanto, guarda esa nota. Ve que un "parche de pelaje marrón" en una silla fue ignorado cuando se leyó "perro", así que fusiona esa nota con otras o la descarta.
El Resultado: Crea una "super-nota" que combina la información de las notas similares pero mantiene los detalles específicos relevantes para la pregunta.

4. La "Limpieza por Capas" (Compresión Jerárquica)

LightKV no hace esto solo una vez. Lo hace en etapas a medida que el asistente procesa la imagen más profundamente en su pensamiento.

Analogía: Imagina limpiar una habitación. Primero, recoges la basura grande y obvia (capas tempranas). Luego, organizas los libros en la estantería (capas medias). Finalmente, sacas el polvo de las esquinas (capas posteriores). LightKV comienza fusionando notas en pequeños grupos locales y, a medida que avanza, fusiona notas de áreas más amplias, asegurándose de no perder la imagen general mientras reduce la pila.

¿Qué Encontraron?

Los autores probaron LightKV en ocho asistentes inteligentes diferentes (como LLaVA y Qwen) utilizando ocho tipos de pruebas diferentes (desde describir imágenes hasta resolver acertijos científicos).

La Mitad del Espacio: Lograron reducir el número de notas de visión en el borrador en aproximadamente un 50% (guardando solo el 55% de las notas originales).
La Misma (o Mejor) Inteligencia: Incluso con la mitad de las notas, los asistentes respondieron preguntas tan bien como antes, y a veces incluso mejor que otros métodos de compresión.
Más Rápido: Como había menos notas que procesar, la computadora hizo menos trabajo (hasta un 40% menos de cálculo) y utilizó significativamente menos memoria.
Sin Reentrenamiento: ¿La mejor parte? No tuvieron que enseñar nada nuevo a los asistentes. LightKV es una herramienta "plug-and-play" que funciona con modelos existentes de inmediato.

Resumen

LightKV es como un bibliotecario inteligente que, en lugar de guardar cada página de un álbum de fotos masivo, crea un resumen condensado. Pero a diferencia de un resumen normal, este bibliotecario lee tu pregunta específica primero y asegura que el resumen destaque exactamente las partes de la foto que responden a tu pregunta, descartando el ruido irrelevante. Esto ahorra espacio y tiempo sin hacer que el bibliotecario sea olvidadizo.

1. Planteamiento del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLM) dependen de la caché de claves y valores (KV) para optimizar la eficiencia de la inferencia. Sin embargo, a diferencia de los Modelos de Lenguaje Grandes (LLM), que procesan principalmente tokens de texto, los LVLM deben procesar una cantidad masiva de tokens de visión (por ejemplo, 576 para LLaVA-v1.5, hasta 7,290 para LLaVA-OneVision) durante la fase de prellenado (prefill).

Esto genera dos cuellos de botella críticos:

Sobrecarga de Memoria: El volumen abrumador de tokens de visión hace que la caché KV consuma significativamente más memoria GPU que en los LLM de solo texto, convirtiéndose a menudo en el principal cuello de botella para entradas de contexto largo o alta resolución.
Heterogeneidad de Tokens: Los tokens de visión son heterogéneos (representan parches de imagen) y su importancia varía según el prompt de texto. Los métodos de poda existentes suelen tratar los tokens de manera uniforme o dependen de una poda posterior al prellenado, lo que no aborda el cuello de botella de memoria que ocurre durante la fase inicial de prellenado.

Las soluciones actuales como MQA/GQA requieren un reentrenamiento pesado del modelo, mientras que los métodos de poda de tokens (por ejemplo, FastV, H2O) a menudo operan después del prellenado o carecen de guía multimodal cruzada, lo que conduce a un rendimiento inconsistente en diferentes modelos y puntos de referencia.

2. Metodología: LightKV

Los autores proponen LightKV, un enfoque sin entrenamiento que comprime los tokens de visión durante la fase de prellenado explotando la redundancia entre las representaciones de visión, guiado por los prompts de texto. El método opera mediante una tubería de tres pasos:

A. Compresión de Tokens Intra-Ventana

En lugar de procesar la imagen completa globalmente, LightKV divide los tokens de visión en ventanas espaciales no superpuestas ( $w \times w$ ). Dentro de cada ventana, realiza lo siguiente:

Construcción de Grafo Bipartito: Los tokens en una ventana se dividen en dos conjuntos ( $X_A$ $X_{A}$ y $X_B$ $X_{B}$ ). Se construye un grafo bipartito donde las aristas representan la Divergencia de Características (FD) entre nodos.
- $FD(\alpha, \beta) = 1 - \frac{\langle x_\alpha, x_\beta \rangle}{||x_\alpha|| ||x_\beta||}$ (Distancia coseno).
- Esto reduce la complejidad computacional de $O(v^2)$ a $O(v^2/4)$ en comparación con el emparejamiento completo por pares.
Paso de Mensajes Consciente del Prompt: A diferencia de los métodos anteriores que fusionan tokens basándose únicamente en la similitud visual, LightKV utiliza puntuaciones de atención multimodal cruzada como pesos.
- Calcula la atención acumulada ( $\xi_i$ ) que cada token de visión presta a los tokens del prompt de texto.
- Se pasan mensajes de $X_A$ a $X_B$ (y viceversa) ponderados por estas puntuaciones de atención. Esto asegura que se preserven los tokens altamente relevantes para el prompt de texto, mientras que la información visual redundante se agrega.
Eliminación de Nodos: Los nodos redundantes (aquellos con baja FD y baja relevancia para el prompt) se eliminan, y los nodos restantes se actualizan y reordenan.

B. Compresión Jerárquica Inter-Ventana

Para capturar el contexto global sin perder la localidad espacial, LightKV emplea una estrategia jerárquica inspirada en los Swin-Transformers:

Iteración Multi-Etapa: La compresión se aplica en capas específicas del decodificador ( $\lambda_1, \lambda_2, \dots$ ).
Expansión Progresiva: En las capas iniciales, la compresión ocurre dentro de ventanas pequeñas (preservando detalles locales). En capas más profundas, el tamaño de la ventana aumenta (o las particiones se fusionan), permitiendo el paso de mensajes a través de distancias espaciales mayores para capturar semánticas globales.
Programación Dinámica: El método utiliza hiperparámetros para la selección de capas ( $\Lambda$ ), tamaño de ventana ( $W$ ) y ratio de compresión ( $P$ ) para adaptarse a diferentes profundidades de modelo.

3. Contribuciones Clave

Compresión Consciente del Prompt: LightKV es el primer método que utiliza explícitamente la guía del prompt de texto para impulsar la compresión de tokens de visión durante la fase de prellenado. Esto lo distingue de las estrategias de poda solo de visión, asegurando que se retengan las características visuales semánticamente importantes en relación con la consulta.
Sin Entrenamiento y Plug-and-Play: El método no requiere reentrenamiento ni ajuste fino del modelo. Puede aplicarse de manera transparente a varios LVLM de código abierto (por ejemplo, LLaVA, InternVL, Qwen2.5-VL, EVE).
Particionamiento de Grafos Eficiente: Al utilizar emparejamiento bipartito dentro de ventanas espaciales, el método reduce significativamente el costo computacional de calcular la divergencia de características en comparación con el emparejamiento global por pares.
Diseño Jerárquico: La combinación de compresión intra-ventana (local) e inter-ventana (global) equilibra la preservación de la coherencia espacial con la integración del contexto global.

4. Resultados Experimentales

Los autores evaluaron LightKV en 8 LVLM de código abierto (incluyendo LLaVA-v1.5, LLaVA-NeXT, InternVL2, EVE y Qwen2.5-VL) en 8 puntos de referencia (MME, SeedBench, GQA, etc.).

Reducción de Memoria: LightKV reduce el tamaño de la caché KV de tokens de visión en aproximadamente un 50% (reteniendo ~55% de los tokens originales).
Preservación del Rendimiento:
- Mantiene o ligeramente supera el rendimiento de los LVLM estándar (por ejemplo, alcanzando el 99.94% del rendimiento de referencia en LLaVA-v1.5-13B).
- Supera significativamente a las líneas base existentes como FastV, ToMe y ElasticCache, que a menudo sufren degradación del rendimiento (por ejemplo, FastV cae a ~90% en LLaVA-NeXT).
Ganancias de Eficiencia:
- Cálculo: Reduce los FLOPs hasta en un 40%.
- Latencia: Reduce significativamente el Tiempo hasta el Primer Token (TTFT) (por ejemplo, de 656 ms a 383 ms en LLaVA-NeXT-13B).
Robustez: El método funciona eficazmente tanto en modelos basados en codificador de visión como en modelos sin codificador (como EVE), demostrando una amplia aplicabilidad.

5. Significado

LightKV aborda un problema crítico de escalabilidad en el despliegue de LVLM. Al reducir la huella de memoria de la caché KV durante la fase más costosa (prellenado), permite:

Despliegue con Recursos Limitados: Ejecutar LVLM de alta resolución en GPUs de nivel de consumidor (por ejemplo, A100-40GB) que de otro modo sufrirían OOM (Agotamiento de Memoria) debido a ventanas de contexto grandes.
Eficiencia de Costos: Reducir el costo computacional (FLOPs) y la latencia para la inferencia, haciendo más viables las aplicaciones multimodales en tiempo real.
Generalización: Proporcionar una capa de optimización universal y sin entrenamiento que mejora la eficiencia de todo el ecosistema LVLM sin comprometer las capacidades de razonamiento del modelo.

En resumen, LightKV redefine la optimización de la caché KV para modelos multimodales al pasar de la poda "solo visual" a una compresión jerárquica guiada por prompts, logrando un equilibrio superior entre la eficiencia de la memoria y el rendimiento de la tarea.