💬 NLP

DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity

DeltaKV es un marco de compresión de caché KV basado en residuos que reduce significativamente el uso de memoria mediante la codificación de similitudes a largo plazo, acompañado de Sparse-vLLM, un motor de inferencia optimizado que logra duplicar el rendimiento en escenarios de contexto largo.

Autores originales: Jitai Hao, Qiang Huang, Yaowei Wang, Min Zhang, Jun Yu

Publicado 2026-02-10

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jitai Hao, Qiang Huang, Yaowei Wang, Min Zhang, Jun Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás leyendo un libro de mil páginas y, para entender el capítulo actual, necesitas recordar detalles de capítulos anteriores. El problema es que tu "memoria de corto plazo" (lo que en IA llamamos KV Cache) es como una mochila pequeña: a medida que avanzas en el libro, la mochila se llena tanto que ya no puedes cargar nada más y te quedas sin espacio.

Este artículo presenta una solución llamada DeltaKV. Aquí te explico cómo funciona usando una analogía muy sencilla.

La analogía: El "Diario de Resúmenes" vs. "Copiar todo el libro"

Imagina que tienes un asistente que te ayuda a estudiar. Tienes dos formas de guardar la información de lo que vas leyendo:

El método tradicional (y pesado): Cada vez que lees una frase nueva, el asistente escribe la frase completa en un cuaderno gigante. Al final del día, el cuaderno pesa 50 kilos y no puedes ni moverlo. Esto es lo que le pasa a las IA actuales: el "peso" de la memoria crece sin parar.
El método DeltaKV (el inteligente): Tu asistente nota que muchas frases son muy parecidas. En lugar de escribir cada palabra nueva, el asistente dice: "Oye, esta frase es casi igual a la que leímos hace diez páginas, solo cambia una palabra". Entonces, en lugar de copiar la frase entera, solo anota la "diferencia" (el residuo).

DeltaKV no guarda la información completa; guarda la "diferencia" respecto a algo que ya conoce.

Los dos "superpoderes" de DeltaKV

Los investigadores descubrieron dos cosas asombrosas sobre cómo las IA "piensan":

Superpoder 1: El eco del pasado (Similitud a largo plazo).
Las IA no solo se parecen a lo que acaban de leer, sino que a menudo encuentran ideas que se repiten mucho tiempo después. Es como si en una película, un personaje que aparece en el minuto 5 vuelve a actuar igual en el minuto 90. DeltaKV busca esos "ecos" lejanos para usarlos como referencia y no tener que guardar todo de nuevo.
Superpoder 2: El patrón común (Componentes compartidos).
En el lenguaje, muchas palabras comparten una "estructura" básica. Es como si en una caja de piezas de LEGO, casi todas tuvieran la misma base. DeltaKV identifica esa "base común" y la guarda una sola vez, y para el resto de las piezas, solo guarda la pieza pequeña que las hace diferentes.

¿Por qué es esto una revolución?

Gracias a este sistema, los científicos lograron tres cosas increíbles:

Una mochila ultra ligera: Redujeron el tamaño de la memoria de la IA a solo el 29% de lo que ocupaba antes. ¡Es como si hubieras pasado de cargar una maleta de viaje a cargar solo una pequeña mochila de mano!
No pierde la memoria: A pesar de escribir "menos", la IA sigue siendo igual de inteligente. No olvida los detalles importantes porque el sistema está diseñado para capturar exactamente lo que cambia.
Velocidad de rayo (Sparse-vLLM): Crearon un motor especial (llamado Sparse-vLLM) que sabe leer este "diario de resúmenes" de forma súper rápida. Esto hace que la IA pueda procesar textos larguísimos (como libros enteros o códigos de programación complejos) el doble de rápido que antes.

En resumen...

DeltaKV es como pasar de intentar memorizar cada letra de un libro a simplemente anotar las ideas clave y las pequeñas diferencias entre ellas. Esto permite que las inteligencias artificiales puedan "leer" y "recordar" contextos gigantescos sin colapsar por falta de memoria.

Resumen Técnico: DeltaKV

1. El Problema: El cuello de botella del KV Cache

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) con contextos extremadamente largos (como agentes autónomos o razonamiento complejo) se enfrenta a un obstáculo crítico: el crecimiento lineal del consumo de memoria del KV Cache. A medida que la secuencia aumenta, la memoria necesaria para almacenar las claves (Keys) y valores (Values) crece rápidamente, superando la capacidad de las GPUs.

Los métodos actuales intentan solucionar esto mediante:

Evicción de tokens (Static Eviction): Eliminar tokens "poco importantes", lo que puede causar pérdida de información crítica en diálogos multi-turno.
Selección dinámica (Dynamic Selection): Mantener todo el caché pero aplicar atención dispersa (sparse attention), lo cual no reduce el uso de memoria de la GPU sin recurrir al offloading (transferencia a CPU), introduciendo latencia.
Compresión/Cuantización: Métodos que a menudo son difíciles de integrar en motores de inferencia de alto rendimiento o que asumen que la similitud entre tokens es solo local.

2. Metodología: El enfoque de DeltaKV

Los autores basan su propuesta en dos observaciones empíricas clave:

Similitud de largo alcance: Los tokens semánticamente similares no solo están cerca unos de otros, sino que suelen estar distribuidos globalmente en el contexto.
Componentes latentes compartidos: Los cachés KV presentan una fuerte anisotropía; una pequeña cantidad de direcciones de alta norma captura patrones lingüísticos comunes, dejando un "residuo" de baja magnitud que contiene la información específica del token.

El marco DeltaKV funciona de la siguiente manera:

Selección de Referencias con Salto (Strided Reference Selection): En lugar de buscar en todo el historial, mantiene un conjunto de tokens de referencia seleccionados a intervalos fijos (stride $s$ ).
Compresión basada en residuos: Para cada token actual, DeltaKV recupera sus referencias más similares, resta sus componentes compartidos y codifica únicamente el residuo semántico resultante utilizando un módulo ligero (MLP o proyección lineal).
Reconstrucción bajo demanda: Durante la inferencia, DeltaKV se integra con métodos de atención dispersa (como OmniKV). Solo se reconstruyen los tokens que la máscara de atención considera importantes, evitando la descompresión innecesaria de todo el caché.
Sparse-vLLM: Para que la compresión sea útil en la práctica, los autores desarrollaron un motor de inferencia optimizado que gestiona layouts de memoria irregulares y desvincula la gestión de memoria del núcleo de ejecución, permitiendo un alto rendimiento con datos comprimidos.

3. Contribuciones Clave

Descubrimiento de redundancia global: Demostraron que la similitud en los cachés KV es fundamentalmente global (más del 60% de los tokens similares están a más de 16 posiciones de distancia).
Framework DeltaKV: Un método de compresión basado en residuos que es "GPU-friendly" y mantiene una alta fidelidad con un overhead de parámetros mínimo (<5%).
Motor Sparse-vLLM: Un sistema de inferencia diseñado para manejar cachés comprimidos y dispersos, logrando una integración real en entornos de producción.

4. Resultados Principales

Los experimentos realizados en modelos como Llama-3.1 y Qwen2.5 muestran resultados sobresalientes:

Reducción de Memoria: DeltaKV logra reducir el tamaño del KV Cache al 29% del original (especialmente cuando se combina con cuantización de 4 bits).
Precisión: Mantiene una precisión casi sin pérdidas (near-lossless) en benchmarks de contexto largo como LongBench, diálogos complejos en SCBench y razonamiento matemático en AIME.
Rendimiento (Throughput): Gracias a Sparse-vLLM, se alcanza hasta un doble de rendimiento (2× throughput) en comparación con vLLM en escenarios de contexto largo (ej. 512k tokens).
Eficiencia de entrenamiento: El módulo de compresión es muy ligero y puede entrenarse en aproximadamente 8 horas de GPU.

5. Significado e Impacto

DeltaKV representa un cambio de paradigma en la optimización de LLMs: en lugar de simplemente "borrar" información (evicción) o intentar comprimir todo el bloque (low-rank), propone codificar la diferencia (el residuo) entre lo que ya se sabe (referencias) y lo nuevo.

Este enfoque permite que los modelos con contextos de millones de tokens sean viables en hardware con memoria limitada, facilitando el despliegue de aplicaciones avanzadas de IA en dispositivos más accesibles y reduciendo significativamente los costes operativos de los centros de datos.