🤖 machine learning

STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control

STAR-KV es un marco de compresión de caché KV de bajo rango adaptativo que utiliza umbralización suave diferenciable, descomposición híbrida y cuantización consciente del bajo rango para lograr hasta un 75% de compresión de caché y una aceleración del rendimiento de extremo a extremo de 3.1x mientras minimiza la degradación de la precisión.

Autores originales: Priyansh Bhatnagar, Ashkan Moradifirouzabadi, Se-Hyun Yang, SeungJae Lee, Jungwook Choi, Mingu Kang

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Priyansh Bhatnagar, Ashkan Moradifirouzabadi, Se-Hyun Yang, SeungJae Lee, Jungwook Choi, Mingu Kang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando recordar una historia muy larga para poder contarla perfectamente. En el mundo de los Modelos de Lenguaje Extensos (LLM), esta "memoria" se llama KV Cache. Cada vez que el modelo lee una nueva palabra, almacena una pequeña instantánea del significado de esa palabra en este caché para poder referirse a ella más tarde.

¿El problema? A medida que la historia se vuelve más larga (como una novela de 100,000 palabras), este caché de memoria se vuelve enorme. Consume toda la memoria del ordenador (RAM) y ralentiza todo, dificultando la lectura de documentos largos o la realización de conversaciones prolongadas.

El artículo presenta STAR-KV, una nueva y astuta forma de reducir esta memoria sin perder el significado de la historia. Así es como funciona, desglosado en conceptos sencillos:

1. El problema con los métodos antiguos: "Talla única para todos"

Los intentos anteriores de reducir esta memoria eran como intentar meter una biblioteca entera en una mochila simplemente tirando libros al azar. Utilizaban reglas fijas (como "mantener siempre el 50% de la memoria") o adivinaban qué partes eran importantes.

El resultado: Si la reducían demasiado, el modelo empezaba a olvidar detalles importantes y daba respuestas absurdas. Si no la reducían lo suficiente, el ordenador seguía siendo demasiado lento.

2. La solución de STAR-KV: "Empaquetado inteligente y adaptativo"

STAR-KV es como un bibliotecario superinteligente que sabe exactamente qué libros son esenciales y cuáles son solo relleno. Utiliza tres trucos principales:

Truco A: El "Umbral Suave" (El Filtro Ajustable)

Imagina que tienes un tamiz (un filtro) para clasificar piedras. Los métodos antiguos usaban un tamiz con agujeros de tamaño fijo. STAR-KV utiliza un tamiz inteligente donde el tamaño de los agujeros puede cambiar automáticamente para cada parte de la memoria.

Cómo funciona: El modelo observa la "importancia" de cada fragmento de datos. Si un fragmento es muy importante (como un personaje principal en una historia), el tamiz lo conserva. Si no es importante (como ruido de fondo), el tamiz lo filtra.
La magia: Aprende cómo filtrarse a sí mismo durante una breve sesión de entrenamiento. No solo adivina; descubre la cantidad perfecta de memoria que debe mantener para cada sección específica del cerebro para asegurar que la historia sea precisa.

Truco B: La "Estrategia Híbrida" (Tratando las Claves y los Valores de forma Diferente)

El modelo tiene dos tipos de memoria: Claves (que ayudan a encontrar la información correcta) y Valores (que son la información real).

El conocimiento: El artículo descubrió que los "Valores" son muy sensibles; si los alteras, la historia se distorsiona. Las "Claves" son un poco más robustas; puedes comprimirlas de forma más agresiva sin perder el significado.
La solución: STAR-KV utiliza un enfoque híbrido. Trata los "Valores" con especial cuidado (manteniéndolos más detallados), pero comprime las "Claves" intensamente. Es como hacer una maleta: envuelves tu cristalería frágil (Valores) en papel de burbujas para mantenerla segura, pero puedes aplastar tus camisetas (Claves) con fuerza para ahorrar espacio.

Truco C: "Precisión Mixta" (El Detector de Valores Atípicos)

Cuando comprimes datos, algunos números se vuelven enormes "valores atípicos" (como un ruido repentino y fuerte en una habitación silenciosa), lo que dificulta la compresión del resto.

La solución: STAR-KV utiliza un truco matemático especial (transformación de Hadamard) para suavizar estos ruidos fuertes. Luego, utiliza precisión mixta: mantiene los números más importantes en alta calidad (4 bits) y los menos importantes en una calidad inferior (3 bits).
La analogía: Piensa en ello como un editor de fotos. Mantienes la cara (la parte más importante) en alta definición, pero reduces la calidad del paisaje de fondo. El resultado se ve casi igual, pero el tamaño del archivo es diminuto.

3. Los Resultados: Huella Pequeña, Gran Velocidad

Los autores probaron esto en varios modelos de IA famosos (como LLaMA y LongChat) y descubrieron:

Compresión Masiva: Pudieron reducir el caché de memoria hasta un 75% utilizando solo su filtrado inteligente. Cuando añadieron el truco de "precisión mixta", lograron un uso de memoria hasta 20 veces menor.
Sin Pérdida de Calidad: Incluso con esta reducción masiva, las respuestas del modelo siguieron siendo tan precisas como la versión sin comprimir. De hecho, en algunas pruebas, fue incluso más preciso que otros métodos de compresión.
Impulso de Velocidad: Debido a que la memoria es más pequeña, el ordenador no tiene que cargar con tanto peso. Esto hizo que la IA funcionara 3.1 veces más rápido al generar textos largos.

Resumen

STAR-KV es un nuevo sistema que enseña a los modelos de IA a ser empaquetadores eficientes. En lugar de tirar datos a ciegas o guardarlo todo, aprende exactamente qué conservar, trata cada tipo de dato con el nivel de cuidado adecuado y utiliza matemáticas inteligentes para reducir el tamaño del archivo sin perder el hilo de la historia. El resultado es una IA que puede recordar historias mucho más largas sin quedarse sin memoria o volverse lenta.

Resumen Técnico: STAR-KV

Planteamiento del Problema

El rápido escalado de los Modelos de Lenguaje de Gran Tamaño (LLM) para soportar ventanas de contexto de más de 100K tokens ha introducido cuellos de botella severos a nivel de sistema durante la inferencia, impulsados principalmente por el caché de Clave-Valor (KV). El caché KV almacena tensores de tokens procesados previamente para evitar la recomputación, lo que resulta en una huella de memoria que crece linealmente con la longitud del contexto. En escenarios como LLaMA-3.1-8B con un contexto de 128K, el caché KV puede consumir hasta el 81% de la memoria total de la GPU, superando a menudo el almacenamiento requerido para los pesos del modelo.

Si bien la descomposición de bajo rango ha surgido como un método prometedor para comprimir el caché KV explotando la redundancia en la dimensión oculta, los enfoques existentes enfrentan dos desafíos fundamentales:

Selección de Rango Fija o Heurística: Los métodos previos dependen de rangos uniformes o heurísticas offline (por ejemplo, información de Fisher), los cuales luchan por mantener la calidad del modelo bajo una compresión agresiva. Forzar la compresión más allá de niveles moderados (30–50%) suele provocar una degradación significativa de la precisión.
Sobrecarga de Reconstrucción: La reconstrucción de tensores de clave y valor comprimidos durante la inferencia introduce computación adicional, aumentando la latencia. Además, los métodos estándar de bajo rango a menudo no tienen en cuenta las diferentes sensibilidades de las proyecciones de clave y valor o los desafíos específicos de cuantizar las representaciones latentes resultantes.

Metodología

Los autores proponen STAR-KV (Soft Thresholding for Adaptive Rank KV Cache Compression), un marco diseñado para lograr un control de rango adaptativo y fino y una cuantización eficiente. La metodología consta de tres componentes principales:

1. Selección de Rango Adaptativa mediante Umbralización Suave (Soft Thresholding)

En lugar de utilizar rangos fijos, STAR-KV parametriza la selección de rango utilizando un umbral aprendible aplicado a los valores singulares de las matrices de proyección de clave y valor.

Umbralización Diferenciable: Para permitir la optimización basada en gradientes, los autores reemplazan la umbralización dura no diferenciable con un operador de umbralización suave basado en una función tangente hiperbólica desplazada ( $\tanh$ ). Esto permite al modelo aprender umbrales óptimos ( $\alpha$ ) para cada bloque del decodificador y cabeza de atención de forma independiente.
Objetivo de Entrenamiento: El marco optimiza una función de pérdida conjunta que comprende una Pérdida de Destilación de Conocimiento (para igualar la distribución de salida del modelo profesor) y una Pérdida de Compresión Adaptativa. La pérdida de compresión se formula como $\sum e^{-\alpha_i}$ , lo que fomenta naturalmente una compresión agresiva al inicio del entrenamiento mientras permite que el modelo estabilice su rendimiento a medida que los umbrales aumentan.
Inferencia: Una vez entrenados en un pequeño conjunto de calibración (<6 horas de GPU), los umbrales suaves se convierten en umbrales duros offline, y las matrices de proyección se truncan antes de la inferencia.

2. Estrategia de Descomposición Híbrida

El artículo analiza las compensaciones entre la Descomposición Conjunta (JD) (factorizando cabezas concatenadas) y la Descomposición por Cabeza (HD) (factorizando cabezas de forma independiente).

Análisis de Sensibilidad: El análisis de valores singulares revela que las proyecciones de valor generalmente presentan errores de aproximación más altos que las proyecciones de clave bajo las mismas restricciones de rango. Por el contrario, JD ofrece un error de aproximación menor pero incurre en un costo de reconstrucción computacional $h \times$ (número de cabezas) mayor en comparación con HD.
Esquema Híbrido: STAR-KV adopta un enfoque híbrido:
- Proyecciones de Valor: Utilizan Descomposición Conjunta (JD) para preservar la fidelidad, ya que los valores son más sensibles a los errores de compresión.
- Proyecciones de Clave: Utilizan Descomposición por Cabeza (HD) para minimizar la sobrecarga de reconstrucción, ya que las claves son menos sensibles.
- Optimización: Para compensar la sobrecarga de JD en los valores, el marco utiliza la absorción de pesos, reordenando las operaciones para fusionar las matrices de reconstrucción en las proyecciones de salida, reduciendo significativamente los FLOPs.

3. Cuantización de Precisión Mixta Consciente del Bajo Rango

Para comprimir aún más las representaciones latentes, STAR-KV aborda el problema de los canales atípicos (outliers) que surgen de los valores singulares ordenados de los factores de bajo rango.

Hadamard por Bloques: En lugar de aplicar una transformación de Hadamard global, el método particiona la dimensión latente en bloques de "atípicos" (el 20% superior de canales con alta magnitud) y "típicos" (el 80% restante).
Precisión Mixta: Se aplican transformaciones de Hadamard independientes a cada bloque, seguidas de una cuantización de precisión mixta. El bloque de atípicos se cuantiza con mayor precisión (por ejemplo, 4 bits), mientras que el bloque de típicos se cuantiza con menor precisión (por ejemplo, 3 bits).
Cero Sobrecarga: Los factores de Hadamard se fusionan en las matrices de proyección descompuestas, lo que no incurre en un costo de ejecución adicional.

Resultados Clave

STAR-KV fue evaluado en múltiples familias de LLM (LongChat, LLaMA-2, LLaMA-3) y benchmarks (razonamiento de sentido común, LongBench, RULER).

Compresión vs. Precisión: STAR-KV logra hasta un 75% de compresión del caché KV con una degradación de precisión insignificante en comparación con los modelos sin comprimir. En LongChat-7B-v1.5, logra una compresión del 60% con una precisión que iguala a la del modelo base, superando a métodos de vanguardia como Palu y ReCalKV.
Compresión Combinada: Al combinarse con la cuantización de precisión mixta de 3.2 bits propuesta, STAR-KV logra hasta un 20× de reducción total del caché KV.
Rendimiento en Contexto Largo: En LongBench y RULER (longitud de secuencia de 4K), STAR-KV mantiene una precisión superior en tasas de compresión más altas (60%) en comparación con Palu, que se degrada significamente al 50% y a menudo requiere una compresión menor (30%) para seguir siendo competitivo.
Aceleración: Implementado con kernels de GPU basados en Triton, STAR-KV ofrece:
- Hasta 6.9× de aceleración en el módulo de atención en comparación con PyTorch SDPA.
- Hasta 3.1× de mayor rendimiento de generación end-to-end en escenarios de contexto largo (128K) o de alto batch.

Significación y Reivindicaciones

El artículo afirma que STAR-KV establece un nuevo frente de Pareto para la relación entre precisión y compresión en la gestión del caché KV. Su importancia radica en:

Granularidad Adaptativa: Ir más allá de la selección de rango estática o heurística hacia un mecanismo de control aprendible y fino que se adapta a la sensibilidad específica de diferentes capas y cabezas.
Eficiencia: Equilibrar con éxito la compensación entre el error de aproximación y la sobrecarga de reconstrucción mediante una estrategia de descomposición híbrida y la absorción de pesos.
Sinergia: Demostrar que la descomposición de bajo rango y la cuantización pueden combinarse sinérgicamente mediante transformaciones de Hadamard por bloques para lograr una compresión extrema (20×) sin sacrificar el rendimiento del modelo.
Practicidad: Proporcionar una solución post-entrenamiento que no requiere cambios arquitectónicos ni un reentrenamiento extensivo, lo que la hace aplicable a los LLM existentes con un costo de calibración mínimo.

Los autores enfatizan que su enfoque permite una compresión agresiva (hasta 75% de bajo rango, 20× total) manteniendo o incluso mejorando la precisión de los modelos sin comprimir y de los métodos de compresión existentes, abordando eficazmente los cuellos de botella de memoria y ancho de banda durante la inferencia de contexto largo.