KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs

Resumen Técnico: KV-CoRE

1. El Problema: El cuello de botella del KV-Cache

En los Modelos de Lenguaje de Gran Escala (LLMs), el mecanismo de atención requiere almacenar vectores de Key (K) y Value (V) para evitar cálculos redundantes durante la decodificación autorregresiva. A medida que la longitud del contexto aumenta, este "KV-cache" crece masivamente, saturando el ancho de banda de la memoria de la GPU (HBM).

Aunque existen métodos de compresión, los autores identifican dos limitaciones críticas en la investigación actual:

• Naturaleza dependiente de los datos: La mayoría de los métodos se centran en comprimir las matrices de proyección (pesos), ignorando que el rango intrínseco de las activaciones (K y V) varía según el contenido de los datos.
• Uniformidad de capa: Los enfoques actuales suelen aplicar la misma tasa de compresión a todas las capas, sin considerar que cada capa tiene perfiles de compresibilidad distintos.

2. Metodología: El marco KV-CoRE

Los autores proponen KV-CoRE (KV-cache Compressibility by Rank Evaluation), un marco basado en la Descomposición en Valores Singulares (SVD) para cuantificar la compresibilidad de forma precisa y eficiente.

Componentes clave de la metodología:

• SVD Incremental: Para evitar el consumo excesivo de memoria al procesar grandes conjuntos de datos, proponen un algoritmo que actualiza una matriz de covarianza token por token. Esto permite obtener los valores singulares ($\Sigma$) y los vectores singulares derechos ($V$) sin necesidad de cargar todo el caché en memoria simultáneamente.
• Aproximación de Bajo Rango Óptima: Utilizando el teorema de Eckart-Young-Mirsky, el método garantiza encontrar la proyección de bajo rango que minimiza el error bajo la norma de Frobenius, permitiendo una compresión matemáticamente óptima para datos específicos.
• Métrica NER (Normalized Effective Rank): Introducen el Rango Efectivo Normalizado como una métrica ligera para medir la compresibilidad. El NER escala el rango efectivo (basado en la distribución de los valores singulares) por el rango real de la matriz, resultando en un valor entre $1/r$ y $1$. Un NER bajo indica una alta compresibilidad (pocos valores singulares dominan).

3. Contribuciones Principales

1. Nuevo Framework de Evaluación: Un método basado en SVD que es gradient-free, incremental y permite una evaluación por capa y dependiente de los datos.
2. Métrica de Compresibilidad: La validación del NER como un indicador fiable que correlaciona fuertemente con la degradación del rendimiento (Perplejidad y GPT-score).
3. Benchmark a Gran Escala: El primer estudio sistemático que analiza la compresibilidad a través de múltiples arquitecturas (Qwen, Mistral, Gemma, Phi, LLaMA), dominios (código, medicina, instrucciones) y 15 idiomas.

4. Resultados Clave

• Asimetría K vs. V: Las Keys (K) son consistentemente más compresibles que las Values (V). Esto sugiere que las estrategias de compresión pueden ser más agresivas con las Keys con un impacto menor en el rendimiento.
• Heterogeneidad por Capas: La compresibilidad no es uniforme. Las capas medias suelen tener un NER más alto (mayor uso de capacidad representacional), mientras que las capas iniciales y finales son más compresibles.
• Impacto del Idioma y el Dominio:
  • El cambio de dominio (ej. de medicina a código) tiene un impacto menor en la compresibilidad que el cambio de idioma.
  • Los idiomas con pocos recursos (ej. árabe, finés) muestran un "colapso de rango" (NER muy bajo), lo que sugiere que sus representaciones están subentrenadas y colapsan en subespacios de baja dimensión.
• Correlación de Rendimiento: Se demostró una fuerte correlación positiva entre el NER y la sensibilidad del modelo a la compresión (medida mediante Normalized Delta-Perplexity).

5. Significado y Aplicaciones

El trabajo de KV-CoRE cambia el paradigma de la compresión de KV-cache de un enfoque estático y basado en pesos a uno dinámico y basado en datos.

Implicaciones prácticas:

• Compresión Adaptativa: Permite diseñar sistemas que apliquen diferentes tasas de compresión según la capa y el tipo de entrada (idioma o tarea).
• Diagnóstico de Modelos: El análisis del rango puede servir como una herramienta para identificar qué idiomas o dominios están insuficientemente representados en el entrenamiento de un modelo.
• Eficiencia en Inferencia: Proporciona una base teórica para optimizar el uso de la memoria en despliegues de LLMs de largo contexto.