🤖 machine learning

Quantize What Counts: More for Keys, Less for Values

Este trabajo establece una base teórica para la cuantización de la memoria caché KV de precisión mixta en Modelos de Lenguaje Grandes al demostrar que priorizar una mayor precisión para las claves sobre los valores reduce estrictamente el error de cuantización y preserva la precisión, transformando así la asignación de bits de un ajuste heurístico a un principio de diseño guiado por la geometría.

Autores originales: Mohsen Hariri, Alan Luo, Weicong Chen, Shaochen Zhong, Tianyi Zhang, Qifan Wang, Xia Hu, Xiaotian Han, Vipin Chaudhary

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mohsen Hariri, Alan Luo, Weicong Chen, Shaochen Zhong, Tianyi Zhang, Qifan Wang, Xia Hu, Xiaotian Han, Vipin Chaudhary

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La "Nevera de Memoria" está Demasiado Llena

Imagina un Modelo de Lenguaje Grande (LLM) como un chef brillante que está cocinando una comida muy larga (una conversación o una historia). Para mantener la comida en marcha, el chef necesita recordar cada ingrediente que ha añadido hasta ahora. En términos informáticos, esta memoria se llama KV Cache (Caché de Clave-Valor).

A medida que la comida se hace más larga (más tokens), el chef necesita una nevera cada vez más grande para almacenar estos ingredientes. Eventualmente, la nevera se llena tanto que la cocina se queda sin espacio, ralentizando todo o deteniendo la cocina por completo. Este es el "cuello de botella de memoria" que aborda el artículo.

La Solución Actual: Encoger los Ingredientes

Para solucionar la nevera llena, los ingenieros utilizan cuantización. Piensa en esto como comprimir los ingredientes. En lugar de almacenar una sandía entera y pesada (alta precisión), almacenas una rebanada más pequeña y ligera (baja precisión). Esto ahorra espacio.

Sin embargo, hay un truco: si encoges los ingredientes demasiado, el chef podría olvidar la receta o cometer un error. La gran pregunta siempre ha sido: "¿Cuánto podemos encoger los ingredientes Clave versus los ingredientes Valor sin arruinar la comida?"

Hasta ahora, la gente adivinaba (heurísticas) o probaba combinaciones aleatorias para ver qué funcionaba. Este artículo dice: "Deja de adivinar. Veamos las matemáticas".

El Descubrimiento: Las Claves son los "Portadores Pesados"

Los autores descubrieron una diferencia fundamental entre los dos tipos de ingredientes: Claves y Valores.

La Analogía: Imagina que la "Clave" es la etiqueta en una caja, y el "Valor" es el contenido dentro de la caja.
El Hallazgo: El artículo demuestra que las "etiquetas" (Claves) son matemáticamente "más pesadas" y más complejas que el "contenido" (Valores). En términos técnicos, las matrices de Clave tienen "normas" más grandes (una medida de tamaño y energía) que las matrices de Valor.

Como las Claves son más pesadas, llevan más "densidad de información". Si aplastas un objeto pesado demasiado, se rompe. Si aplastas un objeto ligero, apenas cambia.

La Solución: "Más para las Claves, Menos para los Valores"

Basándose en este descubrimiento, los autores proponen una nueva regla para encoger los ingredientes:

Dale a las Claves más bits (manténlas más grandes): Dado que las Claves son las etiquetas pesadas y complejas, necesitan mantenerse relativamente precisas.
Dale a los Valores menos bits (encógelos más): Dado que los Valores son más ligeros y menos sensibles, puedes comprimirlos significativamente sin perder mucha precisión.

La Metáfora Creativa:
Imagina que estás haciendo una maleta para un viaje.

Las Claves son tu pasaporte y tus billetes. Si los garabateas o los doblas demasiado pequeños, no puedes usarlos y te quedas atascado. Necesitan mantenerse nítidos y claros (Alta Precisión).
Los Valores son tus calcetines y camisetas. Puedes doblarlos estrechamente, enrollarlos o incluso meterlos en las esquinas. Ocupan espacio, pero si se arrugan un poco, aún puedes usarlos (Baja Precisión).

La estrategia del artículo es: Empaca el pasaporte con cuidado (4 bits), pero rellena los calcetines con fuerza (2 bits).

Los Resultados: Ahorrando Espacio Sin Perder Calidad

Los investigadores probaron esta estrategia de "Pasaporte vs. Calcetines" en muchos modelos diferentes (como Llama, Mistral y Qwen) y tareas (matemáticas, conversación, escritura).

La Vieja Forma: Tratar todo igual (por ejemplo, 4 bits para pasaportes, 4 bits para calcetines). Esto desperdicia espacio en los calcetines.
La Nueva Forma: 4 bits para pasaportes, 2 bits para calcetines.

El Resultado:

Espacio Ahorrado: Ahorraron aproximadamente un 25% de la memoria necesaria para la nevera.
Precisión Mantida: El modelo aún funcionó al 98.3% de su precisión original.
El Punto Dulce "K4V2": Específicamente, asignar 4 bits a las Claves y 2 bits a los Valores funcionó casi tan bien como mantener todo en 4 bits, pero usó la mitad de memoria para los valores.

Por Qué Esto Importa

Este artículo cambia el juego de "prueba y error" a "diseño científico".

Antes: Los ingenieros ajustaban configuraciones aleatoriamente hasta que el modelo no se bloqueaba.
Ahora: Tenemos una regla basada en la geometría del modelo mismo: Prioriza las Claves.

También mostraron que esta regla funciona perfectamente con otros trucos (como la "rotación", que es como reorganizar la maleta para que quepan las cosas mejor). Cuando combinas "Más para las Claves" con estos otros trucos, los resultados mejoran aún más.

Resumen

El artículo argumenta que en la memoria de los modelos de IA, las Claves son las partes críticas y de carga pesada, mientras que los Valores son las partes flexibles y comprimibles. Al dar a las Claves más atención (bits) y a los Valores menos, podemos reducir significativamente la huella de memoria del modelo sin hacer que la IA "olvide" cómo pensar. Es una regla simple, respaldada por las matemáticas: Más para las Claves, Menos para los Valores.

Resumen Técnico: Cuantifica lo que Cuenta: Más para las Claves, Menos para los Valores

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) enfrentan cuellos de botella severos de memoria durante la inferencia, impulsados por la memoria caché de Clave-Valor (KV), que escala linealmente con el tamaño del modelo y la longitud del contexto. Si bien la cuantización de la memoria caché KV (reduciendo la precisión de BF16 a INT4 o inferior) ofrece una vía para el ahorro de memoria, los métodos existentes a menudo dependen de un ajuste heurístico y ad hoc para la asignación de bits entre claves y valores. Los enfoques actuales suelen tratar la división clave-valor como un hiperparámetro que debe buscarse mediante búsqueda en cuadrícula o derivarse de estadísticas de activación en tiempo de inferencia, careciendo de una base teórica arraigada en las propiedades intrínsecas del modelo. Esto plantea una pregunta fundamental: ¿Cómo puede determinarse la asignación de bits de manera principista y generalizable, minimizando el error de cuantización mientras se preserva la precisión del modelo?

Metodología

El artículo propone un enfoque impulsado por la geometría para la cuantización de memoria caché KV de precisión mixta, fundamentado en las normas espectrales y de Frobenius intrínsecas de las matrices de pesos del Transformer. La metodología procede en dos pasos teóricos y empíricos:

Análisis Teórico de la Disparidad de Normas: Los autores analizan la dinámica de entrenamiento de las matrices de proyección de clave ( $W_K$ ) y valor ( $W_V$ ). Demuestran que $W_K$ adquiere sistemáticamente normas espectrales y de Frobenius más grandes que $W_V$ debido a la asimetría arquitectónica en los mecanismos de atención. Específicamente, $W_K$ moldea el mapa de atención e interactúa multiplicativamente con las consultas, lo que conduce a señales de gradiente amplificadas durante el entrenamiento, mientras que $W_V$ solo influye en las representaciones posteriores a la atención. Esto resulta en que $W_K$ tenga una mayor densidad de información y magnitud.
Derivación de Teoremas de Cuantización: Basándose en la observación de que el error de cuantización escala con la energía de la señal (magnitud de la norma), los autores derivan dos teoremas:
- Teorema de Disparidad de Normas Clave-Valor: Demuestra que las normas espectrales y de Frobenius esperadas de $W_K$ exceden a las de $W_V$ en familias prominentes de LLM.
- Teorema de Cuantización Priorizada a las Claves: Establece que, para cualquier presupuesto de memoria fijo, asignar una mayor precisión a las claves que a los valores reduce estrictamente el error total de cuantización. Esto se debe a que el error introducido en la ruta de alta norma de las claves se amplifica más significativamente a través de la red que los errores en la ruta de valores.

Los autores validan estos teoremas en diversos modelos (Llama-3, Mistral, Phi, Qwen, DeepSeek), conjuntos de datos (C4, MMLU, GSM8K, CoQA, EQ-Bench, LongBench) y backends de cuantización (Optimum Quanto y HQQ). También investigan la integración de esta estrategia con métodos de redistribución de valores atípicos basados en rotación (por ejemplo, QuaRot).

Contribuciones Clave

Fundamentación Teórica: El artículo proporciona la primera justificación teórica para la asignación asimétrica de bits en las memorias caché KV, avanzando más allá del ajuste heurístico hacia un principio de diseño basado en las propiedades algebraicas lineales de los pesos del Transformer.
Teorema de Disparidad de Normas: Demuestra que las proyecciones de clave exhiben consistentemente normas más grandes que las proyecciones de valor, una propiedad preservada en las memorias caché resultantes.
Teorema de Cuantización Priorizada a las Claves: Demuestra formalmente que priorizar la precisión para las claves sobre los valores minimiza el error de cuantización y preserva la precisión de la inferencia de manera más efectiva que las asignaciones simétricas o invertidas.
Validación Empírica: Experimentos extensivos muestran que las asignaciones favorables a las claves (por ejemplo, claves de 4 bits, valores de 2 bits) retienen hasta el 98,3% de la precisión de las asignaciones uniformes de 4 bits (K4V4) mientras reducen la memoria de la memoria caché KV en un 25%.
Ortogonalidad e Integración: El estudio muestra que esta estrategia impulsada por la geometría es ortogonal a las técnicas existentes de redistribución de valores atípicos. Combinar la cuantización priorizada a las claves con la rotación solo de claves produce ganancias sinérgicas, superando a las líneas base uniformes entre un 4,4% y un 18% en precisión en diversas tareas.

Resultados

Error de Reconstrucción: En siete modelos y múltiples conjuntos de datos, las memorias caché de claves incurren consistentemente en errores de reconstrucción más grandes que las memorias caché de valores a anchos de bits idénticos (por ejemplo, K2 vs. V2), confirmando su mayor sensibilidad a la cuantización.
Precisión en Tareas Posteriores:
- En las evaluaciones de GSM8K utilizando Optimum Quanto, la configuración K4V2 (claves de 4 bits, valores de 2 bits) supera significativamente a K2V4, recuperando aproximadamente el 94% de la precisión de la línea base de precisión completa, mientras que las asignaciones favorables a los valores incurren en pérdidas de hasta 30 puntos porcentuales.
- Utilizando HQQ en un rango más amplio de anchos de bits (1–8 bits) y modelos (0,6B–32B), asignar incluso un bit extra a las claves en precisiones ultra-bajas produce ganancias masivas (por ejemplo, +48 puntos porcentuales para Qwen3-8B en GSM8K al pasar de claves de 1 bit a claves de 2 bits).
- En promedio, K4V2 retiene el 98,3% de la precisión de K4V4 en CoQA, EQ-Bench y GSM8K.
Integración con Rotación: Aplicar rotación solo a las claves en una configuración K4V2 logra una precisión casi igual a la línea base completa K4V4, lo que indica que el beneficio principal de la rotación proviene de mitigar los valores atípicos de las claves. Rotar solo los valores proporciona retornos marginales o negativos.
Sensibilidad al Tamaño de Grupo: Los tamaños de grupo más finos (por ejemplo, 32) para las claves mejoran la precisión debido a la mayor densidad de información, mientras que los tamaños de grupo más gruesos (64 o 128) para los valores son suficientes con una pérdida de precisión negligible.

Significado

El artículo afirma transformar la asignación de bits de una elección de diseño ad hoc a un principio de diseño fundamentado teóricamente e impulsado por la geometría para una inferencia eficiente de LLM. Al anclar las estrategias de precisión mixta en las normas intrínsecas de los pesos del modelo, los autores proporcionan una regla generalizable: "Más para las claves, menos para los valores". Este enfoque ofrece un costo analítico ligero y único por modelo sin requerir introspección en tiempo de inferencia ni reentrenamiento. Los hallazgos sugieren que los futuros marcos de cuantización KV y el diseño conjunto de hardware y algoritmo deben priorizar la precisión de las claves para lograr la máxima eficiencia de memoria con una degradación mínima de la precisión. El trabajo también destaca que esta estrategia complementa las técnicas existentes de redistribución de valores atípicos, permitiendo mayores ganancias de rendimiento sin aumentar la complejidad.