🤖 machine learning

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression

El artículo introduce la Cuantización Multiplicativa de Cuaterniones de Hurwitz (HQMQ), un método sin calibración que comprime las cachés KV representando fragmentos de 4 elementos como cuaterniones cuantizados mediante un producto de un grupo de Hurwitz fijo y librerías de códigos secundarias aleatorias, logrando una precisión cercana a fp16 con una compresión de hasta 5,05× en diversos LLM modernos mientras elimina la necesidad de calibración.

Autores originales: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: El "Acumulador de Memoria"

Imagina un Modelo de Lenguaje Grande (LLM) como un bibliotecario brillante pero olvidadizo. Cuando le haces una pregunta larga, debe recordar cada palabra que has dicho hasta el momento para responder correctamente. En términos informáticos, esta memoria se llama KV Cache.

Para conversaciones muy largas, esta memoria caché se vuelve enorme. Si el bibliotecario intenta recordar cada detalle en alta definición (como una película en 4K), llena la memoria RAM del ordenador instantáneamente. Esto obliga al ordenador a usar almacenamiento más lento o a fallar, haciendo que la conversación se detenga.

Para solucionar esto, los ingenieros intentan "comprimir" la memoria, como convertir una película en 4K en un archivo MP4 más pequeño. Sin embargo, los métodos anteriores de compresión eran como usar un cuchillo romo: si reducías demasiado el tamaño del archivo (por debajo de 4 bits), la película se volvía inobservable (la IA empezaba a decir sinsentidos). Si el modelo de IA tenía "valores atípicos" (números extraños y extremos en sus datos), la compresión estándar se rompía por completo, provocando que la IA alucinara salvajemente.

La Solución: HQMQ (El Sistema de la "Brújula Inteligente")

Los autores proponen un nuevo método llamado HQMQ. En lugar de simplemente encoger los números, tratan grupos de datos como cuaterniones (un tipo de brújula matemática de 4 dimensiones).

Así es como funciona, desglosado en tres pasos simples:

1. La "Estrella de 24 Puntos" (El Libro de Códigos Primario)

Imagina que la dirección a la que apunta un trozo de datos es como la aguja de una brújula. En lugar de intentar almacenar el ángulo exacto (lo cual ocupa demasiado espacio), los autores utilizan una "estrella" especial y predefinida con 24 puntos (llamada el grupo Hurwitz).

La Analogía: Piensa en esto como un conjunto estándar de 24 direcciones fijas (Norte, Noreste, etc., pero en 4D). No importa hacia dónde apunten los datos, simplemente los ajustas a la más cercana de estas 24 direcciones "perfectas".
La Magia: Como estos 24 puntos son matemáticamente perfectos y están espaciados uniformemente, no necesitas entrenar a la IA para aprenderlos. Son simplemente reglas "codificadas en hardware", como las letras en un teclado.

2. El "Giro Aleatorio" (El Libro de Códigos Secundario)

Los 24 puntos no son suficientes para cubrir cada posible matiz. Así que los autores añaden una segunda capa: un pequeño "giro" aleatorio para cada parte específica de la IA.

La Analogía: Imagina que tienes un globo terráqueo con los 24 puntos pintados en él. Ahora, imagina que puedes girar el globo aleatoriamente por cada frase que procesa la IA.
El Resultado: Cuando combinas los 24 puntos fijos con un giro aleatorio, obtienes miles de direcciones únicas ( $24 \times \text{giros aleatorios}$ ).
Por qué es genial: El artículo afirma que no necesitas entrenar este giro aleatorio. Debido a las matemáticas detrás de ello, cualquier giro aleatorio funciona casi tan bien como uno entrenado. Es como decir: "No necesitas practicar para lanzar dardos; simplemente lánzalos al azar, y las matemáticas garantizan que darás en el tablero". Esto ahorra tiempo y datos.

3. La "Red de Seguridad para Atípicos" (Med3×)

Algunos modelos de IA (como Qwen) tienen "valores atípicos": puntos de datos que son 100 o 200 veces más grandes que lo normal. La compresión estándar intenta aplastar estos números enormes para que quepan, lo cual destruye los datos.

La Analogía: Imagina que estás haciendo una maleta. La mayoría de la ropa es de tamaño normal, pero tienes un oso de peluche gigante y de forma incómoda. Si intentas forzar al oso dentro de una caja pequeña, la caja se rompe.
La Solución: HQMQ tiene una regla: "Si un número es demasiado grande (más de 3 veces el promedio), no lo aprietes. Simplemente manténlo en su forma original de alta calidad (fp16) y márcalo con una pequeña bandera".
El Resultado: Solo alrededor del 1–3% de los datos recibe este tratamiento especial, por lo que el ahorro de memoria sigue siendo masivo, pero los "osos de peluche gigantes" no rompen el sistema.

¿Qué Demostraron?

Los autores probaron esto en cinco modelos de IA modernos diferentes (Mistral, Llama, Qwen, etc.). Aquí están sus hallazgos principales:

Funciona Sin Entrenamiento: A diferencia de otros métodos que necesitan una fase de "calibración" (donde la IA estudia datos para aprender a comprimir), HQMQ funciona inmediatamente con configuraciones aleatorias.
Ahorra Espacio Masivo: Lograron reducir la memoria caché en 5 veces. Por ejemplo, una caché de contexto de 128k para un modelo de 70 mil millones de parámetros (que normalmente ocupa 43 GB) se redujo a 8.5 GB. Esto significa que podrías ejecutar una IA masiva en una sola tarjeta gráfica de consumo en lugar de en un superordenador.
Maneja Datos "Malos": En modelos con valores atípicos extremos (como Qwen), la compresión estándar falló por completo (la tasa de error de la IA explotó). HQMQ + la "Red de Seguridad" solucionó esto, devolviendo el rendimiento de la IA a niveles casi perfectos.
Velocidad: Construyeron un motor especial "fusionado" que lee los datos comprimidos y los decodifica instantáneamente mientras la IA está pensando. Esto significa que la IA no se ralentiza; simplemente usa menos memoria.

La Conclusión

HQMQ es como un kit de compresión universal y preelaborado para la memoria de la IA. Utiliza un truco matemático inteligente (multiplicar una estrella fija de 24 puntos por un giro aleatorio) para almacenar direcciones de manera eficiente sin necesidad de aprender nada primero. También tiene un interruptor de seguridad para picos de datos extraños.

¿El resultado? Puedes ejecutar conversaciones mucho más largas e inteligentes en ordenadores mucho más pequeños sin que la IA pierda la cabeza.

Resumen Técnico: Cuantización Multiplicativa de Cuaterniones de Hurwitz para Compresión de Caché KV

Declaración del Problema

El costo de memoria de la caché de Clave-Valor (KV) durante la inferencia en contextos largos en Modelos de Lenguaje Grandes (LLM) a menudo domina los costos computacionales. Almacenar los vectores K y V en FP16 puede consumir decenas de gigabytes para longitudes de secuencia superiores a 32k. Aunque la cuantización escalar (por ejemplo, int8, int4) reduce este costo, el rendimiento se degrada significativamente por debajo de 4 bits, e int2 típicamente rompe el modelo. Además, las arquitecturas modernas (específicamente aquellas con Atención de Consulta Agrupada, como Qwen2.5 y Qwen3) exhiben patrones de atención "cargados de valores atípicos" donde una pequeña fracción de fragmentos de K tiene magnitudes extremas. La cuantización escalar estándar falla catastróficamente en estos escenarios, lo que conduce a picos de perplejidad (PPL) de más de 10.000 puntos. Los enfoques existentes de cuantización vectorial a menudo requieren datos de calibración o no logran manejar estos valores atípicos de manera efectiva.

Metodología: Cuantización Multiplicativa de Cuaterniones de Hurwitz (HQMQ)

Los autores proponen HQMQ, un método sin calibración que trata cada fragmento de 4 elementos de los vectores K o V como un cuaternión $x \in \mathbb{H}$ . El método descompone el vector en un radio $r = \|x\|$ y una dirección unitaria $u = x/r$ en la 3-esfera $S^3$ .

1. Composición de Diccionario Multiplicativo

En lugar de aprender un único diccionario grande o utilizar una composición aditiva, HQMQ construye un diccionario conjunto mediante el producto multiplicativo de dos componentes:

Diccionario Primario ( $P$ ): Un conjunto fijo de 24 cuaterniones de Hurwitz unitarios, correspondientes a los vértices del 24-célula en $S^3$ (el grupo tetraédrico binario $2T$ ). Estos vértices están separados por pares a $60^\circ$ y forman un grupo multiplicativo cerrado.
Diccionario Secundario ( $S$ ): Un conjunto de $S$ cuaterniones unitarios aleatorios, inicializados por (capa, cabeza, rol) sin calibración.

El diccionario efectivo es el conjunto $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ . Esto produce $24S$ palabras de código efectivas mientras se almacenan solo $S$ parámetros. La dirección $u$ se cuantiza a la palabra de código $c \in C$ que maximiza el producto interno $\langle u, c \rangle$ .

2. Justificación Teórica para la Inicialización Aleatoria

El artículo argumenta que la calibración es innecesaria porque la multiplicación por la izquierda por un cuaternión unitario es una isometría en $S^3$ . Seleccionar aleatoriamente $S$ elementos rota efectivamente el grupo fijo $2T$ , creando $S$ copias isométricas disjuntas que teselan $S^3 de manera cuasi uniforme. La Proposición 3.1 establece que este empaquetamiento multiplicativo aleatorio logra una tasa de cobertura óptima de$ O((24S)^{-1/3})$ en $S^3$ , igualando el límite teórico para empaquetamientos óptimos de esferas hasta constantes.

3. Extracción de Valores Atípicos con Multiplicador Mediano (Med3×)

Para abordar las arquitecturas "cargadas de valores atípicos" donde las normas de los fragmentos varían en factores de 80–280×, los autores introducen un paso de extracción de valores atípicos por lote:

Calcular la norma mediana de fragmentos $r_{med}$ en el lote actual.
Identificar fragmentos donde $r > C \cdot r_{med}$ (con una constante fija $C=3$ ).
Almacenar estos valores atípicos en FP16 completo (con una bandera de 1 bit) y cuantizar los fragmentos restantes de "masa" utilizando HQMQ.
Este paso no requiere datos de calibración y es estable en diferentes arquitecturas.

Contribuciones Clave

Nueva Regla de Composición de Diccionario: Un esquema de cuantización multiplicativa basado en el grupo finito de Hurwitz $2T$ , que difiere de la VQ aditiva (CommVQ) o la VQ plana aprendida (VPTQ).
Despliegue Sin Calibración: El método se basa en las propiedades geométricas de las rotaciones aleatorias de Haar del 24-célula, eliminando la necesidad de pasadas de calibración por modelo. Los resultados empíricos muestran una variación de perplejidad en tareas finales de <0.14% entre semillas aleatorias.
Manejo Robusto de Valores Atípicos: El mecanismo de extracción Med3× permite el uso de cuantización de bajo bit en modelos cargados de valores atípicos (como Qwen2.5/3) donde int4 ingenuo falla completamente.
Validación Empírica: Evaluación en cinco modelos diversos (Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B y gpt-oss-20b) que demuestra dominancia de Pareto sobre las líneas base de enteros ingenuas.

Resultados Experimentales

Perplejidad y Calidad

Mistral-7B & Llama-3-8B: HQMQ logra compresión casi sin pérdida a $\sim5$ bits, igualando la perplejidad FP16 dentro de 0.02–0.03 puntos. A 3.79 bits, iguala la precisión cero-shot aguas abajo FP16 (PIQA, HellaSwag, ARC-Easy).
Qwen2.5-7B & Qwen3-8B (Cargados de Valores Atípicos): int4 ingenuo colapsa a PPLs de 17.000–18.000. HQMQ + Med3× recupera la calidad FP16 (PPL $\approx$ 9.0–9.7) a $\sim5$ bits, representando una mejora de calidad de $\sim1.900\times$ sobre int4 ingenuo a menos bits.
gpt-oss-20b (MoE Disperso): HQMQ domina por Pareto a la línea base ingenua por 3–3.5× a bits igualados.

Comparación con Líneas Base

vs. Int Ingenuo: HQMQ supera a int4 ingenuo por 3–1.900× en PPL en todos los modelos a tasas de bits igualadas.
vs. KIVI (Línea Base Calibrada): A 3.79 bits, HQMQ iguala a KIVI-4 calibrado (que utiliza $\sim4.5$ bits) dentro de $\sim1$ punto en CoQA y 2.3 puntos en GSM8K, utilizando un 16% menos de bits y cero calibración.
vs. Cuantización Esférica/Vectorial: HQMQ supera a las líneas base esféricas (por ejemplo, estilo TurboQuant) y a las líneas base de VQ aditiva con diccionarios aleatorios.

Memoria y Latencia

Compresión: HQMQ entrega hasta 5.05× de compresión de caché KV. Para un modelo Llama-3-70B con un contexto de 128k, la caché se reduce de 43 GB (FP16) a 8.5 GB, permitiendo inferencia en una sola GPU de consumo de 24 GB.
Latencia: Un kernel fusionado de Triton decodifica K/V directamente dentro del bucle de atención. En una carga de trabajo de decodificación de producción, el kernel fusionado mantiene una latencia constante de $\sim0.033$ ms independientemente de la longitud del contexto, ofreciendo una aceleración de 7.4× a 82.9× sobre una línea base de "cuantización falsa" ingenua que descuantiza toda la caché por paso.

Significado y Afirmaciones

El artículo afirma que HQMQ proporciona una "receta algebraica limpia" para la cuantización de caché KV que cierra la brecha entre la cuantización vectorial teórica y el despliegue práctico. Su significado principal radica en:

Habilitar Cuantización de Bajo Bit en Modelos Cargados de Valores Atípicos: Es el primer método que hace viable la cuantización sub-5 bits para arquitecturas como Qwen2.5/3, donde los métodos estándar fallan.
Eliminar la Sobrecarga de Calibración: Al aprovechar las propiedades geométricas del grupo de Hurwitz, elimina la necesidad de calibración dependiente de datos, haciéndolo adecuado para modelos propietarios o de despliegue rápido.
Eficiencia Práctica: La combinación de altas tasas de compresión (hasta 5×) y un kernel fusionado que evita los cuellos de botella de ancho de banda de memoria hace que la inferencia en contextos largos sea práctica en hardware de consumo.

Los autores señalan limitaciones, específicamente que HQMQ no compite con diccionarios entrenados (como CommVQ) en el régimen sub-3 bits y que su rendimiento en contextos extremadamente largos (más allá de 128k) o en arquitecturas específicas como Atención Latente de Múltiples Cabezas (MLA) requiere mayor investigación. Sin embargo, dentro del régimen de 3–5 bits, establece un nuevo estado del arte para la compresión KV libre de calibración y robusta ante valores atípicos.