🤖 machine learning

KronQ: LLM Quantization via Kronecker-Factored Hessian

KroQ es un marco de cuantificación post-entrenamiento que mejora la compresión de modelos de lenguaje de gran tamaño al incorporar la covarianza del gradiente en el objetivo de cuantificación mediante la aproximación de Hessiano factorizado por Kronecker, permitiendo el procesamiento de incoherencia bidireccional y métricas de sensibilidad mejoradas que logran una perplejidad superior en comparación con métodos existentes como GPTQ, particularmente en escenarios de bits extremadamente bajos.

Autores originales: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Publicado 2026-07-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro de robot gigante e increíblemente inteligente (un Modelo de Lenguaje Extenso o LLM) que puede escribir historias, resolver problemas matemáticos y charlar como un humano. ¿El problema? Este cerebro es tan masivo que necesita un almacén lleno de computadoras solo para caber en un estante. Para lograr que funcione en una computadora portátil o un teléfono normal, los científicos intentan "encogerlo" comprimiendo su memoria, un proceso llamado cuantización. Piensa en esto como empacar una maleta: quieres meter toda tu ropa (el conocimiento del modelo) en una bolsa diminuta sin perder nada importante.

Durante un tiempo, la mejor manera de empacar esta maleta fue un método llamado GPTQ. Funcionaba observando cómo variaba la "entrada" del robot (las palabras que lee) y ajustando los pesos en consecuencia. Pero los autores de este nuevo artículo, KronQ, notaron un fallo en esta estrategia. Se dieron cuenta de que GPTQ solo estaba mirando el lado de la entrada de la ecuación, asumiendo que cada posible salida (las palabras que el robot podría decir a continuación) era igualmente importante.

El Gran Error: Ignorar el Lado de la "Salida"
El artículo argumenta que esta suposición es como intentar empacar una maleta mirando solo qué tan pesada es la ropa, mientras se ignora qué tan frágil es. En realidad, algunas partes del cerebro del robot son súper sensibles. Si las aplastas demasiado, todo el sistema se desmorona.

Los autores midieron esto y descubrieron algo asombroso: en un modelo masivo como LLaMA-3-70B, los canales de "salida" (las rutas que el robot utiliza para generar respuestas) varían enormemente en importancia. Algunos son como vidrio delicado; otros son como ladrillos resistentes. Los métodos antiguos los trataban a todos por igual, lo que causaba que el robot se volviera loco cuando se comprimía demasiado. De hecho, cuando intentaron encoger LLaMA-3-70B a solo 2 bits (una cantidad de memoria minúscula), los métodos antiguos fallaron por completo, produciendo disparates con una "perplejidad" (una puntuación de qué tan confundido está el modelo) de más de 2000. Eso es como si un robot olvidara cómo hablar inglés por completo.

La Nueva Solución: KronQ
Entra KronQ. Los autores proponen una nueva forma de empacar la maleta que mira tanto la entrada como la salida. Utilizan un truco matemático llamado aproximación de Hessiano factorizado por Kronecker.

Aquí está la analogía: Imagina que el cerebro del robot es un tambor gigante.

Método Antiguo (GPTQ): Golpeas el tambor desde el frente (entrada) y ajustas la tensión basándote en cómo vibra el frente. Asumes que la parte trasera del tambor es una imagen especular.
KronQ: Golpeas el tambor desde el frente y desde la parte trasera. ¡Te das cuenta de que la parte trasera vibra de forma diferente! Algunas partes de la parte trasera están sueltas y tambaleantes, mientras que otras están tensas. KronQ mide esta "vibración trasera" (la covarianza del gradiente) y lo usa para empacar la maleta con mucho más cuidado.

Dos Superpoderes de KronQ
El artículo muestra que KronQ hace dos cosas ingeniosas:

Incoherencia Bidireccional (El "Mezclado"):
Antes de empacar, KronQ mezcla los pesos en dos direcciones (entrada y salida) para asegurarse de que ningún punto esté sobrecargado con artículos pesados o frágiles. Es como tomar una pila desordenada de libros y distribuirlos uniformemente para que la maleta no se abulte en un solo punto. El artículo muestra que esto reduce la "variabilidad" de los pesos, haciendo que sean mucho más fáciles de comprimir sin romperse.
Asignación Inteligente de Bits (El "Pase VIP"):
No todas las partes del robot necesitan la misma cantidad de espacio. KronQ calcula una "puntuación de sensibilidad" para cada subcapa del cerebro. Le da a las capas "VIP" (las más sensibles) más bits (más espacio de memoria) y a las menos importantes menos bits. Crucialmente, debido a que mira el lado de la salida, puede distinguir entre capas que parecen idénticas desde el lado de la entrada pero que actúan de manera muy diferente.

Los Resultados: Salvando el Día
Los autores probaron esto en varios modelos, desde 7 mil millones hasta 70 mil millones de parámetros. Los resultados fueron dramáticos, especialmente cuando intentaron encoger los modelos al límite extremo de 2 bits.

El Fallo: En el modelo masivo LLaMA-3-70B, los métodos antiguos (GPTQ y GPTAQ) divergieron o produjeron resultados basura (perplejidad > 2000).
El Éxito: KronQ logró comprimir este mismo modelo de 70 mil millones de parámetros a 2 bits y lo mantuvo funcionando perfectamente, logrando una perplejidad de 7.93 en el conjunto de datos WikiText-2. Esa es una diferencia enorme entre un "robot roto" y un "robot inteligente".

Incluso en configuraciones de 4 y 3 bits, KronQ superó consistentemente a la competencia, mostrando puntuaciones de confusión más bajas y mejor precisión en pruebas de razonamiento como PiQA y Arc-Challenge. Por ejemplo, en LLaMA-2-7B a 2 bits, KronQ obtuvo una perplejidad de 8.15, mientras que GPTQ tuvo dificultades con 31.11.

El Costo
¿Hay alguna trampa? El artículo admite que para obtener estos datos de la "vibración de salida", KronQ necesita realizar un paso hacia atrás (backward pass) adicional a través del modelo antes de empacar. Esto toma un poco más de tiempo y memoria durante la fase de configuración (unos 8–11 segundos más por capa en comparación con GPTAQ). Sin embargo, una vez que el modelo está empacado, la velocidad de ejecución real y el uso de memoria durante el uso son tan eficientes como los de los métodos anteriores. El trabajo extra es un costo de configuración de una sola vez que rinde frutos al permitir que el modelo se reduzca mucho más sin romperse.

Lo Que Descartaron
El artículo argumenta explícitamente en contra de la idea de que puedes ignorar el lado de la salida de las matemáticas. Demuestran que asumir que todas las direcciones de salida son iguales (estableciendo la matriz de covarianza del gradiente como una matriz identidad) es una "aproximación suboptimal" que conduce al fracaso en escenarios de ultra bajo bit. También muestran que los métodos que solo miran las estadísticas de entrada (como el GPTQ estándar) no pueden distinguir entre diferentes subcapas que comparten la misma entrada, lo que lleva a decisiones deficientes sobre dónde asignar la memoria.

¿Qué tan seguros están?
Los autores están muy seguros de estos resultados porque se basan en mediciones reales, no solo en simulaciones. Realizaron estas pruebas en hardware real (GPUs A100) con modelos reales (LLaMA-2, LLaMA-3, Gemma, DeepSeek) y midieron la perplejidad y la precisión real. No solo sugirieron que podría funcionar; demostraron que, en estos experimentos específicos, los métodos antiguos literalmente fallaron en producir un modelo funcional a 2 bits, mientras que KronQ tuvo éxito.

En resumen, KronQ es como un maestro empacador que se dio cuenta de que, para meter un cerebro gigante en una caja pequeña, tienes que entender cómo el cerebro genera información, no solo cómo la recibe. Al hacerlo, desbloquea la capacidad de ejecutar modelos de IA masivos en dispositivos que antes pensaban que era imposible.

Resumen Técnico: KronQ: Cuantización de LLM mediante el Hessiano Factorizado por Kronecker

Declaración del Problema

La cuantización post-entrenamiento (PTQ) es una técnica crítica para desplegar Grandes Modelos de Lenguaje (LLMs) en hardware con recursos limitados sin necesidad de reentrenamiento. Aunque los métodos existentes de PTQ de segundo orden, como GPTQ y sus sucesores (por ejemplo, GPTAQ), se han convertido en el estándar para la cuantización de un solo paso (one-shot), estos dependen de una limitación fundamental: construyen los objetivos de cuantización exclusivamente a partir de las estadísticas de activación de entrada ( $H_X$ ).

Bajo la aproximación de factorización de Kronecker (K-FAC), el Hessiano completo de los pesos ( $H$ ) se factoriza en el producto de Kronecker de la covarianza de la activación de entrada ( $H_X$ ) y la covarianza del gradiente de salida ( $H_G$ ). Los métodos basados en compensación asumen implícitamente que $H_G = I$ (la matriz identidad), tratando todas las direcciones de salida como igualmente importantes. Los autores argumentan que esta es una aproximación subóptima, ya que la Figura 1(a) demuestra que los canales de salida exhiben magnitudes de gradiente heterogéneas. Este descuido conduce a una degradación del rendimiento, particularmente en regímenes de bits ultra-bajos (por ejemplo, 2 bits), donde métodos como GPTQ y GPTAQ suelen divergir o producir cuantizaciones degeneradas en modelos como LLaMA-3-70B.

Metodología

El artículo propone KronQ, un marco de trabajo de PTQ que incorpora explícitamente la covarianza del gradiente ( $H_G$ ) en el flujo de cuantización bajo la aproximación K-FAC ( $H \approx H_X \otimes H_G$ ). La metodología opera en dos niveles complementarios:

1. Procesamiento de Incoherencia Bidireccional (BiIP)

El procesamiento de incoherencia estándar (por ejemplo, en QuIP#) aplica transformaciones ortogonales aleatorias para suprimir valores atípicos (outliers) en la dimensión de entrada ( $H_X$ ) para reducir el error de cuantización. KronQ extiende esto a la dimensión de salida utilizando $H_G$ .

Mecanismo: El método aplica reescalado diagonal y transformaciones ortogonales tanto a las dimensiones de entrada ( $V$ ) como de salida ( $U$ ). Los factores de reescalado se derivan de las entradas diagonales de $H_X$ y $H_G$ en relación con las normas de los pesos.
Invarianza: Crucialmente, aunque $H_G$ se utiliza para determinar las transformaciones de preprocesamiento, este se cancela algebraicamente durante las actualizaciones de compensación de pesos de Optimal Brain Surgeon (OBS) por columna (Proposición 1). Esto permite que KronQ mantenga la eficiencia computacional del resolvedor base de GPTAQ mientras se beneficia de la mejora en la distribución de los pesos.
Resultado: El BiIP reduce el coeficiente de variación (CV) de las magnitudes de los pesos en ambas dimensiones, de entrada y de salida, lo que conduce a límites de error de cuantización más ajustados.

2. Asignación de Precisión Mixta Inter-Capa

KronQ introduce una nueva métrica de sensibilidad para la asignación de anchos de bits entre subcapas.

Métrica: El puntaje de sensibilidad se define como el producto de las trazas de los dos factores del Hessiano: $s_\ell = \text{tr}(H_G^{(\ell)}) \cdot \text{tr}(H_X^{(\ell)})$ .
Ventaja: Los métodos existentes que utilizan únicamente $\text{tr}(H_X)$ no pueden diferenciar entre subcapas que comparten estadísticas de entrada idénticas (por ejemplo, las proyecciones de Query, Key y Value en los bloques de atención). El puntaje de KronQ rompe esta degeneración porque $H_G$ varía entre estas subcapas debido a los diferentes gradientes descendentes. Esto permite una asignación de ancho de bits más óptima, asignando mayor precisión a las subcapas con mayor sensibilidad conjunta.

Contribuciones Clave

Error de Cuantización Factorizado por Kronecker: Los autores extienden el objetivo de cuantización por capa para incorporar $H_G$ bajo la aproximación K-FAC. Demuestran que $H_G$ puede utilizarse para el procesamiento de incoherencia bidireccional sin aumentar el costo computacional del bucle de actualización de cuantización, ya que se cancela algebraicamente.
Sensibilidad de la Traza del Hessiano Conjunto: Se deriva una nueva métrica para la asignación de precisión mixta a partir de las trazas conjuntas de $H_X$ y $H_G$ . Esta métrica resuelve la degeneración encontrada en las métricas de solo activación, permitiendo clasificaciones de sensibilidad distintas para las proyecciones Q, K y V.
Validación Empírica: Experimentos extensos muestran que KronQ logra resultados de vanguardia (state-of-the-art) en modelos LLaMA-2 y LLaMA-3 (7B a 70B) en anchos de bits de W2/W3/W4. Las ganancias más significativas se observan en 2 bits, donde los métodos competidores a menudo fallan.

Resultados Experimentales

El artículo evalúa KronQ en LLaMA-2 (7B, 13B, 70B) y LLaMA-3 (8B, 70B), así como en modelos más nuevos como Gemma-3 y DeepSeek-R1.

Precisión Uniforme: En la cuantización de solo pesos de 2 bits para LLaMA-3-70B, GPTQ y GPTAQ divergen (produciendo una perplejidad >2000 en WikiText-2), mientras que KronQ logra una perplejidad de 7.93. Una robustez similar se observa en configuraciones de 3 y 4 bits.
Cuantización de Grupo: En la cuantificación de grupo de 2 bits (g=128), KronQ supera significativamente a GPTQ (por ejemplo, 7.61 PPL frente a 274.0 PPL en LLaMA-2-7B).
Cuantización de Pesos y Activaciones: Utilizando el marco de trabajo QuaRot para las activaciones, KronQ reduce consistentemente la perplejidad en comparación con las líneas base (por ejemplo, reduciendo la PPL de 36.74 a 9.38 en LLaMA-2-7B en W2A4).
Precisión Mixta: El puntaje de sensibilidad de KronQ produce compromisos de perplejidad-ancho de bits estrictamente mejores en comparación con los puntajes de solo activación. Por ejemplo, en LLaMA-2-7B, mejorar primero la subcapa "down proj" (según KronQ) produce una perplejidad menor que mejorar primero la "gate proj" (según las métricas de solo activación) con el mismo ancho de bits promedio.
Generalización: El método se generaliza a familias de modelos más nuevas (Gemma-3, DeepSeek-R1, Phi-4) y tareas más difíciles (LiveCodeBench, AIME-2024), a menudo duplicando el rendimiento de las líneas base en tareas de razonamiento generativo.

Significado y Reivindicaciones

El artículo afirma que KronQ aborda un punto ciego crítico en la literatura actual de PTQ: la negligencia de las estadísticas de gradiente del lado de la salida. Al aprovechar la estructura factorizada por Kronecker, KronQ proporciona una forma fundamentada de manejar la heterogeneidad del lado de la salida sin incurrir en los altos costos computacionales asociados con la estimación del Hessiano completo o los resolvedores iterativos utilizados en trabajos relacionados como YAQA.

Los autores enfatizan que el método es particularmente vital para la cuantización de ultra-bajo bit (2 bits), donde la suposición de igual importancia de salida ( $H_G = I$ ) conduce a un fallo catastrófico en modelos grandes. La capacidad de lograr una cuantización estable de 2 bits en modelos de 70B de parámetros representa un paso significativo hacia el despliegue de LLMs en hardware de borde (edge hardware).

Limitaciones: Los autores reconocen que KronQ requiere una única pasada hacia atrás (backward pass) sobre el conjunto de calibración para estimar $H_G$ , lo que introduce una latencia de tiempo de ejecución (offline) moderada y un uso temporal de la memoria pico durante la etapa de preprocesamiento de BiIP. Sin embargo, una vez precomputado, $H_G$ se libera, y el bucle de cuantización sigue siendo tan eficiente como GPTAQ. El costo de inferencia se limita a las transformaciones ortogonales, que son idénticas a las de QuIP#.