💬 NLP

PolarQuant: Optimal Gaussian Weight Quantization via Hadamard Rotation for LLM Compression

PolarQuant es un método de cuantización post-entrenamiento para modelos de lenguaje grandes que logra una compresión casi sin pérdidas mediante la normalización de bloques, una rotación de Hadamard que transforma los pesos en variables gaussianas y una cuantización optimizada, mejorando significativamente la calidad sin necesidad de datos de calibración y sirviendo como un eficaz preprocesamiento para cuantizadores INT4 posteriores.

Autores originales: Caio Vicentino

Publicado 2026-04-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Caio Vicentino

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que tienes una biblioteca gigante llena de libros (un modelo de Inteligencia Artificial) y quieres llevarla contigo en tu mochila (tu teléfono o portátil). El problema es que la mochila es pequeña y los libros son enormes. Si intentas meterlos tal cual, no caben. Si los rompes para que quepan, pierdes las historias.

PolarQuant es una nueva técnica inteligente que permite "comprimir" estos libros gigantes para que quepan en tu mochila sin perder ni una sola palabra de la historia.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: La Mochila y los Objetos Raros

Los modelos de IA actuales (como los que hablan contigo) tienen millones de "pesos" (números que definen su conocimiento).

El método antiguo (Absmax): Imagina que intentas empaquetar una caja llena de objetos. La mayoría son canicas pequeñas, pero hay un par de elefantes gigantes. El método antiguo mide el tamaño del elefante y usa esa medida para todo. Resultado: Las canicas se aprietan demasiado y se rompen (pierden información), y el espacio se desperdicia en los elefantes.
El resultado: La IA se vuelve "tonta" o comete errores porque sus "canicas" (la información importante y común) están dañadas.

2. La Solución Mágica: El Giro de Hadamard

PolarQuant tiene un truco genial que hace el 98% del trabajo: El Giro de Hadamard.

Imagina que tienes un grupo de amigos (los números de la IA) en una habitación. Algunos son muy altos, otros muy bajos, y la mayoría tiene una altura media.

Sin el giro: Si intentas medirlos uno por uno, los altos dominan la medida y los bajos se pierden.
Con el giro (Hadamard): PolarQuant les pide a todos que den una vuelta y se mezclen. ¡Magia! De repente, la distribución de alturas se vuelve perfecta y uniforme, como una campana de Gauss (la forma de una montaña perfecta).
¿Por qué importa? Ahora que todos están "mezclados" y tienen una forma predecible, podemos usar una caja de empaquetado diseñada específicamente para esa forma. Ya no hay "elefantes" que rompan la caja; todo encaja perfectamente.

3. El Empaquetado Perfecto (Cuantización)

Una vez que los números han sido "girados" y ahora se comportan de forma ordenada, PolarQuant los comprime.

En lugar de guardar cada número con todos sus decimales (que ocupan mucho espacio), los redondea a los valores más cercanos en una lista predefinida (como elegir la talla de zapato más cercana en lugar de medir el pie al milímetro).
Como la distribución es ahora tan ordenada (gracias al giro), estos redondeos son casi perfectos. No se pierde información.

4. El Secreto: ¿Por qué es tan bueno?

El descubrimiento más sorprendente del paper es que el giro es el héroe.

El 98% de la mejora en calidad viene solo de mezclar los números (el giro).
El 2% restante viene de elegir los valores de redondeo perfectos.
Analogía: Es como si intentaras ordenar una habitación desordenada. El 98% del trabajo es simplemente sacar la basura y poner las cosas en su sitio (el giro). Una vez hecho eso, solo tienes que poner un par de cojines en su lugar (los valores perfectos) para que quede impecable.

5. ¿Para qué sirve esto en la vida real?

Modelos gigantes en tu portátil: Antes, un modelo de 9 mil millones de parámetros necesitaba una tarjeta gráfica de 18 GB (como las de servidores). Con PolarQuant, cabe en 6 GB, lo que significa que puedes ejecutarlos en tu portátil, en tu iPhone o en un chip de Apple Silicon sin problemas.
Velocidad: No hace falta esperar. La IA funciona tan rápido como antes, pero ocupa menos espacio.
Sin entrenamiento: No necesitas enseñarle al modelo nada nuevo. Es como si le dieras un "baño de magia" antes de guardarlo, y sale listo para usar.

En resumen

PolarQuant es como un transformador de realidad para la Inteligencia Artificial. Toma un modelo caótico y desordenado, le da un "giro" matemático que lo hace ordenado y predecible, y luego lo comprime casi sin perder nada.

Gracias a esto, la IA de alta calidad deja de ser un lujo para servidores gigantes y se convierte en algo que puedes llevar en tu bolsillo, sin que la historia se rompa en el camino.

Resumen Técnico: PolarQuant

1. El Problema

La implementación de Grandes Modelos de Lenguaje (LLMs) en hardware de consumo y dispositivos periféricos (edge) requiere una compresión agresiva de los pesos del modelo.

Limitación de Memoria: Un modelo de 9 mil millones de parámetros en precisión FP16 requiere ~18 GB de VRAM, superando la capacidad de la mayoría de las GPUs de consumo. La cuantización a 4 bits reduce esto a ~5-6 GB, permitiendo su ejecución en hardware accesible.
Ineficiencia de la Cuantización Actual: El esquema más común, absmax (cuantización lineal basada en el máximo absoluto), asume una distribución uniforme de los pesos. Sin embargo, los pesos de las redes neuronales siguen una distribución cercana a la Gaussiana.
- Consecuencia: Absmax desperdicia códigos en las colas de la distribución (valores atípicos raros) y concentra errores en la región central de alta densidad, lo que resulta en una pérdida de calidad significativa (aumento de la perplejidad) sin datos de calibración.
Complejidad de Métodos Avanzados: Soluciones como GPTQ o AWQ requieren datos de calibración y son computacionalmente costosas. Otros métodos como NF4 o QuIP# asumen Gaussianidad o requieren rotaciones aleatorias complejas.

2. Metodología: PolarQuant

PolarQuant es un método de cuantización de pesos post-entrenamiento que explota la estructura distribucional de los pesos para lograr una compresión casi sin pérdida. Opera en tres etapas principales:

A. Normalización y Descomposición por Bloques

Se divide el tensor de pesos $W$ en bloques de tamaño $d$ (se usa $d=128$ ).
Se calcula la norma $\ell_2$ de cada bloque ( $r_i$ ) y se normaliza el bloque dividiéndolo por su norma, proyectando los pesos sobre una hipersfera unitaria.

B. Rotación de Walsh–Hadamard (El Núcleo del Método)

Se aplica una matriz de Walsh–Hadamard normalizada ( $H_d$ ) a cada bloque normalizado.
Fundamento Teórico: Según el Teorema Central del Límite para proyecciones de la esfera, al rotar un vector uniformemente distribuido en una esfera de alta dimensión mediante una matriz ortogonal (como Hadamard), las coordenadas resultantes convergen a una distribución Gaussiana estándar $N(0, 1)$ .
Esta transformación "homogeneiza" los pesos, dispersando la energía de los valores atípicos (outliers) a través de todas las coordenadas, eliminando la asimetría de la distribución original.

C. Cuantización Óptima (Lloyd–Max)

Una vez que los pesos rotados y escalados siguen una distribución $N(0, 1)$ , se aplica la cuantización escalar óptima para minimizar el Error Cuadrático Medio (MSE) utilizando el algoritmo de Lloyd–Max.
Se utilizan centroides precalculados específicos para la distribución normal estándar.
Almacenamiento: Se guardan los códigos cuantizados (int8), las normas de los bloques (fp16) y una tabla global de centroides (fp32).

D. Descuantización

Es el proceso inverso exacto: búsqueda de centroides, reescalado, aplicación de la inversa de Hadamard (que es la misma matriz, ya que $H^{-1} = H$ ) y restauración de la norma del bloque.

3. Contribuciones Clave

Compresión Casi Sin Pérdida: PolarQuant logra una perplejidad de 6.39 en Qwen3.5-9B (Q5), lo que representa una desviación de solo +0.02 respecto al modelo FP16 original (6.37), sin utilizar ningún dato de calibración.
La Rotación es la Clave (Estudio de Ablación): El hallazgo más sorprendente es que la rotación de Hadamard por sí sola es responsable del 98% de la mejora en la calidad.
- Absmax Q5: Perplejidad 6.90.
- Absmax Q5 + Rotación Hadamard: Perplejidad 6.40.
- Añadir centroides óptimos (Lloyd–Max) solo mejora marginalmente (6.39).
- Esto simplifica el método: la transformación de distribución es más crítica que la precisión de los centroides a 5 bits.
Preprocesamiento Efectivo para Cuantizadores INT4: PolarQuant actúa como un paso de preprocesamiento superior.
- Si se descuantiza PolarQuant Q5 a FP16 y luego se vuelve a cuantizar a INT4 usando torchao, se obtiene una perplejidad de 6.56.
- Esto es significativamente mejor que la cuantización INT4 directa con absmax (6.68), manteniendo el mismo rendimiento y uso de memoria.
- Mecanismo: PolarQuant elimina la distorsión causada por los valores atípicos, permitiendo que el cuantizador INT4 subsecuente utilice sus niveles de forma más eficiente al trabajar con una distribución más homogénea.
Simplicidad y Eficiencia:
- No requiere optimización iterativa ni datos de calibración.
- La rotación es una multiplicación de matriz determinista y autoinversa.
- Sobrecarga de tiempo: ~8 segundos adicionales al cargar el modelo (descuantización), pero cero sobrecarga en tiempo de ejecución (inference).

4. Resultados Experimentales

Los experimentos se realizaron en el modelo Qwen3.5-9B (arquitectura híbrida DeltaNet + MoE).

Método	Tok/s (Rendimiento)	VRAM	Perplejidad (WikiText-2)	$\Delta$ vs FP16
FP16 (Base)	45.7	17.9 GB	6.37	—
torchao INT4 (Absmax)	43.3	6.3 GB	6.68	+0.31
PolarQuant Q5 + torchao INT4	43.1	6.5 GB	6.56	+0.19
PolarQuant Q5 (Descuantizado FP16)	45.9	18.1 GB	6.39	+0.02
PolarQuant + AWQ	45.8	17.9 GB	6.43	+0.06

Rendimiento en Edge: En un Mac mini M4 (16 GB RAM unificada), PolarQuant ejecuta el modelo a 19.7 tokens/segundo con solo 4.8 GB de memoria y una perplejidad de 6.90.
Comparativa con AWQ: Curiosamente, PolarQuant Q5 uniforme (sin calibración AWQ) superó a la combinación PolarQuant+AWQ en ciertos escenarios, demostrando que la rotación uniforme es más efectiva que la asignación de bits mixtos sin rotación.

5. Significado e Impacto

Paradigma de Cuantización: PolarQuant demuestra que transformar la distribución de los pesos a una Gaussiana mediante una rotación ortogonal simple es más efectivo que intentar ajustar los centroides a una distribución no uniforme.
Viabilidad en Dispositivos de Consumo: Permite ejecutar modelos de 9B parámetros en GPUs de escritorio y laptops Apple Silicon con calidad casi idéntica a la precisión completa (FP16), democratizando el acceso a modelos grandes.
Interoperabilidad: Al ser un paso de preprocesamiento, es compatible con cualquier cuantizador downstream (torchao, GGUF, MLX), mejorando el rendimiento de los pipelines existentes sin modificar la arquitectura del modelo.
Eficiencia Computacional: Elimina la necesidad de costosos procesos de calibración y optimización de segundo orden (como en GPTQ), ofreciendo una solución determinista y rápida.

En conclusión, PolarQuant establece un nuevo estándar para la compresión de LLMs, demostrando que una transformación geométrica simple (Hadamard) combinada con una normalización adecuada puede lograr una compresión casi sin pérdida, superando a métodos mucho más complejos.