PolarQuant: Optimal Gaussian Weight Quantization via Hadamard Rotation for LLM Compression

1. Il Problema

La distribuzione dei pesi nelle Large Language Models (LLM) è tipicamente non uniforme e presenta code pesanti (outlier). I metodi di quantizzazione standard, come absmax (che mappa linearmente i valori nell'intervallo $[-\alpha, \alpha]$), sono subottimali perché:

• Sprecano codici del dizionario (codebook) su valori rari e di grande magnitudine (outlier).
• Concentrano gli errori di quantizzazione nella regione centrale ad alta densità, dove risiede la maggior parte dei pesi.
• Metodi più avanzati (GPTQ, AWQ) richiedono dati di calibrazione e sono computazionalmente costosi, mentre approcci basati sulla distribuzione (come NF4) spesso assumono la gaussianità senza trasformare attivamente i pesi.

L'obiettivo è ottenere una compressione dei pesi quasi senza perdita (near-lossless) senza dati di calibrazione, rendendo i modelli eseguibili su hardware consumer (GPU desktop, Apple Silicon) con risorse limitate.

2. Metodologia: PolarQuant

PolarQuant è un metodo di quantizzazione post-training che sfrutta la struttura distributiva dei pesi neurali attraverso tre fasi principali:

1. Normalizzazione a blocchi: I pesi vengono divisi in blocchi (dimensione $d=128$). Ogni blocco viene normalizzato sulla sfera ipersferica unitaria dividendo per la sua norma $L_2$.
2. Rotazione di Walsh-Hadamard: Viene applicata una matrice di Hadamard normalizzata ($H_d$) a ciascun blocco normalizzato.
   • Teoria: La rotazione trasforma le coordinate del blocco in variabili casuali approssimativamente Gaussiane standard ($N(0, 1)$). Questo è giustificato dal fatto che la proiezione di un punto uniforme sulla sfera tende a una distribuzione normale al crescere della dimensione (Teorema del Limite Centrale per proiezioni sferiche).
   • La matrice di Hadamard è ortogonale e auto-inversa ($H^{-1} = H$), il che rende il processo reversibile senza costi di storage aggiuntivi.
3. Quantizzazione Ottimale: Una volta che i pesi sono distribuiti come Gaussiane standard, vengono scalati e quantizzati utilizzando centroidi di Lloyd-Max, che sono ottimali per minimizzare l'errore quadratico medio (MSE) su una distribuzione normale.

Dequantizzazione: Il processo inverso consiste nel recuperare i centroidi, scalare, applicare la rotazione inversa (che è la stessa rotazione) e ripristinare la norma del blocco.

3. Contributi Chiave

• Compressione Quasi Senza Perdita: PolarQuant Q5 (5 bit) raggiunge una perplessità di 6.39 su Qwen3.5-9B, con una differenza ($\Delta$) di soli +0.02 rispetto al modello in FP16 (6.37), senza utilizzare alcun dato di calibrazione.
• L'Importanza Critica della Rotazione: Uno studio di ablazione rivela un risultato sorprendente: la sola rotazione di Hadamard è responsabile del 98% del miglioramento della qualità. La semplice rotazione riduce la perplessità da 6.90 a 6.40. I centroidi di Lloyd-Max forniscono un guadagno marginale aggiuntivo a 5 bit.
• Preprocessing per Quantizzazione INT4: PolarQuant funge da eccellente passo di pre-elaborazione per quantizzatori INT4 downstream (es. torchao).
  • La pipeline PolarQuant Q5 (dequantizzato) -> torchao INT4 ottiene una perplessità di 6.56, superando la quantizzazione INT4 diretta (6.68) mantenendo la stessa velocità e memoria.
  • Il meccanismo funziona come un "denoising" distribuzionale: la rotazione rimuove gli outlier, rendendo la distribuzione dei pesi più omogenea e adatta alla quantizzazione absmax standard.
• Semplicità ed Efficienza: L'algoritmo richiede solo una moltiplicazione matriciale per blocco. Non c'è calcolo di gradienti, ottimizzazione iterativa o dati di calibrazione. Il costo computazionale è trascurabile al momento del caricamento del modello (~8 secondi per un modello da 9B) e zero overhead a runtime.
• Componibilità: Può essere combinato con AWQ (Activation-Aware Weight Quantization) per risultati ancora migliori (perplessità 6.43), sebbene PolarQuant da solo sia già superiore a molte combinazioni miste.

4. Risultati Sperimentali

I test sono stati condotti sul modello Qwen3.5-9B su GPU NVIDIA RTX PRO 6000 e Apple Mac mini M4.

• Efficienza: PolarQuant permette di eseguire un modello da 9 miliardi di parametri su un Mac mini M4 (16 GB RAM) a 19.7 token/secondo occupando solo 4.8 GB di memoria.
• Ablazione: La rotazione di Hadamard riduce l'errore di quantizzazione del 98%. A 5 bit, la densità dei livelli è sufficiente che anche una quantizzazione uniforme funzioni bene su dati trasformati in Gaussiane, rendendo i centroidi ottimali meno critici rispetto alla trasformazione stessa.

5. Significato e Impatto

PolarQuant rappresenta un cambio di paradigma nella quantizzazione dei pesi:

1. Semplificazione: Dimostra che la complessità dei metodi di calibrazione (come GPTQ/AWQ) può essere ridotta drasticamente trasformando la distribuzione dei dati prima della quantizzazione.
2. Teoria vs Pratica: Conferma teoricamente e praticamente che la rotazione di Hadamard è uno strumento potente per "omogeneizzare" i pesi delle LLM, rendendoli ideali per quantizzatori semplici.
3. Accessibilità: Abilita l'esecuzione di modelli LLM di alta qualità su hardware consumer e edge devices con risorse limitate, senza sacrificare significativamente le prestazioni (perplessità).
4. Versatilità: Essendo un metodo di pre-processing, è compatibile con qualsiasi framework di inferenza (torchao, GGUF, MLX) e può essere applicato a vari bit-width.

In sintesi, PolarQuant offre un metodo deterministico, privo di calibrazione e quasi senza perdita per comprimere le LLM, ponendo la rotazione di Hadamard come componente fondamentale per la quantizzazione ottimale.