🤖 machine learning

QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling

QAM-W introduce un metodo di quantizzazione congiunta del codice 2D per i pesi degli LLM che sfrutta la rotazione di Hadamard e un ridimensionamento consapevole delle attivazioni per preservare le strutture delle coordinate a coppie, raggiungendo una perplessità vicina a BF16 a circa 5,5 bit per peso, superando la codifica polare e eguagliando la qualità di SmoothQuant con un numero significativamente inferiore di bit per peso.

Autori originali: Preetam Sharma, Kacper Dobek

Pubblicato 2026-05-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Preetam Sharma, Kacper Dobek

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca immensa di libri (un Modello Linguistico di grandi dimensioni, o LLM) che è incredibilmente intelligente ma occupa uno spazio enorme. Per renderla più facile da trasportare, vuoi ridurre le dimensioni dei libri. Questo processo è chiamato quantizzazione.

La maggior parte dei metodi attuali per ridurre queste dimensioni è come prendere un dizionario e sostituire ogni singola parola con un breve codice numerico, una parola alla volta. È semplice, ma ignora il fatto che le parole spesso appaiono in coppie o gruppi che hanno una relazione specifica tra loro. Se le tratti come individui isolati, perdi alcune delle sfumature della storia.

Questo articolo introduce un nuovo metodo chiamato QAM-W (Modulazione di Ampiezza in Quadratura per i Pesi). Pensalo come un modo più intelligente ed efficiente per impacchettare quei libri.

Ecco come funziona, utilizzando analogie semplici:

1. Il Problema: Il "Danzatore Solitario" contro il "Duo"

Immagina che i pesi in un modello di intelligenza artificiale siano ballerini.

Metodo Vecchio (Quantizzazione Scalare): Il vecchio modo tratta ogni ballerino come se stesse eseguendo un assolo. Osserva ogni ballerino individualmente e dice: "Sei un '3', sei un '7'". Ignora il fatto che due ballerini potrebbero tenersi per mano o muoversi all'unisono.
L'Intuizione di QAM-W: Gli autori hanno realizzato che, all'interno di una riga di dati, questi "ballerini" stanno effettivamente danzando in coppia. Sono correlati. Invece di codificarli come due solisti separati, QAM-W li tratta come un duo.

2. La Soluzione: La "Girata Magica" e l'"Accoppiamento"

QAM-W utilizza un processo in tre fasi per ridurre le dimensioni del modello senza perdere la storia:

Fase A: La Girata Magica (Rotazione di Hadamard):
Immagina che i ballerini siano in piedi in una stanza disordinata e affollata. QAM-W applica una "Girata Magica" (una rotazione matematica) che li riorganizza. Improvvisamente, i ballerini che si muovevano in modo casuale sono ora accoppiati perfettamente, muovendosi in un pattern circolare e fluido. Questo li rende molto più facili da descrivere matematicamente.
Fase B: Il "Codice a Duo":
Invece di dare a ogni ballerino un numero separato, QAM-W guarda la coppia come un singolo punto su una mappa. Utilizza una "mappa" pre-costruita (un codice) addestrata su come queste coppie si comportano solitamente. È come avere una biblioteca di passi di danza standard per i duetti. Invece di descrivere due passi separati, dici semplicemente: "Hanno eseguito il movimento 'Valzer #42'". Questo cattura la relazione tra i due numeri, risparmiando spazio.
Fase C: Il "Regolatore di Volume" (Scalatura Consapevole delle Attivazioni):
A volte, certe parti del modello sono molto forti (altamente attive) e altre sono silenziose. Se riduci troppo le parti forti, la musica si distorce. QAM-W ascolta il "volume" di ogni canale prima di ridurre le dimensioni. Abbassa leggermente il volume dei canali forti in modo che si adattino meglio allo spazio ridotto, assicurandosi che le informazioni più importanti non vengano schiacciate.

3. I Risultati: Dimensioni Minori, Stessa Qualità

L'articolo ha testato questo nuovo metodo su cinque diversi modelli di intelligenza artificiale (dalle dimensioni piccole a medio-grandi).

Il "Punto Dolce": A un livello specifico di compressione (circa 5,5 bit per peso), QAM-W ha ottenuto risultati quasi identici al modello originale, non compresso.
Il Confronto: Un metodo concorrente popolare chiamato SmoothQuant ha dovuto utilizzare circa 8,1 bit per ottenere la stessa qualità. QAM-W ha ottenuto lo stesso risultato utilizzando il 32% in meno di bit.
- Analogia: È come fare le valigie. SmoothQuant ha bisogno di una valigia grande per far entrare tutti i vestiti ordinatamente. QAM-W piega i vestiti in modo così efficiente che puoi far entrare esattamente la stessa quantità in una borsa molto più piccola.

4. Cosa Non Fa (I Limiti)

L'articolo è molto specifico su ciò che non afferma:

Non il Più Piccolo: Se provi a ridurre ulteriormente le dimensioni del modello (fino a 4 bit), un altro metodo chiamato QTIP funziona effettivamente meglio. QAM-W è il campione nella gamma "medio-piccola" (5–6 bit), non nella gamma "minuscola".
Archiviazione vs Velocità: L'articolo misura quanto spazio occupa il modello su un hard disk o nella memoria. Non afferma ancora di rendere il modello più veloce nell'esecuzione su un chip informatico, perché il software per utilizzare effettivamente questi numeri compressi in tempo reale è ancora in fase di costruzione.

Riepilogo

QAM-W è una nuova "tecnica di imballaggio" per i modelli di intelligenza artificiale. Riconoscendo che i dati arrivano in coppie, ruotandoli in una forma migliore e regolando il volume, può ridurre le dimensioni dei modelli di intelligenza artificiale di circa un terzo senza renderli meno intelligenti. È uno strumento specializzato che funziona meglio in un intervallo di dimensioni specifico, offrendo un risparmio significativo nello spazio di archiviazione rispetto ai metodi attuali.

Riepilogo Tecnico: QAM-W

Enunciato del Problema

I metodi attuali di quantizzazione post-allenamento per i Large Language Models (LLM) sono prevalentemente scalari, mappando ciascun peso indipendentemente su un indice intero. Sebbene semplici, le codifiche scalari scartano la struttura coordinata di coppia intrinseca all'interno delle righe dei pesi. Gli autori sostengono che, all'interno di una riga di pesi, le coordinate siano tipicamente correlate; dopo una rotazione ortogonale, queste coordinate approssimano una distribuzione gaussiana circolare bidimensionale. I dizioniari (codebook) scalari non riescono a sfruttare questa struttura, lasciando un "margine di distorsione-tasso" che potrebbe essere recuperato quantizzando le coppie congiuntamente come punti su un piano piuttosto che come scalari indipendenti.

Gli approcci esistenti affrontano parti di questo problema: i metodi basati su rotazione (ad es. QuIP, QuIP#) omogeneizzano le grandezze delle coordinate ma spesso si affidano a codifiche scalari o reticolari; i metodi consapevoli delle attivazioni (ad es. AWQ) scalano i canali in base alla grandezza delle attivazioni ma lasciano intatta la struttura congiunta delle coordinate. Il documento ipotizza che un codec che combina rotazione, codifica congiunta 2D e scalatura consapevole delle attivazioni possa raggiungere una qualità superiore a bit rate inferiori.

Metodologia: Il Codec QAM-W

Gli autori introducono QAM-W (Quadrature Amplitude Modulation for Weights), un codec che elabora le matrici dei pesi riga per riga attraverso la seguente pipeline:

Separazione di Scala e Direzione: La norma della riga ( $r = \|w\|_2$ ) viene registrata come metadato. La riga viene normalizzata in un vettore unitario $u$ .
Rotazione Deterministica: Viene applicata una rotazione a blocchi di Hadamard mascherata dal segno alla riga normalizzata ( $y = R_{fwd} u$ ). Questa rotazione è un'isometria esatta nell'aritmetica reale, il che significa che non introduce distorsione matematica ma ridistribuisce l'energia per ridurre la coerenza delle coordinate.
Accoppiamento e Calibrazione: Le coordinate rotte adiacenti vengono raggruppate in valori complessi ( $z_k = y_{2k} + i y_{2k+1}$ ). Ogni coppia viene scalata per un fattore calibrato $\sigma_k$ , stimato empiricamente dalla media delle ampiezze delle coppie, modellandole come gaussiane circolari.
Quantizzazione Congiunta 2D: Invece di quantizzare ampiezza e fase indipendentemente (codifica polare), QAM-W mappa ogni coppia normalizzata al centroide più vicino in un singolo dizionario 2D Lloyd-Max addestrato sulla distribuzione gaussiana circolare unitaria.
Scalatura Consapevole delle Attivazioni: Per allineare l'errore del codec alla sensibilità dell'output del livello, il metodo applica fattori di scalatura per canale ( $s_j \propto r_j^\alpha$ ) prima della quantizzazione, dove $r_j$ è l'RMS delle attivazioni del canale di input. Questo attenua il contributo dei canali ad alto RMS, seguendo la logica di AWQ.
Decodifica: Il decodificatore inverte il processo: scompatta gli indici, cerca i centroidi, riscala per $\sigma_k$ , applica la rotazione inversa e moltiplica per la norma della riga memorizzata.

Gli autori analizzano il sistema attraverso una catena di limiti compositi: la rotazione è un'isometria; la codifica congiunta 2D minimizza la distorsione meglio della codifica polare a tassi fissi; e l'errore sull'output del livello è governato da un'identità di traccia ( $\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$ ), che motiva la scalatura consapevole delle attivazioni.

Contributi Chiave

Progettazione del Codec: Un codec Lloyd-Max 2D congiunto, ruotato a blocchi di Hadamard e fattorizzato per la norma della riga, per i pesi degli LLM con scalatura consapevole delle attivazioni.
Analisi Teorica: Un limite monotono composito che collega la distorsione del codec (distorsione di Lloyd $D_B$ ) alla divergenza di Kullback-Leibler (KL) tra i modelli BF16 e quelli quantizzati. Il limite suggerisce che la KL realizzata dovrebbe classificare i metodi in modo simile alla distorsione del codec.
Studio Empirico Trans-Modello: Valutazione su cinque LLM di quattro famiglie (1,1B–13B parametri) e otto configurazioni quantizzate.
Scoperta di Correlazione di Rango: Il documento dimostra che su 37 configurazioni (metodo, modello), la divergenza KL accoppiata e il $\Delta$ PPL% sono correlati per rango con un coefficiente di Spearman $\rho = 0,99$ , validando l'uso della KL come diagnosi per la qualità della quantizzazione.

Risultati

La valutazione si concentra su tre modelli addestrati con istruzioni (TinyLlama-1.1B, Qwen2.5-3B, Mistral-7B) e un confronto all'avanguardia su Llama-2-7B.

Qualità a ~5,5 bpw: La variante consapevole delle attivazioni di QAM-W (QAM-W-5.5) rimane entro ±0,4% della perplessità BF16 su tutti i modelli testati. Questo corrisponde all'intervallo di qualità di SmoothQuant W8A8 (che opera a ~8,1 bpw) ma lo raggiunge con circa 32% in meno di bit per peso.
2D Congiunto vs Polare: A parità di bit rate (~4 bpw), la codifica congiunta 2D (QAM-W-4) supera la baseline polare (QAM-W-polar) di 1–3 punti percentuali (pp) in $\Delta$ PPL su modelli tolleranti alla quantizzazione (TinyLlama, Mistral) e di 14,6 pp sul sensibile Qwen2.5.
Confronto con QTIP: A un rigoroso 4 bpw, il metodo QTIP (che utilizza reticoli E8 a griglia) supera QAM-W. Gli autori dichiarano esplicitamente che il contributo di QAM-W è la banda di conservazione della qualità a 5–6 bpw, non la frontiera stretta a 4 bpw.
Variante a Basso Bit: Una variante a 3,5 bpw (QAM-W-3.5) è competitiva su architetture tolleranti alla quantizzazione (ad es. Mistral 7B, +1,98% $\Delta$ PPL) ma performa peggio su quelle sensibili (Qwen 2.5, +7,5% $\Delta$ PPL) rispetto a GPTQ.
Compiti a valle: Il codec preserva le prestazioni su sei compiti a valle (PIQA, HellaSwag, ecc.) e MMLU, con QAM-W-5.5 che corrisponde a BF16 entro 0,2 pp su MMLU su tutti i modelli.

Significato e Affermazioni

Il documento afferma che QAM-W-5.5 rappresenta una scelta di conservazione della qualità per la compressione degli LLM, offrendo una riduzione significativa nello storage dei pesi e nella larghezza di banda della memoria (32% in meno di bit) rispetto allo stato dell'arte attuale SmoothQuant W8A8, senza sacrificare la perplessità o l'accuratezza dei compiti a valle.

Gli autori sono modesti riguardo alla portata delle loro affermazioni:

Non rivendicano la superiorità a un rigoroso 4 bpw, riconoscendo il dominio di QTIP in quel regime.
Notano che la pipeline attuale dequantizza i pesi in BF16 prima della moltiplicazione di matrici; pertanto, i risparmi in bit-per-peso (bpw) riportati si applicano a storage e larghezza di banda della memoria, non alla latenza di inferenza, fino all'implementazione di un kernel fuso.
Lo studio è limitato a transformer decoder-only densi con attenzione standard; le estensioni ad architetture contemporanee (ad es. Gemma 2, Llama 3) o a scale di 70B+ parametri sono lasciate per lavori futuri.
Il dizionario è addestrato su una gaussiana circolare unitaria sintetica piuttosto che su distribuzioni empiriche per checkpoint, sebbene gli autori suggeriscano che un dizionario appreso potrebbe produrre ulteriori guadagni.

In sintesi, QAM-W dimostra che recuperare la struttura coordinata di coppia dei pesi tramite codifica congiunta 2D, combinata con rotazione e scalatura consapevole delle attivazioni, consente una quantizzazione ad alta fedeltà nel regime 5–6 bpw, colmando il divario tra l'efficienza dei metodi a 4 bit e la qualità dei metodi a 8 bit.