Sintesi Tecnica: RDQ (Residual Distribution Quantization) per i Large Language Models

1. Problema: La barriera del degrado sotto i 4 bit

La quantizzazione post-training (PTQ) dei Large Language Models (LLM) affronta un brusco crollo delle prestazioni quando la precisione viene ridotta sotto i 4 bit. Mentre i metodi a 4 bit spesso si avvicinano alla qualità FP16, la quantizzazione a 3 bit provoca frequentemente un degrado catastrofico. Ad esempio, su LLaMA-3-8B, la perplexity (PPL) del metodo Round-to-Nearest (RTN) passa da 5.83 a W4 a 14.09 a W3 — un aumento di 2.42× per una riduzione della larghezza di bit di soli 1.33×.

Il documento identifica la causa principale di questo fallimento come lo slittamento della distribuzione dello stream residuo (residual stream distributional drift). Nelle architetture transformer, lo stream residuo $h_l$ è una rappresentazione condivisa letta e scritta da ogni layer. Quando un layer $l$ viene quantizzato, introduce un errore $\epsilon_l$ che persiste nello stream residuo $h_{l+1}$. Questo errore si accumula attraverso i layer, causando uno slittamento significativo della distribuzione delle attivazioni nei layer più profondi rispetto al baseline originale in FP16.

I principali risultati empirici che diagnosticano questo problema includono:

• Accumulo di slittamento super-lineare: La divergenza di Kullback-Leibler (KL) totale tra le distribuzioni residue quantizzate e quelle FP16 correla con la log-perplexity con un coefficiente di correlazione di Pearson $r=0.999$ ($p<0.001$) in tutti i metodi e le larghezze di bit testati.
• Distribuzioni non Gaussiane: L'84% dei layer in LLaMA-3-8B presenta distribuzioni residue non gaussiane (test di Kolmogorov-Smirnov, $p \le 0.05$), invalidando le assunzioni gaussiane implicite in molti attuali analisi teoriche della PTQ.
• Esplosione della varianza: La varianza dello stream residuo per layer cresce di un fattore di 6.548× attraverso la profondità del modello, indicando che i layer successivi sono categoricamente più sensibili agli errori di quantizzazione a monte.

2. Metodologia: Cascaded Error Compensation (CEC)

La soluzione proposta, RDQ (Residual Distribution Quantization), introduce un framework centrato sulla Cascaded Error Compensation (CEC). A differenza dei precedenti metodi PTQ (es. GPTQ, AWQ, SpinQuant) che ottimizzano ogni layer indipendentmente rispetto a input puliti in FP16, la CEC riconosce che durante l'inferenza, un layer $l$ riceve input che sono già stati distorti dalla quantizzazione di tutti i layer a monte $0 \dots l-1$.

La pipeline CEC

La CEC impiega una procedura di calibrazione sequenziale:

1. Elaborazione Sequenziale: I layer vengono quantizzati uno alla volta da $l=0$ a $L-1$.
2. Cattura delle Attivazioni Distorte: Prima di quantizzare il layer $l$, i dati di calibrazione vengono fatti passare attraverso il modello dove i layer $0 \dots l-1$ sono già quantizzati. Ciò cattura le effettive distribuzioni di attivazione distorte ($\hat{h}_l$) che il layer $l$ incontrerà durante l'inferenza.
3. Fitting delle Scale Per-Channel: Utilizzando questi input distorti catturati, il metodo adatta scale per-channel ottimali utilizzando una ricerca a griglia in stile AWQ. L'obiettivo è minimizzare l'errore di ricostruzione dell'output dato la specifica distribuzione di input distorta.
4. Equivalenza Matematica tramite Folding: Le scale apprese vengono incorporate (folded) nei pesi RMSNorm precedenti. Ciò garantisce che il metodo sia matematicamente esatto e comporti zero overhead a runtime. Il passaggio in avanti rimane identico a un modello quantizzato standard, compatibile con gli stack di inferenza esistenti (Qualcomm AIMET, GGUF, ecc.).

Distinzione Chiave dal Lavoro Precedente

Il documento sottolinea che l'innovazione critica non è la formula di scaling in sé (che rimane di tipo AWQ), ma la fonte dei dati di calibrazione. I metodi standard calibrano contro input FP16 idealizzati, che non esistono durante l'inferenza per i layer più profondi. La CEC calibra contro la reale distribuzione distorta.

3. Contributi Chiave

1. Identificazione dello Slittamento dello Stream Residuo: Gli autori stabiliscono che lo slittamento dello stream residuo è il meccanismo dominante per il degrado sub-4-bit, come dimostrato dalla quasi perfetta correlazione ($r=0.999$) tra il drift KL e la log-PPL.
2. Caratterizzazione della Distribuzione: Il documento documenta che l'84% dei layer di LLaMA-3-8B sono non gaussiani e che la varianza residua cresce di 6.548× attraverso la profondità, sfidando le assunzioni standard della PTQ.
3. Cascaded Error Compensation (CEC): Una procedura di calibrazione sequenziale che corregge l'accumulo di drift cross-layer, ottenendo una riduzione della PPL del 46.4% rispetto a RTN a W3 su LLaMA-3-8B.
4. Prestazioni State-of-the-Art: RDQ raggiunge i migliori risultati su tre diverse architetture (LLaMA-3-8B, Qwen-2.5-7B, Mistral-7B) sia a W3A16 che a W4A16, superando i migliori baseline pubblicati (LeanQuant, SpinQuant) in ogni configurazione testata.
5. Deployment a Zero-Overhead: L'output è una quantizzazione asimmetrica standard group-128 con scalari RMSNorm modificati, che non richiede kernel personalizzati o overhead a runtime.

4. Risultati Sperimentali

Il metodo è stato valutato su WikiText-2 utilizzando 32 sequenze di calibrazione.

Metriche di Performance (Perplexity):

• LLaMA-3-8B:
  • W3A16: 7.55 (vs. RTN 14.09, LeanQuant 7.61).
  • W4A16: 5.62 (vs. FP16 5.557, LeanQuant 6.92).
• Qwen-2.5-7B:
  • W3A16: 7.46 (vs. RTN 8.20, LeanQuant 8.30).
  • W4A16: 6.38 (vs. FP16 6.158, LeanQuant 7.25).
• Mistral-7B:
  • W3A16: 6.88 (vs. RTN 7.44, LeanQuant 7.30).
  • W4A16: 5.73 (vs. FP16 5.632, LeanQuant 6.20).

Studi di Ablazione:

• Calibrazione Sequenziale vs. Scaling: Il documento dimostra che la sola calibrazione sequenziale (senza lo scaling AWQ) in realtà degrada le prestazioni rispetto a RTN su Qwen (10.31 PPL vs. 8.20 PPL). Viceversa, applicare lo scaling AWQ a una calibrazione statica FP16 è altrettanto meno performante (9.49 PPL). La combinazione di calibrazione sequenziale consapevole del drift e scaling in stile AWQ è necessaria per i guadagni osservati.
• Generalizzazione: Il metodo si generalizza su architetture con diversi meccanismi (GQA, RoPE, Sliding Window), suggerendo che il meccanismo di correzione del drift è indipendente dall'architettura.

5. Significato e Rivendicazioni

Il documento posiziona RDQ non semplicemente come un miglioramento ingegneristico della PTQ, ma come un insight fondamentale sulla dinamica distributiva dei transformer sotto quantizzazione.

• Prevedibilità: Gli autori affermano che la qualità della quantizzazione è prevedibile da uno scalare singolo (drift KL totale), e che controllare questo drift significa controllare la perplexity.
• Correzione del Modo di Fallimento: Il lavoro identifica che il principale modo di fallimento della PTQ sub-4-bit non è l'errore del peso per layer, ma l'accumulo di drift cross-layer. I metodi di calibrazione statica falliscono perché ottimizzano per una distribuzione (FP16 pulito) che il layer non vede mai durante l'inferenza.
• Robustezza: Adattando le scale alle reali attivazioni distorte, la CEC evita gli euristica specifiche dell'architettura (come il rilevamento dei canali salienti di AWQ) che possono fallire su modelli con diverse distribuzioni di peso (es. Qwen).
• Limitazioni Teoriche: Il documento nota con modestia che, sebbene esista un limite teorico per i regimi Gaussiani, questo non si applica al caso reale in cui l'84% dei layer è non Gaussiano. I guadagni di performance osservati sono empirici, guidati dal meccanismo di correzione del drift piuttosto che da un limite teorico stretto.

In conclusione, RDQ stabilisce che affrontare il "drift" nello stream residuo è la chiave per sbloccare una quantizzazione a 3 bit robusta, offrendo una soluzione scalabile a zero-overhead che supera gli attuali metodi state-of-the-art in molteplici famiglie di modelli.