OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

Sintesi Tecnica: OffQ – Addomesticare gli Outlier Strutturati nella Quantizzazione di LLM tramite Offsetting

Problematica
La quantizzazione a basso bit (ad esempio, 4-bit) è essenziale per il deployment di Large Language Models (LLM) su hardware con risorse limitate, riducendo l'impronta di memoria e i costi computazionali. Tuttavia, la quantizzazione robusta simultanea di pesi, attivazioni e KV-cache (W4A4KV4) rimane una sfida significativa. L'ostacolo principale è la presenza di outlier di attivazione: valori sparsi ed estremamente grandi in canali specifici che dominano l'intervallo dinamico. Questi outlier costringono gli schemi di quantizzazione a utilizzare step size grossolani per accomodare l'intero intervallo, risultando in elevati errori di arrotondamento per la maggior parte della distribuzione delle attivazioni e in un grave degrado delle prestazioni. Sebbene i metodi basati sulla rotazione (es. QuaRot, SpinQuant) abbiano migliorato la mitigazione degli outlier ridistribuendo l'energia di attivazione, le distribuzioni risultanti mantengono spesso un'alta varianza, rendendo difficile una quantizzazione W4A4KV4 affidabile. Le alternative esistenti, come gli schemi a precisione mista o la quantizzazione non uniforme, introducono eterogeneità di esecuzione, kernel complessi o incompatibilità hardware.

Metodologia: OffQ
Gli autori propongono OffQ, un metodo di post-training quantization (PTQ) progettato per mitigare gli outlier di attivazione strutturati senza fare affidamento su componenti a precisione mista, livelli di quantizzazione non uniformi o costose rotazioni basate su backpropagation. Il metodo opera attraverso tre fasi principali:

1. Concentrazione tramite Top-1 PCA:
   Il metodo sfrutta l'osservazione che gli outlier di attivazione negli LLM presentano una marcata struttura a bassa dimensionalità, condividendo la stessa direzione attraverso layer, ID di token e posizioni di sequenza. Per sfruttare questo aspetto, OffQ impiega una procedura Top-1 PCA:

   • Inveve di utilizzare tutti i token per la stima della covarianza (che verrebbe distorta dai token normali), seleziona solo il singolo token con la norma $L_\infty$ più grande per sequenza da un dataset di calibrazione.
   • Calcola l'autovettore principale della matrice di covarianza formata da questi token estremi.
   • Le attivazioni vengono ruotate utilizzando questa matrice di autovettori, concentrando la varianza dominante degli outlier nel primo canale (o in pochi canali), lasciando i canali rimanenti ampiamente privi di outlier.

2. Assorbimento tramite Offsetting (Rotazione di Hadamard):
   Una volta concentrati gli outlier in canali specifici, OffQ applica una speciale rotazione di Hadamard per assorbirli:

   • Viene costruita una matrice di Hadamard $H$ parzialmente casuale dove la prima riga consiste interamente di uno ($H_{1,:} = [1, 1, \dots, 1]$).
   • L'applicazione di questa rotazione alle attivazioni con concentrazione di outlier ridistribuisce il valore del canale outlier uniformemente tra tutti i canali del gruppo.
   • Matematicamente, ciò converte l'ampiezza dell'outlier in un offset costante aggiunto a ogni canale del gruppo.
   • Questo offset viene poi assorbito nello zero-point ($z$) della quantizzazione asimmetrica. Di conseguenza, i valori di attivazione rimanenti presentano una distribuzione più piatta con varianza ridotta, rendendoli altamente adatti a una standard quantizzazione uniforme a basso bit.

3. Implementazione Group-Wise:
   Per gestire molteplici canali di outlier, il metodo partiziona i canali in gruppi. All'interno di ogni gruppo, viene identificato il canale outlier principale e ruotato per creare un offset per gruppo. Ciò consente l'uso di una quantizzazione asimmetrica per gruppo (per-group), dove ogni gruppo ha il proprio scale e zero-point per assorbire l'energia specifica dell'outlier.

Contributi Chiave

1. Identificazione degli Outlier Strutturati: Il paper identifica che gli outlier di attivazione degli LLM possiedono una struttura a bassa dimensionalità condivisa tra layer e token, che può essere isolata utilizzando un approccio mirato Top-1 PCA.
2. Il Framework OffQ: Un nuovo metodo PTQ che combina la Top-1 PCA per la concentrazione degli outlier e una tecnica di offsetting basata su Hadamard per convertire gli outlier in zero-point di quantizzazione. Questo permette una quantizzazione W4A4KV4 efficace utilizzando matrici a griglia uniforme e precisione uniforme standard.
3. Prestazioni ed Efficienza: Il metodo raggiunge lo stato dell'arte in termini di accuratezza nella quantizzazione a 4-bit senza l'overhead di un'esecuzione a precisione mista o di rotazioni apprese complesse, mantenendo la semplicità dell'inferenza low-bit end-to-end.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su varie architetture di LLM (serie Llama 2, Llama 3, Llama 3.2 e Qwen 2.5) e benchmark (perplessità di WikiText e accuratezza zero-shot su ARC-e, ARC-c, BoolQ, HellaSwag, ecc.).

• Superiorità rispetto ai Baseline: OffQ ha costantemente superato i baseline allo stato dell'arte, inclusi i metodi basati sulla rotazione (QuaRot, SpinQuant, DFRot, KurTail) e gli approcci a precisione mista (ResQ, QUIK).
• Robustezza W4A4KV4: Mentre i metodi a peso singolo (GPTQ) e quelli a precisione mista hanno subito un grave degrado nel setting W4A4KV4, OffQ ha mantenuto la perplessità e l'accuratezza vicine ai baseline a 16-bit. Ad esempio, su Llama 3-8B, OffQ ha ottenuto una PPL di 6.98 rispetto a 7.4 per SpinQuant e 7.8 per QuaRot.
• Studi di Ablazione: Lo studio ha confermato che la strategia di selezione Top-1 è critica per l'identificazione accurata dello spazio sottostante degli outlier, superando la PCA standard. Inoltre, è stato scoperto che il raggruppamento ordinato (sorted grouping) dei canali è più efficace del raggruppamento zigzag, e che una dimensione del gruppo di 128 offre il miglior compromesso tra prestazioni e overhead dei metadati.

Significatività e Claim
Il paper sostiene che OffQ fornisce un meccanismo pratico ed efficiente per rendere la quantizzazione a 4-bit robusta contro gli outlier di attivazione. Trasformando il problema degli outlier "appuntiti" (spiky) in un problema di "offset" gestibile, OffQ abilita una quantizzione W4A4KV4 affidabile utilizzando hardware uniforme favorevole al deployment. Gli autori sottolineano che questo approccio rafforza la fattibilità del deployment di LLM in ambienti con vincoli di costo e di risorse (ad esempio, dispositivi edge) senza sacrificare l'accuratezza del modello o richiedere pipeline di esecuzione eterogenee e complesse. Il metodo è presentato come una tecnica complementare che può potenzialmente essere combinata con altre strategie di quantizzazione avanzate in futuro, sebbene i risultati attuali ne dimostrino la forza come soluzione standalone.