MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization

Riepilogo Tecnico: MosaicQuant

Definizione del Problema

Sebbene la quantizzazione a 4 bit offra un potenziale significativo per ridurre l'impronta di memoria e accelerare l'inferenza dei Large Language Models (LLM), essa affronta un limite fondamentale: la larghezza di bit ristretta non può rappresentare fedelmente sia i valori comuni densi (inlier) che i valori rari di grande magnitudo (outlier). Questa discrepanza porta a un sostanziale degrado dell'accuratezza.

Le soluzioni esistenti impiegano tipicamente una quantizzazione a precisione mista, mantenendo gli outlier in alta precisione (ad esempio, FP16 o INT8) pur quantizzando il resto a 4 bit. Tuttavia, questo approccio rompe l'uniformità dell'esecuzione a basso bit. La necessità di operazioni di fallback ad alta precisione introduce costi aggiuntivi di movimento dati, conversione di formato e conversione di precisione, il che alla fine mina il miglioramento della velocità hardware promesso dall'inferenza a basso bit.

Metodologia

Gli autori propongono MosaicQuant, un paradigma di quantizzazione a 4 bit unificato basato sul principio della disaggregazione inlier–outlier. Invece di preservare gli outlier in alta precisione, MosaicQuant decompone l'intera matrice dei pesi in componenti a 4 bit: una base densa e un residuo sparso.

1. Disaggregazione Inlier–Outlier

Il metodo inizia migrando gli outlier delle attivazioni alla matrice dei pesi tramite trasformazioni equivalenti (ad esempio, SmoothQuant o QuaRot). La matrice dei pesi migrata $\hat{W}$ viene quindi decomposta come:
$$\hat{W} \approx Q(\hat{W}) + R$$
Dove:

• Base Densa a 4 bit ($Q(\hat{W})$): Cattura fedelmente gli inlier comuni.
• Residuo Sparso a 4 bit ($R$): Compensa gli errori di quantizzazione introdotti dagli outlier.

Fondamentalmente, entrambi i componenti operano a 4 bit, preservando l'uniformità della pipeline di esecuzione a basso bit.

2. Allocazione del Residuo per Blocco (Block-Wise)

Il documento identifica che gli errori di quantizzazione non sono distribuiti uniformemente tra i canali, ma esibiscono una concentrazione a livello di blocco fine-grained. Pertanto, MosaicQuant alloca il budget del residuo sparso a livello di blocco piuttosto che a livello di canale.

Per selezionare i blocchi più critici senza costose valutazioni dell'output completo, gli autori introducono uno $\Delta$-score guidato dall'Essiana. Questa metrica approssima la riduzione marginale della distorsione dell'output per ogni blocco pesando l'errore residuo con la sensibilità dell'attivazione (stima diagonale dell'Essiana) dei canali di input. L'algoritmo seleziona i top-$K$ blocchi con i $\Delta$-score più elevati per ricevere la compensazione del residuo sparso a 4 bit. Gli esperimenti dimostrano che un budget sparso di soli il 10% dei blocchi è sufficiente per recuperare oltre il 50% della distorsione dell'output.

3. ZipperEngine: Esecuzione Unificata

Una rappresentazione unificata da sola è insufficiente se il residuo sparso viene eseguito tramite un kernel separato, il quale ricaricherebbe le attivazioni e fonderebbe i prodotti parziali, aggiungendo latenza significativa. Per affrontare questo problema, gli autori introducono ZipperEngine, un motore di esecuzione specializzato che:

• Fonde i Kernel: Integra il calcolo del residuo sparso direttamente nel kernel GEMM a 4 bit denso.
• Pipeline Sovrapposta: Utilizza una pipeline a blocchi (tiled) e sovrapposta in cui la quantizzazione, il calcolo denso, la compensazione sparsa e le operazioni di riduzione-addizione sono pianificate concorrentemente su Tensor Core, CUDA Core e HBM.
• Risultato: Questo elimina l'overhead di dispatch di kernel separati e il traffico di memoria ridondante, realizzando l'efficienza hardware di una pipeline di inferenza a 4 bit completamente unificata.

Contributi Chiave

1. Paradigma MosaicQuant: Un approccio di quantizzazione a 4 bit che esegue la disaggregazione inlier–outlier a livello di blocco, mitigando la perdita di accuratezza pur mantenendo un pattern di esecuzione a basso bit completo.
2. Selezione Guidata dall'Essiana: Una strategia di selezione dei blocchi efficiente e consapevole delle attivazioni utilizzando uno score $\Delta$-Essiana per identificare i blocchi residui critici, sostituendo la costosa valutazione esatta della distorsione dell'output.
3. ZipperEngine: Un motore di esecuzione a 4 bit denso-sparso che fonde il calcolo del residuo sparso nel kernel GEMM denso tramite una pipeline sovrapposta, consentendo miglioramenti pratici della velocità anche con blocchi residui aggiuntivi.

Risultati Sperimentali

Gli autori hanno valutato MosaicQuant sui modelli LLaMA3 (3B, 8B) e Qwen3 (4B, 8B, 14B, 32B).

• Accuratezza: MosaicQuant preserva un'accuratezza vicina a FP16. Sotto quantizzazione W4A4, supera significativamente altri baseline a basso bit (RTN, SmoothQuant, QuaRot, SpinQuant, ResQ, Atom). Ad esempio, su Qwen3-32B, MosaicQuant raggiunge una perplessità di 8.4, rispetto a 9.2 per ResQ e 9.3 per Atom. Mantiene inoltre una prestazione robusta dove altri metodi (come RTN e SmoothQuant) spesso collassano sui modelli Qwen3.
• Throughput: Su una NVIDIA RTX 4090, MosaicQuant raggiunge fino a 1.24× di velocità in più rispetto al baseline W16A16. Fornisce costantemente il throughput più elevato attraverso batch size 4–32 rispetto a TensorRT-LLM e altri baseline di quantizzazione.
• Overhead: I rami a 4 bit sparsi comportano un overhead minimo, con un aumento dell'uso di memoria di soli 8.5–9.5% e un overhead di latenza che rimane inferiore al 6.2% grazie alla pipeline fusa.

Significato

Il documento sostiene che MosaicQuant risolve il compromesso tra accuratezza ed efficienza hardware nella quantizzazione a 4 bit degli LLM. Eliminando la necessità di operazioni di fallback ad alta precisione e unificando sia la rappresentazione che l'esecuzione in un unico processo coerente a basso bit, MosaicQuant consente il serving efficiente degli LLM senza sacrificare la regolarità dell'esecuzione uniforme a 4 bit. Questo approccio dimostra che la compensazione sparsa a bassa precisione può recuperare efficacementamente gli errori indotti dagli outlier mantenendo i vantaggi di throughput dell'inferenza densa a basso bit.