High-Rate Quantized Matrix Multiplication I

Sintesi Tecnica: Moltiplicazione di Matrici Quantizzata ad Alto Tasso I

Enunciazione del Problema
Questo articolo affronta il problema della moltiplicazione di matrici quantizzata (MatMul), un'operazione critica per il dispiegamento efficiente dei Modelli Linguistici di Grande Dimensione (LLM). Gli autori si concentrano su un'impostazione "MatMul Generica" in cui entrambe le matrici (pesi e attivazioni) devono essere quantizzate senza specifiche conoscenze statistiche a priori (calibrazione) dei fattori. La sfida principale consiste nel caratterizzare il compromesso fondamentale a livello informativo tra il tasso di quantizzazione (bit per voce, $R$) e la distorsione risultante (errore) nel prodotto della matrice. L'articolo distingue tra la definizione informazionale di "tasso" (dove un vettore di $N$ voci è codificato globalmente in $NR$ bit) e la definizione pratica utilizzata nell'IA (dove ogni voce è quantizzata individualmente o in piccoli gruppi).

Metodologia e Quadro Teorico
L'analisi si basa sulla teoria della quantizzazione ad alto tasso, assumendo che il rumore di quantizzazione sia significativamente più debole del segnale ($R$ è sufficientemente grande). Sotto questa assunzione, l'errore di quantizzazione è modellato come rumore additivo, indipendente e uniformemente distribuito. Gli autori trascurano anche gli effetti di "restringimento lineare", che sono dell'ordine di $O(2^{-4R})$, per semplificare l'analisi della distorsione.

L'articolo formalizza il problema utilizzando uno schema di quantizzazione a tasso-$R$ che coinvolge codificatori e un decodificatore, potenzialmente sfruttando casualità condivisa (monete pubbliche). Valuta le prestazioni in due contesti:

1. Caso peggiore: Le matrici $A$ e $B$ hanno norme $\ell_2$ limitate, ma non vi sono assunzioni distributive.
2. Caso medio (Gaussiano): Le voci di $A$ e $B$ sono indipendenti e identicamente distribuite (i.i.d.) secondo una distribuzione Gaussiana.

Contributi e Risultati Chiave

1. Limiti Fondamentali per la MatMul Generica:
   L'articolo stabilisce che per matrici generiche, la distorsione attesa minima per la voce $(i,j)$-esima del prodotto $A^\top B$ è caratterizzata da:
   $$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$$
   dove $a_i$ e $b_j$ sono le colonne di $A$ e $B$, e $n$ è la dimensione. Questo limite è dimostrato essere stretto per input Gaussiani. Gli autori dimostrano che schemi non randomizzati o approcci di sketching semplici soffrono generalmente di una distorsione che scala linearmente con la dimensione $n$ ($\Omega(n)$), mentre schemi che combinano randomizzazione (rotazione casuale/dither) con quantizzazione reticolare possono raggiungere il limite fondamentale.

2. Analisi degli Schemi di Quantizzazione Popolari:
   Gli autori derivano approssimazioni euristico accurate per la distorsione di schemi ampiamente utilizzati, esprimendole nella forma $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$, dove $R_{\text{eff}}$ è il "tasso effettivo" in bit.

   • Moltiplicatori INT (absmax): Per gli standard INT$M$ con scalatura absmax, il tasso effettivo è $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$. Ciò indica una significativa penalità di tasso dovuta al fattore di scalatura $\ell_\infty$. L'articolo mostra che applicare una rotazione casuale (ad esempio, trasformata di Hadamard) prima della quantizzazione riduce il fattore di distorsione $\Delta_{\text{INT}}$ facendolo concentrare attorno a $2 \ln n$, rendendo la rotazione cruciale per la quantizzazione INT.
   • Moltiplicatori in Virgola Mobile (FP): Utilizzando un modello "Rumore Indipendente a Esponente Infinito" (IEIN), gli autori derivano che per FP con $M$ bit di mantissa, $R_{\text{eff}} \approx M + 2.23$ bit. A differenza degli INT, l'analisi suggerisce che per la quantizzazione FP la rotazione casuale è spesso non necessaria e può persino essere dannosa, poiché il fattore di distorsione $\Delta_{\text{FP}}$ tende ad essere inferiore a 1 senza rotazione per certe distribuzioni.
   • Formati Multi-scala (NVFP4/NVINT4): L'articolo analizza formati a 4 bit (NVFP4, NVINT4) che utilizzano multi-scalatura (scalatura a gruppi). Sostiene che NVFP4 si comporta efficacemente come uno schema a 1 bit di mantissa con un tasso effettivo di circa 3.24 bit, mentre NVINT4 subisce le stesse penalità di scalatura degli INT standard a meno che non sia gestito con cura.
   • NestQuant: Gli autori esaminano il framework NestQuant, che utilizza codici reticolari annidati (specificamente il reticolo $E_8$) e una banca di scale. Osservano che NestQuant supera significativamente gli schemi INT e FP a bit-rate simili, ottenendo circa 0.6 bit aggiuntivi di accuratezza.

3. Validazione Empirica:
   Utilizzando matrici di attivazione dal 15° strato di Llama3-8B, l'articolo convalida le approssimazioni teoriche.

   • Le formule derivate per la distorsione INT e FP corrispondono straordinariamente bene alle misurazioni empiriche dell'Errore Quadratico Medio Radice (RMSE).
   • Gli istogrammi confermano che la rotazione casuale riduce drasticamente la varianza del fattore di distorsione per la quantizzazione INT, ma ha un impatto diverso, spesso negativo, sulla quantizzazione FP.
   • I confronti a $R=4.5$ bit mostrano che NestQuant supera significativamente sia NVINT4 che NVFP4.

Significato e Affermazioni
L'articolo afferma di fornire i primi benchmark informazionali per la MatMul quantizzata generica dove non sono disponibili statistiche di calibrazione. Il suo significato principale risiede nella quantificazione del divario tra limiti fondamentali e approcci pratici restrittivi (come i formati standard INT/FP).

Gli autori sottolineano che, sebbene le assunzioni ad alto tasso possano non valere per bit-rate molto bassi ($R < 2$), forniscono espressioni sufficientemente accurate per i tassi tipicamente utilizzati negli LLM (ad esempio, da 4 a 8 bit). Il lavoro funge da fondamento teorico per valutare le strategie di quantizzazione attuali, evidenziando che:

• La rotazione casuale è un componente critico per la quantizzazione INT per avvicinarsi ai limiti fondamentali.
• La quantizzazione FP si comporta in modo diverso, dove la rotazione potrebbe non essere benefica.
• Esiste un divario di prestazioni sostanziale tra gli schemi standard e l'ottimo teorico, che può essere ridotto da tecniche avanzate come NestQuant.

L'articolo conclude notando che la Parte II di questo lavoro affronterà l'impostazione di quantizzazione solo sui pesi, dove sono disponibili statistiche del secondo ordine delle attivazioni.