Riepilogo Tecnico: TORQ – Rotazione Ortogonale a Due Livelli per la Quantizzazione MXFP4

1. Enunciato del Problema

Mentre i Large Language Models (LLM) si avvicinano al dispiegamento pratico, il formato Microscaling FP4 (MXFP4) è emerso come uno standard critico per l'inferenza a basso numero di bit grazie al suo equilibrio tra elevato intervallo dinamico ed efficienza hardware. Tuttavia, l'applicazione diretta di MXFP4 alla quantizzazione delle attivazioni degli LLM comporta un grave degrado dell'accuratezza. Il documento identifica che i metodi di quantizzazione basati sulla rotazione esistenti, progettati principalmente per formati interi (ad es. INT4), non riescono ad affrontare la struttura topologica unica dei formati in virgola mobile a blocchi (Block Floating Point - BFP) come MXFP4.

Attraverso un'analisi teorica, gli autori rivelano che il calo delle prestazioni deriva da due squilibri strutturali tra le distribuzioni delle attivazioni reali e il formato in virgola mobile a blocchi MXFP4:

1. Squilibrio Estremo della Varianza Inter-blocco: Sotto il microscaling a blocchi fissi, la varianza delle attivazioni è altamente disuguale. Una minoranza di blocchi ad alta varianza domina l'errore di quantizzazione totale. Questi blocchi costringono il fattore di scala condiviso (esponente) ad aumentare per accommodare i valori anomali, il che causa una riduzione eccessiva della risoluzione per la maggior parte delle attivazioni di piccola entità all'interno dello stesso blocco, portando spesso all'azzeramento di oltre il 90% degli elementi.
2. Squilibrio nell'Utilizzo del Codebook Intra-blocco (Collasso del Codebook): Le attivazioni reali spesso seguono una distribuzione a coda pesante concentrata vicino allo zero, che non corrisponde al codebook a progressione geometrica di MXFP4 (e2m1). Ciò porta al "collasso del codebook", dove la stragrande maggioranza dei valori cade nell'intervallo di quantizzazione minimo, lasciando inattivi i codeword ad alta capacità per i valori elevati. Le statistiche mostrano che circa il 50% dell'intervallo dei codeword è attivato solo dal 10% circa dei dati.

2. Metodologia: Framework TORQ

Per affrontare queste sfide, gli autori propongono TORQ (Rotazione Ortogonale a Due Livelli per la Quantizzazione MXFP4), un framework di Quantizzazione Post-Addestramento (PTQ) senza addestramento. Invece di adattare passivamente i parametri di quantizzazione, TORQ ruota attivamente il sistema di coordinate delle attivazioni per allineare le caratteristiche della distribuzione con le proprietà strutturali di MXFP4. Il metodo scompone l'ottimizzazione in due sottoproblemi matematicamente ortogonali:

A. Rotazione di Equilibrio Macro (Inter-blocco)

• Obiettivo: Eliminare il dominio dei blocchi ad alta varianza ridistribuendo l'energia delle attivazioni uniformemente su tutti i blocchi.
• Base Teorica: Basata sul teorema di Schur-Horn e sulla teoria dell'ottimizzazione convessa. Gli autori dimostrano che, sotto un modello di errore convesso, l'uguaglianza della varianza tra i blocchi minimizza l'Errore Quadratico Medio (MSE) globale.
• Meccanismo: Viene costruita una trasformazione ortogonale per garantire che gli elementi diagonali della matrice di covarianza trasformata siano uniformi (cioè, tutte le varianze dei blocchi diventano uguali). Questo agisce come un meccanismo di "soppressione soft degli outlier", impedendo ai blocchi ad alta varianza di innalzare i fattori di scala condivisi e preservando la precisione degli elementi di piccola entità.
• Implementazione: Viene utilizzato un efficiente algoritmo iterativo di rotazione di Givens per costruire la matrice di rotazione, garantendo la convergenza entro un tempo $O(B^2)$.

B. Rotazione di Allineamento Micro (Intra-blocco)

• Obiettivo: Alleviare il "collasso del codebook" rimodellando la distribuzione delle attivazioni intra-blocco per sfruttare la piena capacità del codebook MXFP4.
• Base Teorica: Guidata dal principio di massima entropia. L'obiettivo è far "fluire" la distribuzione delle attivazioni uniformemente in ogni intervallo di codeword nello spazio FP4 normalizzato.
• Meccanismo: Il metodo definisce una Funzione di Perdita per l'Equilibrio di Occupazione del Codebook, che misura la deviazione dell'uso empirico dei codeword da una distribuzione uniforme.
• Ottimizzazione: Viene adottata una strategia di discesa coordinata alternata:
  • Passo S: Aggiorna i fattori di scala dei blocchi per mappare i valori massimi delle attivazioni al codeword massimo di MXFP4.
  • Passo R: Aggiorna la matrice di rotazione ortogonale intra-blocco utilizzando rotazioni di Givens. Un'euristica seleziona le coppie di colonne con alto squilibrio e complementarità statistica, quindi cerca l'angolo di rotazione ottimale tramite enumerazione finita (sfruttando la natura costante a tratti della funzione di perdita).

Efficienza nell'Inferenza

TORQ è progettato per un sovraccarico minimo. Le matrici di rotazione inverse sono fuse nei pesi dei livelli lineari adiacenti durante la fase di calibrazione offline. Di conseguenza, la fase di inferenza online comporta un costo computazionale aggiuntivo trascurabile, poiché la rotazione viene efficacemente assorbita nella moltiplicazione della matrice dei pesi.

3. Contributi Chiave

1. Formalizzazione del Problema: Il documento è il primo a identificare e formalizzare sistematicamente le due sfide strutturali che ostacolano le prestazioni di MXFP4: lo Squilibrio della Varianza Inter-blocco e lo Squilibrio nell'Utilizzo del Codebook Intra-blocco.
2. Framework a Doppio Livello: Propone TORQ, il primo framework di rotazione a doppio livello progettato specificamente per le strutture in Virgola Mobile a Blocchi. Integrando l'equilibrio della varianza macro e l'allineamento del codebook micro, ottiene una minimizzazione sistematica dell'errore di quantizzazione.
3. Fondamento Teorico: Gli autori forniscono dimostrazioni rigorose che mostrano come l'equilibrio della varianza sia approssimativamente ottimale sotto modelli di errore convessi e come l'equilibrio di occupazione dei codeword approssimi la minimizzazione dell'errore di quantizzazione sotto la struttura geometrica di MXFP4.
4. Pipeline PTQ Efficiente: Viene stabilita una pipeline senza fine-tuning che richiede solo dati di calibrazione minimi (ad es. 128 campioni) e dimostra compatibilità hardware con un'impronta parametrica trascurabile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su LLM mainstream (serie LLaMA3 e serie Qwen3) che vanno da 8B a 70B parametri, coprendo sia architetture Dense che Mixture-of-Experts (MoE). La valutazione ha incluso la perplessità su WikiText2 e l'accuratezza zero-shot su compiti come ARC, HellaSwag, MMLU, GSM8K e HumanEval.

• Superiorità delle Prestazioni: TORQ supera significativamente i metodi State-of-the-Art (SOTA) esistenti (inclusi RTN, GPTQ, QuaRot, OSTQuant, FlatQuant e BRQ).
  • Su Qwen3-32B, TORQ ha ridotto la perplessità WikiText a 8.43 (rispetto a 274.93 per RTN e 14.62 per OSTQuant), avvicinandosi alla linea di base BF16 di 7.61.
  • L'accuratezza media sui compiti zero-shot per Qwen3-32B è aumentata dal 38.40% (RTN) al 73.63% (TORQ), quasi eguagliando la linea di base BF16 del 74.82%.
  • Su LLaMA3-70B, TORQ ha raggiunto una perplessità di 3.49 (contro 3180.43 per RTN) e un'accuratezza media del 76.28%.
• Capacità di Ragionamento: TORQ ha dimostrato una forte ripresa dell'"intelligenza profonda" in compiti di ragionamento complesso. Su GSM8K per Qwen3-8B, l'accuratezza è stata ripristinata all'86.82% (contro il 67.37% di GPTQ), e l'accuratezza HumanEval ha raggiunto il 61.15%.
• Generalizzabilità: Il metodo si è dimostrato efficace su diversi formati di microscaling (MXINT4, NVFP4) e architetture MoE (Qwen3-30B-A3B), confermando la sua natura agnostica rispetto al formato.
• Efficienza: La calibrazione di TORQ è significativamente più veloce rispetto ai metodi concorrenti (ad es., circa 10 volte più veloce di FlatQuant per Qwen3-32B). Sono stati osservati accelerazioni nell'inferenza di 3.5x rispetto a BF16 su Qwen3-30B-A3B, con un utilizzo di memoria ridotto da 56.9GB a 15.3GB.

5. Significato e Affermazioni

Il documento afferma che TORQ colma efficacemente il divario tra la quantizzazione in virgola mobile a 4 bit e l'inferenza a precisione completa, risolvendo il degrado dell'accuratezza intrinseco alla quantizzazione delle attivazioni MXFP4. Spostando il paradigma di ottimizzazione dall'adattamento locale dei parametri alla "trasformazione ortogonale consapevole della struttura", TORQ fornisce la prima soluzione sistematica per la quantizzazione delle attivazioni MXFP4.

Gli autori posizionano questo lavoro come un fondamento cruciale per l'applicazione di formati in virgola mobile a basso numero di bit nel dispiegamento efficiente degli LLM. Riconoscono le limitazioni, come l'attuale focus sulle statistiche del primo ordine (ignorando momenti di ordine superiore come la curtosi) e l'uso di dimensioni di blocchi fisse, notando che strategie adattive per questi fattori rimangono una direzione per lavori futuri. Tuttavia, i risultati attuali stabiliscono un nuovo paradigma di ottimizzazione per la quantizzazione delle attivazioni in virgola mobile a basso numero di bit.