Sintesi Tecnica: UniSVQ: Quantizzazione Scalare-Vettoriale Unificata a 2 bit

1. Definizione del Problema

I Large Language Models (LLM) richiedono risorse computazionali sostanziali, creando barriere alla distribuzione nel mondo reale. La post-training quantization (PTQ) è una soluzione primaria per la compressione. Sebbene la quantizzazione a 4 bit o superiore sia diventata relativamente stabile, la quantizzazione a 2 bit rimane una sfida critica per massimizzare l'accelerazione dell'inferenza e la riduzione della memoria.

Gli attuali approcci a 2 bit affrontano un compromesso fondamentale tra Quantizzazione Scalare (SQ) e Quantizzazione Vettoriale (VQ):

• Quantizzazione Scalare (SQ): Converte i singoli pesi in valori discreti. È computazionalmente efficiente e compatibile con i tensor core ottimizzati, ma soffre di un grave degrado delle prestazioni a 2 bit (spesso superando il 30% di perdita) a causa della sensibilità agli outlier e della limitata flessibilità nel adattarsi alle distribuzioni dei pesi.
• Quantizzazione Vettoriale (VQ): Quantizza gruppi di pesi contigui utilizzando un codebook. Raggiunge prestazioni superiori a 2 bit grazie a una migliore modellazione delle distribuzioni dei pesi, ma comporta un significativo overhead di archiviazione (per il codebook) e latenza computazionale (dovuta a lookup del codebook e cache miss), spesso annullando i guadagni di velocità dell'inferenza.

Il problema centrale affrontato è come ottenere la flessibilità e le prestazioni della VQ a 2 bit mantenendo il basso overhead di archiviazione e computazionale della SQ.

2. Metodologia: UniSVQ

Gli autori propongono UniSVQ, un framework di quantizzazione unificato a 2 bit che colma il divario tra SQ e VQ parametrizzando i codewords come una trasformazione affine di reticoli interi.

Intuizione Centrale

Il metodo si basa sull'osservazione che la natura non strutturata dei codebook VQ è la causa primaria del loro overhead. UniSVQ sostituisce il codebook non strutturato con una griglia di quantizzazione a vincolo lineare. Questa griglia è definita in modo tale che tutti i possibili valori quantizzati siano ottenuti tramite una trasformazione affine di un gruppo di vettori con coordinate intere.

• Formulazione Matematica: La funzione di quantizzazione $\Phi$ per un vettore di pesi $[w_1, ..., w_d]^T$ è definita come:
  $$\Phi([w_1, ..., w_d]^T) = A[\bar{w}_1, ..., \bar{w}_d]^T + B$$
  dove $\bar{w}_i \in \mathbb{Z}$ sono indici interi, $A$ è una matrice affine e $B$ è un vettore di bias.
• Struttura: Questa struttura preserva la regolarità della SQ (permettendo il riutilizzo di kernel di moltiplicazione matriciale ottimizzati) pur mantenendo la flessibilità della VQ (permettendo alla griglia di adattarsi alla distribuzione dei dati tramite $A$ e $B$).

Pipeline di Implementazione

UniSVQ opera in tre fasi:

1. Pre-processing (Randomized Hadamard Transform - RHT):

   • I pesi vengono trasformati usando RHT ($R(W) = US_U W S_V V$) per eliminare gli outlier.
   • Questo passaggio assicura che la distribuzione dei pesi approssimi una distribuzione Gaussiana multidimensionale standard, un prerequisito affinché la griglia a vincolo lineare sia efficace.
   • La trasformazione è reversibile ed efficiente dal punto di vista computazionale ($O(n \log n)$).

2. Quantizzazione dei Pesi (LDLQ):

   • Il metodo utilizza l'approccio LDLQ (Lattice-based Decomposition for Lattice Quantization).
   • Esegue la quantizzazione colonna per colonna, regolando sequenzialmente i pesi non ancora quantizzati per compensare gli errori utilizzando la decomposizione della matrice Hessiana ($H = LDL^T$).
   • La griglia di quantizzazione è inizializzata utilizzando una matrice ortogonale casuale $G$ e fattori di scala derivati dalla larghezza di bit, garantendo una griglia centralmente simmetrica che corrisponde alla distribuzione Gaussiana dei pesi pre-processati.

3. Fine-Tuning guidato dai dati:

   • Per minimizzare l'errore di ricostruzione, i parametri affini ($A$ e $B$) vengono perfezionati livello per livello (layer-wise).
   • Il processo di dequantizzazione viene riformulato come una moltiplicazione di matrici, consentendo l'uso della backpropagation per ottimizzare direttamente $A$ e $B rispetto all'output del modello FP16 originale utilizzando la perdita MSE (Mean Squared Error).
   • Questa strategia adatta la griglia di quantizzazione alla specifica eterogeneità delle distribuzioni di pesi e attivazioni.

Efficienza

• Archiviazione: Per un vettore a 4 dimensioni ($d=4$) in quantizzazione a 2 bit, UniSVq richiede solo 20 parametri floating-point aggiuntivi (matrice $4\times4$ + 4 bias) per matrice di pesi. Ciò riduce l'archiviazione ausiliaria da circa 2048 byte (VQ standard) a circa 40 byte (una riduzione di circa 64x).
• Inferenza: La trasformazione affine può essere pre-applicata alle attivazioni, consentendo il riutilizzo dei kernel Matmul della quantizzazione scalare altamente ottimizzati senza logiche di decoding complesse.

3. Contributi Chiave

1. Framework Unificato: Introduzione di UniSVQ, che unisce la quantizzazione scalare e vettoriale tramite la parametrizzazione di reticoli affini, ottenendo la flessibilità della VQ con minimi parametri ausiliari.
2. Superiorità delle Prestazioni: Dimostrazione che UniSVQ supera costantemente i baseline di quantizzazione scalare SoTA e raggiunge prestazioni comparabili o superiori ai metodi avanzati di quantizzazione vettoriale.
3. Guadagni di Efficienza: Prova che UniSVQ migliora il throughput dell'inferenza riducendo il traffico di memoria relativo al codebook, portando a velocità di inferenza pratica più elevate rispetto sia ai modelli FP16 che ad altri baseline quantizzati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sulle famiglie di modelli Qwen-3 (da 4B a 32B) e Llama-3 (8B) utilizzando la quantizzazione a 2 bit.

• Accuratezza vs Baselines Scalari: UniSVQ supera significativamente i metodi scalari (GPTQ, QuIP, SpinQuant, OSTQuant).
  • Su Qwen-3-32B, UniSVQ mantiene il 98% delle prestazioni del modello a precisione intera (FP16), mentre i baseline scalari spesso scendono sotto il 60-70%.
  • Notevolmente, il modello UniSVQ a 2 bit (32B) supera le prestazioni del modello Qwen-3-4B in precisione FP16 nella media della QA accuracy, suggerendo che modelli più grandi a 2 bit possono essere più efficaci di modelli più piccoli a precisione intera quando la memoria è limitata.
• Accuratezza vs Baselines Vettoriali: UniSVQ raggiunge un'accuratezza comparabile o superiore ai metodi VQ (AQLM, QuIP#).
  • Su Qwen-3-8B, UniSVQ supera QuIP# (che utilizza un reticolo E8P matematicamente ottimale).
  • Supera AQLM (basato su clustering) in tutti i benchmark.
• Throughput di Inferenza:
  • Su Llama-3-8B (GPU A100), UniSVQ ottiene un'inferenza 1.68x più veloce rispetto a FP16.
  • Riduce l'uso di memoria GPU di picco di oltre il 75% rispetto a FP16.
  • Supera AQLM e QuIP# sia in throughput che in footprint di memoria grazie alla sua struttura più semplice e alla mancanza di grandi lookup di codebook.
• Studi di Ablazione:
  • Fine-tuning: Disabilitare il fine-tuning dei parametri affini guidato dai dati causa un calo evidente dell'accuratezza (ad esempio, dal 67.95% al 66.99% su Qwen-3-8B).
  • Inizializzazione: L'uso di una matrice ortogonale casuale per l'inizializzazione è superiore all'uso del generatore di reticoli D4 matematicamente ottimale, probabilmente perché la matrice casuale preserva la natura isotropa richiesta dai vincoli lineari.
  • RHT: Rimuovere la Randomized Hadamard Transform causa il collasso delle prestazioni verso livelli quasi casuali, confermando la sua necessità per la soppressione degli outlier.
  • Dimensionalità: Aumentare la dimensione vettoriale da $d=4$ a $d=8$ produce solo guadagni marginali di accuratezza, che non giustificano l'aumento del costo computazionale. Pertanto, $d=4$ rappresenta il bilanciamento ottimale.

5. Significato e Rivendicazioni

Il paper sostiene che UniSVQ rappresenti un passo avanti significativo nella quantizzazione a bassissimi bit (2 bit). Unificando la semplicità strutturale della quantizzazione scalare con la flessibilità distributiva della quantizzazione vettoriale, UniSVQ risolve il tradizionale compromesso tra accuratezza ed efficienza.

Gli autori sottolineano che:

• La griglia di quantizzazione a vincolo lineare è il meccanismo chiave che collega questi metodi, permettendo alla dequantizzazione di essere trattata come una semplice trasformazione affine.
• Il metodo è scalabile e generalizzabile, performando bene su diverse architetture di modelli (Qwen, Llama) e bit-width (estendendosi a 3 bit con cambiamenti strutturali minimi).
• L'approccio consente l'implementazione di modelli più grandi (es. 32B) in ambienti con risorse limitate con prestazioni che rivaleggiano con modelli più piccoli a precisione intera, un traguia non raggiungibile con gli attuali metodi di quantizzazione scalare.

Il paper conclude con una nota modesta sulle limitazioni: l'attuale lavoro si concentra sulla quantizzazione dei soli pesi (weight-only) e non affronta ancora la quantizzazione delle attivazioni o della KV-cache, che sono anch'esse critiche per l'efficienza end-to-end. Inoltre, l'interazione tra la trasformazione affine e i kernel GEMM altamente ottimizzati rimane un'area per ricerche future.