Riepilogo Tecnico: INFOQUANT

Enunciato del Problema

La quantizzazione delle attivazioni a basso numero di bit rimane un collo di bottiglia critico per il deployment efficiente dei Large Language Models (LLM). Mentre i pesi negli LLM sono tipicamente piatti e distribuiti uniformemente, le attivazioni contengono spesso un piccolo numero di coordinate dominanti (outlier) che espandono l'intervallo di quantizzazione. Ciò costringe la quantizzazione "round-to-nearest" a mappare molti valori normali sugli stessi pochi livelli discreti, risultando in una significativa perdita di informazioni.

I metodi esistenti di Post-Training Quantization (PTQ) tentano di mitigare questo problema sopprimendo gli outlier, bilanciando i canali o minimizzando l'errore di ricostruzione (ad esempio, MSE). Tuttavia, il paper sostiene che questi approcci falliscono nel definire esplicitamente quale distribuzione delle attivazioni sia effettivamente "amica della quantizzazione". I metodi possono ridurre i picchi visibili o abbassare l'errore numerico senza migliorare la fondamentale "discretizzabilità" della distribuzione, lasciando spesso l'intervallo di quantizzazione troppo ampio o causando il collasso dei valori vicino alla media.

Metodologia: INFOQUANT

Gli autori propongono INFOQUANT, un framework PTQ senza training che ripropone la trasformazione delle attivazioni come "progettazione della distribuzione orientata al quantizzatore". La filosofia centrale deriva da un'analisi di teoria dell'informazione che dimostra come un basso errore di quantizzazione richieda due proprietà complementari:

1. Un intervallo numerico più piccolo (per ridurre la dimensione del passo di quantizzazione).
2. Dispersione sufficiente all'interno di tale intervallo (per utilizzare efficacemente i livelli di quantizzazione disponibili).

INFOQUANT raggiunge questo obiettivo attraverso tre componenti principali:

1. Trasformazione Ortogonale di Soppressione dei Picchi (PSOT)

PSOT impara una matrice di rotazione ortogonale per rimodellare le distribuzioni delle attivazioni. A differenza delle rotazioni fisse (ad esempio, Hadamard), PSOT ottimizza una matrice ortogonale a blocchi diagonali $R$ per minimizzare una specifica funzione di perdita:
$$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$$
dove $y = xRP_\perp$ (attivazione ruotata centrata) e $\pi_T$ è un peso softmax basato sulla magnitudine. Questo obiettivo penalizza esplicitamente le coordinate ad alta magnitudine (picchi). Sopprimendo la coordinata centrata più grande mentre si preserva l'energia totale del token (grazie all'ortogonalità), PSOT forza l'energia rimanente a distribuirsi su più dimensioni. Ciò riduce simultaneamente la scala di clipping (restringendo l'intervallo) e aumenta la dispersione normalizzata ($b_n$).

2. Selezione Adattiva dei Token Outlier (ASOT)

Per garantire un'ottimizzazione robusta, INFOQUANT non tratta tutti i token di calibrazione allo stesso modo. Identifica i token con "strutture outlier sensibili alla quantizzazione" e li ripondera durante l'ottimizzazione della rotazione.

• Seleziona i token contenenti almeno una coordinata statisticamente estrema.
• Impiega un meccanismo di selezione a soglia per garantire che le posizioni degli outlier selezionate varino tra i campioni (evitando l'overfitting su layout di prompt fissi o artefatti di calibrazione).
• Questi token selezionati vengono sovrappesati ($\gamma > 1$) nella funzione di perdita, mentre i token normali fungono da regolarizzatori.

3. Clipping delle Attivazioni Apprendibile (LAC)

Dopo che la distribuzione è stata rimodellata da PSOT, il metodo applica un passo finale di calibrazione utilizzando parametri di clipping apprendibili ($\alpha, \beta$). Questi parametri affinano la dimensione del passo delle attivazioni per far corrispondere l'output del blocco quantizzato all'output in precisione intera, minimizzando l'errore di ricostruzione specificamente per la distribuzione rimodellata.

Contributi Chiave

1. Framework di Teoria dell'Informazione: Il paper stabilisce un legame teorico tra l'errore di quantizzazione e le proprietà della distribuzione delle attivazioni. Dimostra che minimizzare l'errore di quantizzazione equivale a ridurre il limite superiore dell'errore tagliato normalizzato, il quale richiede un intervallo numerico più piccolo e una dispersione più elevata.
2. Algoritmo INFOQUANT: Un metodo efficiente per l'hardware e senza training che impara trasformazioni ortogonali per modellare le attivazioni in distribuzioni amiche della quantizzazione, completato da selezione adattiva dei token e clipping apprendibile.
3. Validazione Empirica: Esperimenti estesi sulle famiglie LLaMA-2 e LLaMA-3 (da 7B a 70B) e sui modelli Qwen2.5.

Risultati Sperimentali

Il metodo è stato valutato in varie configurazioni di larghezza di bit, incluso l'impostazione W4A4KV4 (pesi a 4 bit, attivazioni a 4 bit, cache KV a 4 bit) che rappresenta una sfida.

• Preservazione dell'Accuratezza: Nell'impostazione W4A4KV4, INFOQUANT preserva in media il 97% dell'accuratezza in virgola mobile originale attraverso i modelli LLaMA-2 e LLaMA-3.
• Prestazioni all'Avanguardia: Riduce il divario di prestazioni del modello LLaMA-2 13B del 42% rispetto allo stato dell'arte precedente (SpinQuant) sotto W4A4KV4.
• Confronto con le Baseline: INFOQUANT supera costantemente i metodi basati su rotazione (QuaRot, SpinQuant) e i metodi di ricostruzione dei pesi (GPTQ, AWQ). Supera anche OSTQuant basato su distillazione su diversi modelli (ad esempio, LLaMA-3 8B, LLaMA-2 13B) senza richiedere supervisione in precisione intera.
• Efficienza: Il metodo consente la quantizzazione del modello LLaMA-2 70B utilizzando solo 24GB di memoria GPU. Mantiene un percorso di inferenza leggero compatibile con i kernel a basso numero di bit esistenti, evitando l'elevato sovraccarico FLOP associato alle trasformazioni dinamiche durante l'inferenza (a differenza di FlatQuant).

Significato e Affermazioni

Il paper afferma che il limite principale della quantizzazione delle attivazioni a basso numero di bit attuale non è meramente la presenza di outlier, ma la discrepanza tra la distribuzione delle attivazioni e le capacità di un quantizzatore uniforme a basso numero di bit. Spostando il focus dalla "soppressione degli outlier" alla "modellazione della distribuzione", INFOQUANT dimostra che l'apprendimento di trasformazioni ortogonali specifiche può migliorare significativamente la discretizzabilità.

Gli autori sottolineano che il loro approccio è senza training ed efficiente per l'hardware, rendendolo pratico per il deployment su hardware di livello consumer. Notano che, sebbene il loro metodo si basi su dati di calibrazione e scelte implementative specifiche (come matrici a blocchi diagonali), offre un'alternativa robusta al fine-tuning supervisionato o a pipeline di distillazione pesanti. Il paper conclude che il lavoro futuro dovrebbe estendere questa analisi oltre le ipotesi di attivazioni a forma di campana verso regimi distributivi più ampi.