Riepilogo Tecnico: Rotazioni Spettrali Ispirate all'Influenza per la Quantizzazione Estremamente a Bassi Bit degli LLM

Enunciato del Problema

Il documento affronta la sfida della quantizzazione dei pesi esclusivamente a bassissimi bit (nello specifico W2A16, pesi a 2 bit, attivazioni a 16 bit) per i Modelli Linguistici su Grande Scala (LLM). A tali larghezze di bit estremamente ridotte, i metodi di quantizzazione standard (come Intel Auto-Round vanilla) soffrono di errori di ricostruzione significativi, portando a drastici aumenti della perplessità (PPL) su benchmark come WikiText-2. La difficoltà fondamentale risiede nel "budget del rumore di quantizzazione": con soli 2 bit, l'errore di arrotondamento è elevato, e la quantizzazione per gruppo standard non riesce a dare priorità ai canali più critici, causando un grave degrado delle prestazioni del modello, in particolare nei modelli con strati MLP ampi o vincoli architetturali specifici (ad esempio, l'attenzione in stile Qwen3).

Metodologia

Il metodo proposto, BBT-spectral, applica una trasformazione pre-quantizzazione fissa e matematicamente invariante agli strati lineari prima di passarli a un quantizzatore standard basato sull'errore di ricostruzione (Intel Auto-Round). L'approccio è ispirato a un documento teorico complementare sull'influenza booleana e sulla geometria di Walsh-Hadamard, ma viene applicato euristicamente agli strati degli LLM a valori reali.

1. Trasformazione Principale

Il metodo consiste in due passaggi applicati alla matrice dei pesi $W$ e all'input $x$ di uno strato lineare:

1. Rotazione Spettrale: L'input viene ruotato nella base di Walsh-Hadamard utilizzando una matrice ortogonale fissa $Q = H_{dpad}/\sqrt{dpad}$, dove $H$ è la matrice di Walsh-Hadamard e $dpad$ è la dimensione zero-padded fino alla prossima potenza di due.
2. Scalatura per Coordinata: Le colonne della matrice dei pesi ruotata vengono scalate mediante una matrice diagonale $D = \text{diag}(s)$, dove i fattori di scala $s_\ell$ sono derivati dall'energia spettrale di attivazione delle coordinate di input.
   • Il proxy dell'energia spettrale $\rho_\ell$ è calcolato come il valore atteso del quadrato della magnitudine dell'$\ell$-esima coordinata dopo la rotazione WHT: $\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$.
   • Il fattore di scala è definito come $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$, con $\alpha = 0.5$.

Invarianza Matematica: La trasformazione è un'identità esatta a precisione completa ($x W^T = (x Q D^{-1}) (D Q^T W^T)$). La scalatura "potenzia" i canali ad alta energia prima della quantizzazione e li divide nuovamente dopo la dequantizzazione, influenzando efficacemente il budget di arrotondamento intero verso i canali che trasportano più segnale spettrale.

2. Estensioni Architetturali

La ricetta di base inizialmente falliva su modelli con meccanismi di attenzione specifici. Il documento introduce tre estensioni per gestire questi casi:

• Spectral-PCA (per stili Qwen3): Per architetture con strati $q\_norm/k\_norm$ per testa (ad esempio Qwen3), la scalatura standard sul lato input rompe il denominatore della norma. Gli autori sostituiscono la norma con una Matrix-Γ RMSNorm che ruota i pesi di proiezione tramite PCA per testa ($U_h$) e applica una matrice diagonale $\Gamma_h$ per ripristinare esattamente l'output vanilla.
• Pair-PCA (per architetture commutanti con RoPE): Per modelli senza $q\_norm$ (ad esempio Llama, SmolLM, Qwen2.5), la rotazione deve commutare con gli Embedding di Posizione Rotativi (RoPE). Poiché RoPE agisce come rotazioni 2D, il metodo calcola una PCA SO(2) vincolata per ogni coppia RoPE, ruotando le righe dei pesi su piani 2D per allinearle alla varianza di attivazione senza rompere l'invarianza RoPE.
• Assorbimento Consapevole di MoE: Una correzione identificata tramite "fuzzing architetturale" su un modello sintetico Laguna, che estende l'elenco di assorbimento lato input per includere $g\_proj$ (gate delle teste) oltre ai soliti $q/k/v\_proj$ per prevenire la fuoriuscita di non linearità.

Contributi Chiave

1. Trasformazione Spettrale "Drop-in": Un passo pre-quantizzazione principiato e non appreso (rotazione WHT + scalatura basata sull'energia) che migliora la quantizzazione W2A16 senza richiedere l'apprendimento di rotazioni basato su gradienti.
2. Validazione Empirica: Dimostrata una riduzione del 15–58% della PPL su WikiText-2 su quattro modelli (SmolLM-135M/360M, Qwen2.5-0.5B/1.5B) rispetto ad Auto-Round vanilla. I guadagni più grandi sono stati osservati nei modelli con le baseline vanilla più degradate (ad esempio, Qwen2.5-0.5B ha visto un miglioramento del 57,9%).
3. Generalizzazione Architetturale: Estensione riuscita del metodo ad architetture complesse (Qwen3 con $q\_norm$, modelli pesanti su RoPE) tramite Spectral-PCA e Pair-PCA, risolvendo i precedenti modi di fallimento.
4. Ablazione della Larghezza di Bit: Dimostrato che il rendimento del metodo è coerente con la convessità di Schur: il beneficio scala con il budget del rumore di quantizzazione. Il metodo fornisce guadagni massicci a W2 ma produce miglioramenti trascurabili (soglia di rumore) a W4, confermando che mira al regime ad alto rumore.
5. Robustezza Ingegneristica: Validato che il metodo non introduce operatori di runtime aggiuntivi (tutte le trasformazioni sono incorporate nei pesi) e mantiene una PPL invariante per dispositivo tra Intel NPU, GPU e CPU.

Risultati

• Prestazioni:
  • SmolLM-135M: PPL scesa da 81,03 a 45,11 (−44,3%).
  • Qwen2.5-0.5B: PPL scesa da 119,31 a 50,22 (−57,9%).
  • Qwen2.5-1.5B: PPL scesa da 36,93 a 28,16 (−23,7%).
  • Qwen3-0.6B: Utilizzando Spectral-PCA, la PPL è scesa da 136,76 (vanilla) a 88,99 (miglioramento del 35% rispetto al vanilla).
• Throughput: I pesi incorporati risultano in grafi di transformer densi standard. Il throughput è comparabile alle baseline vanilla (entro ±15%), senza overhead di runtime aggiuntivo.
• Soglia di Rumore: A W4, il miglioramento è stato di +0,06 PPL (statisticamente insignificante), confermando che il metodo è specifico per regimi estremamente a bassi bit.

Affermazioni e Limitazioni (Voce degli Autori)

Gli autori inquadrano esplicitamente questo lavoro come un documento di ingegneria applicata piuttosto che una svolta teorica:

• Nessuna Equivalenza Formale: Non affermano che l'energia di attivazione WHT a valori reali utilizzata qui sia formalmente equivalente all'influenza booleana definita nel documento teorico complementare. La connessione è intuitiva e qualitativa (massa spettrale per coordinata), non un trasferimento formale di teoremi.
• Nessuna Significatività Statistica: I risultati sono su singolo seme. Differenze inferiori a ±0,5 PPL sono trattate come rumore di valutazione.
• Portata della Baseline: I confronti sono effettuati contro Auto-Round vanilla. Il documento non afferma superiorità rispetto ad altre forti baseline a bassi bit come AWQ, GPTQ, SpinQuant o QuaRot; i confronti testa a testa sono rimandati a lavori futuri.
• Portata: Il metodo è un'euristica "drop-in". Non afferma di risolvere tutti i problemi di quantizzazione, notando specificamente che l'argomento sulla "convessità di Schur" è una guida euristica per l'impostazione a valori reali, non un teorema dimostrato per essa.

Il contributo principale è una piccola trasformazione principciata e esattamente matematicamente invariante che produce vittorie empiriche non banali a W2 su diverse famiglie di modelli, offrendo una soluzione pratica per il deployment estremamente a bassi bit dove l'arrotondamento standard fallisce.