Riepilogo Tecnico: ORPQUANT – Proiezione Ortogonale del Residuo Geometrica per la Quantizzazione dei Transformer a Potenza di Due Senza Moltiplicatori

1. Enunciato del Problema

Il dispiegamento di Modelli Linguistici di Grande Dimensione (LLM) e Vision Transformer (ViT) su dispositivi edge è limitato dalla "tassa dei moltiplicatori"—il significativo consumo energetico, la complessità di instradamento e i colli di bottiglia temporali associati alle unità hardware Multiply-Accumulate (MAC). Sebbene la quantizzazione a Potenza di Due (PoT) offra un'alternativa efficiente dal punto di vista hardware sostituendo la moltiplicazione con shift di bit, essa soffre di una limitazione geometrica fondamentale: il Regime di Bassa Risoluzione Angolare.

Nella quantizzazione PoT, il reticolo discreto è non uniforme, governato da una distribuzione $arctan(2^k)$. Questo crea "Lacune Angolari" in cui l'orientamento dei vettori quantizzati devia significativamente dai vettori continui originali, in particolare negli spazi ad alta dimensionalità. A differenza degli errori di magnitudine scalare, che sono prevedibili e correggibili, queste deviazioni angolari compromettono l'integrità semantica dei manifold delle caratteristiche, portando a un grave degrado dell'accuratezza in regimi a bit ultra-bassi (sotto i 4 bit). I metodi esistenti spesso si affidano a ottimizzazioni basate su gradienti computazionalmente costose o alla dequantizzazione in esecuzione alle unità MAC, non riuscendo a eliminare completamente i colli di bottiglia temporali o a risolvere il disallineamento geometrico intrinseco ai reticoli PoT.

2. Metodologia: Proiezione Ortogonale del Residuo (ORP)

Gli autori propongono ORP, un framework di co-progettazione algoritmo-hardware che riformula la quantizzazione come una proiezione geometrica a doppia base. Invece di mappare i vettori su un singolo reticolo PoT 1D, ORP costruisce un sottospazio ortogonale 2D per catturare e correggere gli errori direzionali utilizzando esclusivamente operazioni di shift e addizione.

Framework Principale

La pipeline ORP consiste in tre fasi disaccoppiate:

1. Precondizionamento Allineato al Manifold:
   Per mitigare gli outlier di attivazione, i pesi vengono precondizionati utilizzando un vettore di scalatura lisciato derivato dalle statistiche di calibrazione (ad esempio, RMS per la CV, valore assoluto massimo per gli LLM). Questo allinea lo spazio euclideo dei pesi con il manifold empirico delle caratteristiche, dando priorità ai canali che dominano la stabilità dell'output senza una riponderazione iterativa.

2. Ricerca della Base Discreta Geometrica:

   • Proiezione Primaria ($b_1$): I pesi vengono proiettati su un reticolo PoT asimmetrico (ad esempio, $\{-1, -0.5, \dots, 0, \dots, 1\}$ per 3 bit) per garantire uno stato zero assoluto per lo skip dello zero hardware.
   • Estrazione del Residuo Ortogonale: Il vettore residuo $r_\perp$ viene calcolato tramite ortogonalizzazione di Gram-Schmidt: $r_\perp = w_{proc} - \frac{\langle w_{proc}, b_1 \rangle}{\|b_1\|^2}b_1$.
   • Costruzione della Seconda Base ($b_2$): Per catturare le informazioni direzionali perse, ORP costruisce una seconda base discreta $b_2$ ortogonale a $b_1$. Ciò è ottenuto tramite il Teorema dello Scambio Duale a Passi, che genera un vettore ortogonale applicando permutazioni di indici localizzate e inversioni di segno all'interno di micro-blocchi. Questo processo è deterministico e opera in tempo $O(N)$, evitando la ricerca esaustiva.

3. Ottimizzazione Congiunta delle Scale Guidata dai Dati:
   Una volta fissate le basi discrete ($b_1, b_2$), vengono risolti i coefficienti di scalatura continui ($c_1, c_2$). Il framework offre due modalità:

   • Modalità GEO (Ottimizzazione Geometrica): Una soluzione in forma chiusa che minimizza la distanza euclidea senza dati di calibrazione, adatta al dispiegamento zero-shot.
   • Modalità REF (Raffinamento Consapevole dell'Attivazione): Utilizza la regressione Ridge sugli input di calibrazione per ottimizzare le scale, compensando le correlazioni delle caratteristiche e il rumore spaziale evitando l'instabilità numerica derivante dall'incorporazione del rumore di attivazione discreto nel solver.

Flusso di Dati Hardware

Il flusso di dati finale per l'inferenza trasforma il layer lineare $Y = XW$ in un'operazione senza moltiplicatori:
$$\hat{Y} = (s_x s_{c1}) [(\tilde{X}B_1)\text{diag}(\tilde{c}_1)] + (s_x s_{c2}) [(\tilde{X}B_2)\text{diag}(\tilde{c}_2)]$$
Le moltiplicazioni matriciali core vengono eseguite tramite shift di bit paralleli e addizioni, con i fattori di scala applicati solo nell'ultimo passo di accumulazione.

3. Contributi Chiave

• Formalizzazione Geometrica: Il documento formalizza il "Regime di Bassa Risoluzione Angolare" della quantizzazione PoT estrema e propone ORP come soluzione deterministica in forma chiusa $O(N)$ per estrarre basi discrete ortogonali senza ottimizzazione basata su gradienti.
• Efficienza di Calibrazione: Sostituendo le ricerche iterative stocastiche con un solver analitico, ORP riduce il tempo di calibrazione dell'intero modello per LLaMA-2-7B da ore (ad esempio, AWQ, SpinQuant) a circa 15,1 minuti su una singola workstation.
• Fedeltà Competitiva sotto Vincoli Zero-MAC: ORP raggiunge un'accuratezza affidabile attraverso le modalità senza fare affidamento su scalatura asimmetrica o dequantizzazione in esecuzione. Raggiunge una perplessità di 5,09 su LLaMA-2-13B (W4/A16) e un'accuratezza Top-1 del 79,54% su ViT-Base (W4/A4).
• Validazione Hardware: Tramite sintesi RTL a 28 nm, gli autori dimostrano che la sostituzione degli alberi di moltiplicatori densi con un percorso dati parallelo shift-e-add riduce il ritardo del percorso critico a 0,35 ns, consentendo una frequenza di clock teorica di 2,85 GHz e un'efficienza energetica di 3,33 TOPS/W a 1,8 GHz.

4. Risultati Sperimentali

• Vision Transformer (ImageNet-1K): Sotto i vincoli W3/A4, ORP raggiunge un'accuratezza Top-1 del 78,49% su ViT-B, superando le baseline a 4/4 bit come APQ-ViT (41,41%) e avvicinandosi alle prestazioni a precisione completa (80,32%) con W3/A6.
• Prestazioni LLM (LLaMA-2):
  • W3/A16: ORP raggiunge una perplessità di 6,10 su LLaMA-2-7B, superando AWQ (6,49) e avvicinandosi alla baseline a 4 bit (5,66) senza richiedere scalatura asimmetrica.
  • W4/A16: Raggiunge una perplessità di 5,09 su LLaMA-2-13B.
  • Ragionamento Zero-Shot: La modalità GEO fornisce una baseline robusta per compiti di ragionamento diversificati (ad esempio, 67,72% su WinoGrande a 3 bit), mentre la modalità REF offre ulteriori miglioramenti di precisione.
• Metriche Hardware: L'acceleratore ORP presenta un ritardo del percorso critico di 0,35 ns rispetto a 0,90 ns per le baseline AWQ, permettendo teoricamente un'operazione a 2,85 GHz su silicio a 28 nm.

5. Significato e Affermazioni

Il documento afferma che ORP offre un percorso fattibile verso il dispiegamento agile di grandi modelli fondazionali su dispositivi edge con risorse limitate, allineando i principi geometrici all'efficienza temporale a livello di silicio.

• Efficienza Algoritmica: Il significato principale risiede nel passaggio da una calibrazione iterativa computazionalmente intensiva a un solver analitico deterministico, che consente una rapida adattamento in loco sui dispositivi edge.
• Sinergia Hardware: Il lavoro dimostra che vincoli hardware rigorosi (senza moltiplicatori, shift-e-add) non necessitano di un compromesso nella fedeltà rappresentativa. Affrontando la "Lacuna Angolare" geometrica attraverso residui ortogonali, ORP raggiunge prestazioni competitive con le baseline intensive in MAC.
• Flessibilità di Dispiegamento: Il paradigma a doppio binario (GEO vs REF) offre ai praticanti una scelta flessibile tra ragionamento zero-shot istantaneo e privo di dati e precisione guidata dai dati, mitigando i rischi di bias di calibrazione.

In definitiva, ORP suggerisce che la quantizzazione estrema può essere realizzata efficacemente senza fare affidamento su scalatura asimmetrica, dequantizzazione in esecuzione o alberi di moltiplicatori profondi, offrendo un nuovo paradigma di esecuzione per l'intelligenza edge ad alto throughput.