Riepilogo Tecnico: Inferenza in Sottospazio con Cancello per l'Accelerazione dei Transformer

1. Enunciato del Problema

Il collo di bottiglia principale nell'inferenza dei grandi modelli linguistici (LLM), in particolare a dimensione del batch pari a uno, è la larghezza di banda della memoria piuttosto che la capacità di calcolo. Come formalizzato dal modello roofline, il passaggio in avanti di un transformer è interamente limitato dalla larghezza di banda della memoria, poiché l'intensità aritmetica delle operazioni dei livelli lineari ($y = Wx$) è di circa 1 FLOP/byte. La lettura delle matrici dei pesi dalla memoria ad alta larghezza di banda (HBM) domina la latenza.

Le strategie di accelerazione esistenti presentano limitazioni significative:

• Quantizzazione: riduce la dimensione degli elementi dei pesi ma non riduce il numero di elementi letti.
• Potatura (Pruning): riduce il numero di elementi ma richiede tipicamente il riaddestramento o il fine-tuning.
• Fattorizzazione a Basso Rango Statica (es. LoRA, SVD-LLM): scompone i pesi offline ma non riesce ad adattarsi alla specifica distribuzione degli input al momento dell'inferenza.
• Sparsità delle Attivazioni: i metodi (es. CATS, PowerInfer) sfruttano sottoinsiemi discreti di neuroni o sparsità elemento per elemento, ma non sfruttano la struttura continua a bassa dimensionalità del manifold delle attivazioni.

Il documento ipotizza che i vettori di attivazione a un dato livello giacciano approssimativamente in un sottospazio a bassa dimensionalità ($k \ll d$). Di conseguenza, l'interazione tra pesi e attivazioni ha un rango effettivo basso. Leggere l'intera matrice dei pesi per ogni token è uno spreco perché la distribuzione degli input non visita tutte le direzioni nello spazio delle attivazioni.

2. Metodologia: Inferenza in Sottospazio con Cancello (GSI)

GSI è un metodo di accelerazione senza perdita che sfrutta il basso rango effettivo dell'interazione peso-attivazione senza riaddestramento, modifiche architetturali o approssimazione dell'attenzione. Estende il framework di Inferenza in Sottospazio Skyline (SSI) dai livelli MLP all'intero transformer (inclusi i progetti QKV e di output).

2.1. Decomposizione Core

Per un livello lineare con matrice dei pesi $W \in \mathbb{R}^{d_{out} \times d}$ e attivazione $x \in \mathbb{R}^d$, l'attivazione viene decomposta esattamente in una componente di sottospazio e un residuo:
$$x = V_k V_k^\top x + r$$
dove $V_k \in \mathbb{R}^{d \times k}$ è una base ortonormale di rango-$k$ che rappresenta il sottospazio di attivazione, e $r$ è il residuo. L'output $y = Wx$ è calcolato come:
$$y = (W V_k)(V_k^\top x) + Wr = Mg + Wr$$
Qui, $M = W V_k$ è un'immagine dei pesi a basso rango precalcolata e memorizzata nella cache, e $g = V_k^\top x$ è la proiezione dell'attivazione sul sottospazio.

2.2. Il Passaggio del Residuo con Cancello

L'innovazione critica è un cancello per token che determina se calcolare la correzione del residuo $Wr$.

• Percorso Veloce: Se il rapporto del residuo $\rho_t = \|r\| / \|x\|$ è inferiore a una soglia $\epsilon$, l'output è approssimato come $y \approx Mg$. Ciò richiede la lettura di solo $k$ colonne della matrice dei pesi (o dell'immagine memorizzata $M$) invece delle $d$ colonne complete.
• Percorso Lento: Se $\rho_t \ge \epsilon$, viene eseguita l'intera computazione $y = Wx$ per garantire l'esattezza.

Questo cancello garantisce che la distribuzione dell'output sia preservata entro una tolleranza controllabile. L'analisi teorica (Teorema 4) limita l'errore per token nel percorso veloce a $\|W\|_2 \cdot \epsilon \cdot \|x\|$. È cruciale notare che il documento dimostra che scartare completamente il residuo (proiezione statica) porta a un degrado catastrofico dell'output, mentre il passaggio con cancello mantiene una qualità senza perdita.

2.3. Cascata di Profondità e Calibrazione

Il metodo sfrutta la "coerenza di profondità", osservando che i sottospazi di attivazione a livelli consecutivi sono altamente correlati (media della similarità coseno > 0,90 nei livelli più profondi).

• Inizializzazione a Cascata: La base $V_k$ per il livello $l+1$ è inizializzata dalla base del livello $l$, richiedendo solo lievi correzioni di rango-1 (aggiornamenti DGKS) invece di una completa Scomposizione ai Valori Singoli (SVD) per ogni livello.
• Calibrazione: La base è calcolata una sola volta tramite un singolo passaggio in avanti su una sequenza di calibrazione rappresentativa. Per un modello da 6B, ciò richiede circa 30 secondi.
• Sovraccarico di Archiviazione: Le immagini memorizzate $M$ e le basi $V_k$ aggiungono meno del 4% all'impronta di memoria del modello (circa 469 MB per un modello da 13 GB).

3. Contributi Chiave

1. Inferenza in Sottospazio con Cancello (GSI): Un metodo che accelera tutte le mappe lineari in un transformer (proiezioni QKV, output e MLP) proiettando le attivazioni su un sottospazio a basso rango appreso e saltando condizionalmente le correzioni dei residui.
2. Qualità Senza Perdita tramite Cancello: Il documento stabilisce che il passaggio del residuo con cancello è essenziale. Senza di esso, la proiezione statica causa il collasso della generazione. Con esso, il metodo ottiene un output identico carattere per carattere rispetto alla baseline in specifici punti operativi.
3. Cascata di Profondità: Un meccanismo che sfrutta la coerenza del sottospazio attraverso i livelli per ridurre i costi di calibrazione del 96%, rivelando che la rete opera su un manifold a bassa dimensionalità coerente che si propaga attraverso la profondità.
4. Accelerazione Ortogonale: GSI opera sulla dimensione nascosta (asse $d$), complementando i metodi esistenti di accelerazione dell'attenzione come ADA (che operano sulla dimensione del token, asse $T$). Insieme, coprono l'intero passaggio in avanti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su GPU AMD MI300X utilizzando i modelli GPT-2 (124M), GPT-J (6B) e OPT (6.7B).

• Accelerazione: Il metodo ottiene accelerazioni efficaci da 3,0× a 10,5× nelle letture dei pesi dei livelli lineari.
  • GPT-J 6B al punto operativo $k=256, \epsilon=0,10$: 15,6× di accelerazione nelle letture dei pesi con il 99,8% dei token che prendono il percorso veloce.
  • OPT 6.7B a $k=256, \epsilon=0,10$: 10,5× di accelerazione.
  • GPT-2 124M a $k=256, \epsilon=0,10$: 3,0× di accelerazione.
• Preservazione della Qualità:
  • Perplessità: I rapporti sono costantemente inferiori a 1,00 (ad esempio 0,991 per GPT-J), indicando che il modello accelerato è statisticamente indistinguibile o leggermente migliore della baseline.
  • Accordo sui Token: L'accordo sui token Top-1 supera il 98% in tutte le configurazioni.
  • Fedeltà della Generazione: Al punto operativo target ($k=256, \epsilon=0,05$ o $0,10$), GPT-J e GPT-2 producono un output identico al 100% carattere per carattere rispetto alla baseline su 50 token greedy.
• Conteggio Parametri Effettivo: Il costo dell'inferenza è proporzionale al "conteggio parametri effettivo" (i parametri corrispondenti alle direzioni visitate nello spazio delle attivazioni). Per GPT-J 6B, il conteggio effettivo scende da 6B a ~375M (una riduzione di 16×) al punto operativo ottimale.
• Controllo Negativo: La proiezione statica (senza residuo) a $k=128$ ha aumentato la perplessità del 52% e causato il collasso della generazione, validando la necessità del cancello.

5. Significato e Affermazioni

Il documento afferma che GSI fornisce un'accelerazione senza perdita per l'inferenza dei transformer che sposta fondamentalmente il modello dei costi dal conteggio totale dei parametri al conteggio parametri effettivo.

• Nessun Riaddestramento: Il metodo funziona su modelli pre-addestrati senza alcun fine-tuning o modifiche architetturali.
• Nessuna Approssimazione dell'Attenzione: Non altera il meccanismo di attenzione, rendendolo compatibile con altre tecniche di accelerazione come FlashAttention o ADA.
• Insight Strutturale: I risultati confermano che il basso rango effettivo dell'interazione peso-attivazione è una proprietà strutturale dei transformer addestrati, valida attraverso diverse architetture e dimensioni dei modelli.
• Impatto Pratico: Riducendo il requisito di larghezza di banda della memoria per i livelli lineari di un fattore $d/k$ (ad esempio 16×), GSI affronta il collo di bottiglia principale nell'inferenza a dimensione del batch uno, abilitando tempi di decodifica significativamente più rapidi (ad esempio, riducendo un passaggio in avanti da 1,3 ms a 0,22 ms se combinato con l'accelerazione dell'attenzione).

Gli autori concludono che il passaggio del residuo con cancello è il fattore distintivo che consente alti rapporti di compressione senza sacrificare la correttezza matematica dell'output, rendendolo un percorso vitale per l'accelerazione dell'inferenza senza perdita.