Riepilogo Tecnico: EVA - Accelerazione della Decodifica LLM tramite un'Architettura di Quantizzazione Vettoriale Efficiente

1. Enunciato del Problema

I Large Language Models (LLM) soffrono di significative inefficienze nell'inferenza durante la fase di decodifica autoregressiva. A differenza della fase di prefill, che utilizza operazioni di Moltiplicazione Matrice-Matrice Generalizzata (GEMM) vincolate dal calcolo, la decodifica genera token in sequenza, risultando in una serie di operazioni di Moltiplicazione Matrice-Vettore Generalizzata (GEMV) su piccola scala. Questo cambiamento porta a due principali colli di bottiglia sugli acceleratori hardware moderni:

1. Inefficienza Computazionale: Le operazioni GEMV sottoutilizzano gli elementi di elaborazione (PE) negli acceleratori ottimizzati per carichi di lavoro GEMM di grandi dimensioni, lasciando la maggior parte delle unità inattive.
2. Inefficienza Memoria: Sebbene la Quantizzazione Vettoriale (VQ) solo sui pesi comprima efficacemente i pesi del modello (fino a 2 bit) per ridurre la larghezza di banda della memoria, il processo di decodifica standard richiede ricerche nel codice. Queste ricerche coinvolgono pattern di accesso alla memoria irregolari e non coalescenti che causano frequenti conflitti di banco memoria, serializzazione e ridotta efficienza della cache. Di conseguenza, le implementazioni VQ convenzionali spesso non riescono a superare, e possono persino essere più lente, dell'inferenza standard FP16.

2. Metodologia: L'Architettura EVA

Il documento propone EVA, un'architettura co-progettata hardware-software che ristruttura il processo di decodifica VQ per eliminare sia i colli di bottiglia computazionali che quelli di memoria. L'idea centrale è trasformare il flusso di lavoro di decodifica da un GEMV vincolato dalla memoria con ricerche soggette a conflitti in un GEMM efficiente dal punto di vista computazionale e privo di conflitti.

A. Riformulazione Algoritmica: Da GEMV a GEMM

EVA introduce una riformulazione in due passaggi del calcolo di decodifica:

1. Prodotti Scalari Input-Codebook (GEMV $\to$ GEMM): Invece di ricostruire l'intera matrice dei pesi dagli indici e poi eseguire GEMV, EVA calcola direttamente i prodotti scalari tra i vettori di attivazione di input e il Codebook dei Pesi (WC).
   • L'input viene ridimensionato in vettori di dimensione $d$.
   • Questi vettori vengono moltiplicati per il WC (contenente $2^n$ centroidi) per generare un Codebook di Output (OC) intermedio.
   • Questo trasforma l'operazione da $M=1$ GEMV a un GEMM compatto ($O = X \times B$), aumentando significativamente l'intensità aritmetica e il parallelismo.
2. Ricerca Senza Conflitti: L'output finale viene ottenuto ricercando valori nell'OC utilizzando la matrice degli Indici dei Pesi (WI).
   • A differenza della VQ standard dove le ricerche nel WC causano conflitti di banco, l'OC è strutturato in modo che righe diverse (derivate da diversi vettori di input) mappino su banchi di memoria diversi.
   • Questo garantisce che accessi agli indici simultanei (ad esempio, indici 5 e 3) mappino su banchi distinti, eliminando completamente i conflitti di memoria.

B. Architettura Hardware

EVA implementa questa riformulazione su un acceleratore specializzato:

• Unità GEMM a Precisione Mista Ricontfigurabile: Il nucleo utilizza un array sistolico che supporta sia INT8 (per la fase di prefill) che FP16 (per la decodifica VQ). Lo ottiene riconfigurando un array INT8 $32 \times 32$ in un array FP16 $32 \times 8$, decomponendo le moltiplicazioni FP16 in quattro operazioni INT8. Ciò consente un passaggio senza soluzione di continuità tra le modalità di prefill e decodifica senza duplicare l'hardware.
• Unità Epilogo (EU): Un'unità dedicata e leggera gestisce le operazioni post-GEMM. Esegue ricerche senza conflitti sull'OC e accumula i risultati utilizzando alberi di addizionatori. L'EU è progettata per essere scalabile e opera in parallelo con la pipeline GEMM per nascondere la latenza.
• Strategia di Tiling: L'architettura adotta un approccio a pesi stazionari in cui il Codebook dei Pesi e il Codebook di Output rimangono on-chip, mentre i tensori di input e indice vengono trasmessi in tile. Questo minimizza il traffico di memoria off-chip.

3. Contributi Chiave

1. Formulazione GEMM Guidata dal Codebook: Il documento propone una riformulazione matematica innovativa che sostituisce la decodifica dei pesi con prodotti scalari diretti input-codebook. Questo sposta il paradigma di decodifica da GEMV vincolato dalla memoria a GEMM efficiente dal punto di vista computazionale.
2. Ricerca nel Codebook di Output Senza Conflitti: Viene sviluppato un meccanismo che riorganizza l'accesso alla memoria per eliminare i conflitti di banco, una limitazione primaria dei metodi di quantizzazione basati su ricerca esistenti.
3. Architettura Co-Ottimizzata Hardware-Software: EVA è progettata specificamente per la decodifica LLM mantenendo la compatibilità con l'esecuzione convenzionale di prefill. Presenta un array sistolico riconfigurabile e un'unità epilogo specializzata per massimizzare l'utilizzo attraverso diverse precisioni di quantizzazione.

4. Risultati Sperimentali

Gli autori hanno valutato EVA utilizzando i modelli LLaMA-1, LLaMA-2, LLaMA-3, Mixtral-8x7B e Qwen3-30B-A3B rispetto a baseline all'avanguardia (Array Sistolico, ANT, FIGNA e FIGLUT) su un processo TSMC 28nm a 500MHz.

• Accelerazione: EVA raggiunge fino a 11,17× di accelerazione nella latenza di decodifica rispetto all'architettura basata su ricerca SOTA (FIGLUT).
• Efficienza Energetica: EVA dimostra un'efficienza energetica 7,17× superiore rispetto a FIGLUT.
• Accuratezza: EVA preserva la precisione aritmetica dopo la quantizzazione vettoriale. A una precisione di 2 bit, EVA (utilizzando AQLM) mantiene un'accuratezza competitiva, superando le baseline non analitiche come GPTQ con margini significativi (ad esempio, ~19 punti percentuali in media su benchmark downstream per 2 bit).
• Prestazioni End-to-End: Su dataset pesanti per la decodifica (ad esempio, Dolly), EVA raggiunge un'accelerazione end-to-end media da 8,20× a 24,49× rispetto alle baseline.

5. Significato e Affermazioni

Il documento afferma che EVA rappresenta un cambiamento fondamentale nel modo in cui l'inferenza LLM quantizzata vettorialmente viene eseguita sull'hardware. Affrontando le cause profonde dell'inefficienza, in particolare il sottoutilizzo GEMV e i conflitti di banco memoria intrinseci alla quantizzazione basata su ricerca, EVA consente il dispiegamento pratico di modelli altamente compressi (2 bit) senza sacrificare la velocità di inferenza.

Gli autori sottolineano che il loro approccio è agnostico rispetto all'algoritmo riguardo al metodo di quantizzazione specifico (ad esempio, AQLM, GPTVQ) ma si basa sulle proprietà strutturali della quantizzazione vettoriale. Affermano che EVA è il primo acceleratore a livello di architettura progettato specificamente per risolvere i colli di bottiglia del sistema di memoria dell'inferenza LLM quantizzata vettorialmente, offrendo una soluzione scalabile che colma il divario tra compressione aggressiva del modello ed esecuzione hardware ad alte prestazioni.