Riepilogo Tecnico: OASIS

Problema

I Large Language Models (LLM) richiedono risorse di memoria e computazionali sostanziali durante l'inferenza. Sebbene la quantizzazione sia un metodo primario per la compressione, gli approcci esistenti affrontano un compromesso tra efficienza e accuratezza:

• Quantizzazione Solo-Pesi (Weight-Only Quantization - WOQ): Riduce la memoria ma richiede una costosa dequantizzazione dei pesi in FP16 prima dell'esecuzione, consumando spesso il 20-90% del tempo di esecuzione totale.
• Quantizzazione Intera di Pesi e Attivazioni (Integer Weight-and-Activation Quantization - INT-WAQ): Abilita il calcolo a bassa precisione completo, ma soffre di un significativo degrado dell'accuratezza dovuto alle limitate capacità di rappresentazione.
• Quantizzazione Non Uniforme di Pesi e Attivazioni (Non-Uniform Weight-and-Activation Quantization - NU-WAQ): Utilizza codebook appresi per adattarsi meglio alle distribuzioni dei dati, migliorando l'accuratezza. Tuttavia, il suo formato codificato tramite indici è incompatibile con l'hardware standard a bassa precisione, rendendo necessaria la dequantizzazione in FP16 e annullando i benefici computazionali.

Inoltre, gli outlier nelle attivazioni degli LLM sono più numerosi e di magnitudo maggiore rispetto agli outlier dei pesi, causando un elevato rumore di quantizzazione. L'identificazione dinamica di questi outlier durante l'inferenza introduce tipicamente un overhead di latenza posizionando il rilevamento sul percorso critico dell'operazione di General Matrix Multiplication (GEMM).

Metodologia

Il paper propone OASIS (Outlier-Aware LUT-Based GEMM with Dual-Side Quantization), un framework di co-design algoritmo-architettura che consente un'efficiente GEMM tra pesi e attivazioni quantizzati in modo non uniforme senza dequantizzazione.

1. WAQ LUT-Based GEMM

OASIS sfrutta tre opportunità specifiche nella NU-WAQ (Non-Uniform WAQ) per ottimizzare il calcolo basato su Lookup Table (LUT):

• Pre-computazione Offline: A differenza dei metodi WOQ dove le LUT dipendono dalle attivazioni in streaming, la NU-WAK utilizza centroidi appresi offline sia per i pesi che per le attivazioni. Ciò consente che l'intera LUT venga pre-computata e memorizzata on-chip prima dell'inferenza.
• LUT di Prodotto Cartesiano: Inveve di memorizzare interi prodotti interni (che richiedono LUT di grandi dimensioni dipendenti dalla lunghezza della riduzione), OASIS memorizza il Prodotto Cartesiano dei centroidi di peso e attivazione. Questo riduce drasticamente la dimensione della LUT.
• Alto Parallelismo: La LUT del Prodotto Cartesiano è indipendente dalla lunghezza della riduzione (numero di canali di input), consentendo GEMM a grande granularità e un parallelismo computazionale significativamente più elevato rispetto ai metodi LUT basati su gruppi esistenti.

2. Quantizzazione Outlier-Aware con Look-Ahead

Per gestire gli outlier delle attivazioni senza penalità di runtime, OASIS introduce uno schema di calcolo a doppio ramo:

• Ramo Principale (Look-Ahead): Esegue la WAQ LUT-GEMM sull'intero vettore di attivazione, trattando gli outlier come se fossero quantizzati normalmente. Questo ramo ignora inizialmente l'errore di quantizzazione degli outlier.
• Ramo Outlier (Compensazione dell'Errore): Identifica concorrentemente gli outlier e calcola i loro errori di quantizzazione (residui). Questi residui vengono moltiplicati per i pesi dequantizzati e accumulati per compensare gli errori introdotti nel ramo principale.
• Risultato: L'output finale è la somma dei risultati del look-ahead e della compensazione dell'errore, matematicamente equivalente al rilevamento dinamico degli outlier convenzionale, ma con il processo di rilevamento rimosso dal percorso critico.

3. Architettura Hardware

L'acceleratore OASIS include:

• Orizuru: Un motore di rilevamento top-k leggero, basato su alberi, che identifica in tempo reale i valori di attivazione più grandi e più piccoli. Utilizza alberi binari a due livelli con nodi foglia condivisi per minimizzare confronti e latenza.
• Elementi di Elaborazione (PE): Utilizzano "Unità di Concatenaizone" per fondere gli indici di peso e attivazione, alimentando gli Indici Contatori per determinare la frequenza di ogni coppia di indici univoca.
• Riduzione: Un albero MAC esegue somme pesate utilizzando i conteggi degli indici e i valori del Prodotto Cartesiano pre-memorizzati dalla LUT.

Contributi Chiave

1. WAQ LUT-GEMM: Un metodo innovativo che consente una GEMM efficiente tra pesi e attivazioni quantizzati in modo non uniforme senza dequantizzazione, utilizzando LUT di Prodotto Cartesiano pre-computate per ridurre la dimensione della LUT di 64× e aumentare il parallelismo di 1024× rispetto ai metodi WOQ LUT esistenti.
2. Schema Outlier-Aware: Un meccanismo concorrente di calcolo look-ahead e compensazione dell'errore che gestisce gli outlier delle attivazioni senza incorrere in ulteriori overhead di runtime.
3. Acceleratore OASIS: Un design di architettura che supporta efficientemente lo schema WAQ LUT-GEMM proposto.
4. Motore Orizuru: Un motore di rilevamento top-k leggero per l'identificazione in tempo reale degli outlier di attivazione nei flussi di dati.

Risultati Sperimentali

Gli autori hanno valutato OASIS su vari LLM (OPT, LLaMA, Mistral) e task (perplessità, accuratezza zero-shot) su una GPU NVIDIA A100 per i benchmark algoritmici e su un simulatore accurato in termini di cicli per le metriche hardware.

• Performance Algoritmica:

  • Rispetto alla baseline FP16, OASIS incorre in una perdita media di accuratezza di solo 1,94% (misurata tramite perplessità), che è 6,34% inferiore rispetto alla baseline Atom.
  • In precisione W4A4, OASIS migliora l'accuratezza del 6,44% rispetto ad Atom e del 6,92% rispetto a QuaRot.
  • Il rilevamento dinamico degli outlier (OASIS) supera la soglia statica (OASIS-S), riducendo la perplessità di 0,05 (W4A4) e 0,27 (W4A3).

• Performance Hardware:

  • Rispetto all'acceleratore ASIC FIGLUT, OASIS ottiene un'accelerazione media di 3,00× e un miglioramento dell'efficienza energetica di 1,44×.
  • Rispetto alla GPU A100 e a QuaRot, OASIS raggiunge velocità di throughput di 5,41× e 3,12× rispettivamente.
  • OASIS riduce le dimensioni delle LUT di 62,1× fino a 994,2× e le FLOP di riduzione da 248,6× a 497,1× rispetto ai design LUT-GEMM esistenti (FIGLUT, LUT Tensor Core, LUT-GEMM).

Significato

Il paper sostiene che OASIS colmi il divario tra efficienza algoritmica e implementazione hardware per la quantizzazione non uniforme di pesi e attivazioni. Eliminando la necessità di dequantizzazione e abilitando un massiccio parallelismo attraverso le LUT di Prodotto Cartesiano, OASIS ottiene un'elevata accuratezza del modello con sostanziali guadagni in termini di throughput ed efficienza energetica. Il lavoro dimostra che la NU-WAQ, precedentemente ostacolata dall'incompatibilità hardware, può essere eseguita efficientemente su acceleratori personalizzati mantenendo una qualità del modello comparabile alle baseline FP16.