Riassunto Tecnico: RaZeR – Spingere i Limiti della Quantizzazione NVFP4 con la Riprogrammazione del Zero Ridondante

1. Definizione del Problema

I Large Language Models (LLM) affrontano sfide significative durante l'implementazione a causa delle sostanziali richieste di larghezza di banda della memoria e di calcolo. Sebbene la quantizzazione sia una soluzione primaria per l'inferenza efficiente, il formato NVFP4 (supportato dalle GPU NVIDIA Blackwell) introduce un limite specifico: l'insieme ristretto di valori rappresentabili nel formato dell'elemento FP4 a 4 bit.

Gli autori identificano due fonti specifiche di ridondanza nell'attuale codifica NVFP4 che sono sottoutilizzate:

1. Zero FP4 Ridondanti: Il formato dell'elemento FP4 (FP4-E2M1) utilizza una rappresentazione sign-magnitude, risultando in zeri sia positivi che negativi. Uno di questi zeri è ridondante per la rappresentazione dei valori numerici.
2. Bit del Segno del Block Scaling Ridondante: Il fattore di scala del blocco (block scaling factor) in NVFP4 è un valore FP8-E4M3. Tuttavia, poiché i fattori di scala sono derivati dai massimi assoluti di tensori positivi, sono sempre positivi. Di conseguenza, il bit del segno del fattore di scala FP8 è inutilizzato, sprecando di fatto 1 bit di precisione per blocco (o 2 bit per i pesi dove un formato di scala più compatto è praticabile).

Queste ridondanze limitano l'accuratezza della quantizzazione a 4 bit, particolarmente nei casi di weight-only e weight-activation, poiché l'insieme FP4 standard $\{ \pm 0, \pm 0.5, \pm 1, \pm 1.5, \pm 2, \pm 3, \pm 4, \pm 6 \}$ non può coprire in modo ottimale la distribuzione dei pesi e delle attivazioni degli LLM.

2. Metodologia: Riprogrammazione del Zero Ridondante (RaZeR)

Il documento propone RaZeR, un formato numerico potenziato che riutilizza queste ridondanze per aumentare l'accuratezza della quantizzazione senza aumentare l'impronta di memoria.

2.1. Sfruttamento della Ridondanza del Fattore di Scala

Gli autori analizzano innanzitutto i requisiti di ampiezza di bit per i fattori di scala del blocco. Attraverso una valutazione empirica sui modelli Llama e Qwen, scoprono che i pesi degli LLM sono tolleranti a fattori di scala a precisione ridotta.

• Pesi (Weights): Il block scale può essere ridotto dal formato E4M3 standard (8 bit) a E3M3 (6 bit) senza perdita di accuratezza, liberando 2 bit per blocco.
• Attivazioni (Activations): Le attivazioni hanno un intervallo dinamico più ampio e sono meno tolleranti; pertanto, gli autori mantengono il formato E4M3 (7 bit effettivi, 1 bit del segno ridondante), liberando 1 bit per blocco.

2.2. Riprogrammazione del Zero Ridondante

RaZeR utilizza i bit liberati dal fattore di scala per codificare metadati che selezionano un "Valore Speciale" per sostituire lo zero ridondante nella rappresentazione dell'elemento FP4.

• Selezione del Valore Speciale: Invece di rappresentare uno zero, l'encoding FP4 ridondante viene riprogrammato su un valore specifico non nullo (ad esempio, $\pm 5$).
• Ottimizzazione: Per ogni blocco, l'algoritmo seleziona il valore speciale ottimale da un insieme predefinito per minimizzare l'errore quadratico medio di quantizzazione.
  • Pesi: Con 2 bit liberi, RaZeR può selezionare tra 4 valori speciali (2 coppie). Questi sono pre-calcolati offline.
  • Attivazioni: Con 1 bit libero, RaZeR seleziona tra 2 valori speciali (1 coppia). Ciò richiede un passaggio di quantizzazione online leggero (doppia quantizzazione) per confrontare gli errori, aggiungendo meno del 2% di overhead al tempo di quantizzazione.
• Vincoli di Valore: Per mantenere l'efficienza hardware, i valori speciali sono limitati a multipl로 di 0,5 (coerentemente con la granularità FP4). L'analisi empirica mostra che la coppia di valori $\pm 5$ è quella ottimale, poiché colma il divario tra i valori più grandi rappresentabili da FP4 ($\pm 4$ e $\pm 6$).

2.3. Implementazione

• Kernel GPU: Gli autori hanno implementato kernel GEMM ad alte prestazioni per weight-only e weight-activation su GPU NVIDIA Blackwell. Utilizzano un metodo a due passaggi per le attivazioni per gestire la logica di riprogrammazione all'interno dei tensor core esistenti e impiegano strategie di auto-tuning per ottimizzare la partizione dei thread block per piccoli batch size.
• Design Hardware: È proposto un modulo tensor core NVFP4 modificato per supportare nativamente RaZeR. Questo design include decoder per pesi e attivazioni che utilizzano registri di offset per ricostruire i valori speciali dai bit di metadati prima di eseguire le operazioni di Multiply-Accumulate (MAC).

3. Contributi Chiave

1. Formato RaZeR: Un formato NVFP4 potenziato che riutilizza i bit dello zero ridondante e i bit del segno del fattore di scala per introdurre valori speciali adattivi, migliorando l'accuratezza della quantizzazione alla stessa impronta di memoria.
2. Kernel GPU Efficienti: Implementazione di kernel di inferenza weight-only e weight-activation su GPU Blackwell che raggiungono prestazioni comparabili o superiori ai precedenti kernel a 4 bit (es. Marlin, AWQ).
3. Architettura Hardware: Un design per un tensor core modificato che aggiunge il supporto nativo per RaZeR con un overhead minimo di silicio.
4. Valutazione Esaustiva: Benchmark estesi che dimostrano la superiorità di RaZeR rispetto ai metodi a 4 bit esistenti in termini di dimensioni del modello (Llama, Qwen) e impostazioni di quantizzazione.

4. Risultati Sperimentali

Il documento valuta RaZeR rispetto allo stato dell'arte, inclusi NVFP4, FourOverSix, MR-GPTQ e NF4.

• Riduzione della Perplessità:
  • Rispetto al nativo NVFP4, RaZeR riduce la perdita media di perplessità del 34,6% (weight-only) e del 31,2% (weight-activation).
  • Rispetto allo stato dell'arte FourOverSix, RaZeR riduce la perdita media di perplessità del 29,2% (weight-only) e del 23,3% (weight-activation).
• Accuratezza Zero-Shot: RaZeR migliora l'accuratezza media nei task zero-shot dello 0,63% rispetto al formato base NVFP4 su tutti i modelli testati.
• Task di Ragionamento: Sui task GSM8K e MMLU, RaZeR mostra guadagni significativi, superando gli algoritmi basati su NVFP4 più recenti (MR-GPTC, FourOverSix) con margini fino al 4,47% nelle impostazioni weight-activation.
• Efficienza Hardware:
  • Area/Potenza: I risultati di sintesi su tecnologia TSMC 28nm mostrano che il tensor core RaZeR comporta solo un overhead del 3,7% di area e del 13,5% di potenza rispetto al core NVFP4 di base. Dato che le unità MAC sono una piccola frazione del design totale dell'acceleratore, l'overhead totale del chip è stimato allo 0,37% di area e all'1,35% di potenza.
  • Throughput: Sulle GPU Blackwell, i kernel RaZeR raggiungono velocità di decoding single-batch tra le migliori nella loro classe e superano sostanzialmente altri kernel weight-only a batch size moderate o grandi.

5. Significato e Rivendicazioni

Il documento afferma che RaZeR rappresenta un passo avanti significativo nella quantizzazione degli LLM a bassa precisione, dimostrando che l'innovazione algoritmica può essere ottenuta sfruttando le ridondanze strutturali nei formati esistenti supportati dall'hardware, piuttosto che richiedendo nuovi e complessi tipi di dati.

Le rivendicazioni chiave includono:

• RaZeR spinge i limiti di NVFP4, ottenendo un'accuratezza superiore rispetto agli attuali metodi a 4 bit senza aumentare l'uso della memoria.
• L'approccio è pratico per l'implementazione immediata sull'hardware attuale (tramite kernel software) e sul futuro hardware (tramite la proposta modifica del tensor core).
• Il minimo overhead hardware (area del chip inferiore all'1%) rende l'adozione di RaZeR altamente fattibile per i prossimi acceleratori.
• Riducendo il costo operativo e il consumo energetico dell'implementazione degli LLM attraverso una quantizzazione più efficiente, il lavoro contribuisce a rendere i sistemi AI più accessibili.

Gli autori sottolineano che il loro lavoro si concentra sul perfezionamento dello standard NVFP4 per adattarlo meglio alle distribuzioni dei tensori degli LLM, offrendo una via verso una quantizzazione a 4 bit "quasi lossless" che era precedentemente irraggiungibile con i formati standard FP4 o interi.