Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

Questo lavoro valuta i formati HiFloat (HiF8 e HiF4) ottimizzati per gli NPU Ascend, dimostrando che la loro scalabilità gerarchica e la compatibilità con le tecniche di quantizzazione esistenti offrono una soluzione efficiente per l'inferenza di LLM, superando i limiti delle rappresentazioni intere a 4 bit.

L'essenziale

Immagina che le Intelligenze Artificiali (come i grandi modelli linguistici che scrivono testi o rispondono a domande) siano come enormi biblioteche digitali. Per funzionare, queste biblioteche devono leggere milioni di libri (i dati) e ricordare tutto ciò che hanno letto.

Il problema è che queste "biblioteche" sono diventate così grandi e pesanti che i computer faticano a gestirle: consumano troppa energia e sono lenti. Per risolvere questo, gli ingegneri usano una tecnica chiamata quantizzazione: è come prendere un libro scritto in caratteri giganti e ridurlo a caratteri minuscoli per risparmiare spazio, senza però perdere il senso della storia.

Fino a poco tempo fa, si usava una "scala" molto rigida (i numeri interi, come 1, 2, 3) per comprimere questi dati. Funzionava bene, ma quando si cercava di ridurre i caratteri ancora di più (da 8 a 4 "pixel" di dimensione), la storia diventava illeggibile: i dettagli importanti sparivano.

Ecco dove entra in gioco questo studio di Huawei sui processori Ascend. Hanno scoperto un nuovo modo di scrivere questi "libri digitali" usando un formato chiamato HiFloat (HiF8 e HiF4).

Ecco come funziona, spiegato con delle metafore semplici:

1. Il problema della "Scala Rigida" (I vecchi metodi)

Immagina di dover misurare le altezze di persone in una stanza.

• Il metodo vecchio (INT8/INT4): Usi un righello con tacche fisse e uguali (1 cm, 2 cm, 3 cm...). Se hai una persona alta 173 cm, la misuri bene. Ma se hai un bambino di 50 cm e un gigante di 3 metri, il tuo righello è troppo "grezzo": o perdi i dettagli del bambino o non riesci a misurare il gigante senza sbagliare tutto.
• Il problema: Quando i dati sono molto variabili (come le emozioni in una conversazione o le parole strane in una frase), questo righello rigido fa crollare la qualità.

2. La soluzione "HiFloat": Il Righello Intelligente

Gli autori di questo studio hanno creato un righello magico che si adatta da solo.

• HiF8 (8 bit): È come un righello che ha una scala dinamica. Se misuri un oggetto piccolo, usa tacche molto vicine tra loro per essere precisissimo. Se misuri un oggetto enorme, allarga le tacche per coprire la distanza senza perdere il righello.

  • L'analogia: È come un elastico che si allunga o si restringe per adattarsi all'oggetto che stai misurando.
  • Risultato: Funziona benissimo per i dati "vivi" e variabili (come le risposte che l'AI sta generando in tempo reale), ma per i dati statici (come i libri già scritti nella biblioteca) un righello rigido classico è ancora meglio.

• HiF4 (4 bit): Qui la sfida è enorme. Abbiamo solo 4 "pixel" di spazio. Usare un righello rigido qui è come cercare di disegnare un quadro complesso con solo 16 colori: il risultato è una macchia informe.

  • La magia di HiF4: Invece di un solo righello, usa una scala a tre livelli (come una mappa geografica).
    1. Guarda l'intera regione (il blocco grande).
    2. Guarda il quartiere (il sottoblocco).
    3. Guarda la singola casa (il micro-blocco).
  • L'analogia: Immagina di dover descrivere una folla. Invece di dire "tutti sono alti 170cm" (errore), HiF4 dice: "In generale la folla è alta, ma in questo gruppo c'è un bambino, in quell'altro un giocatore di basket". Questo permette di salvare i dettagli importanti (i "bambini" e i "giganti") anche con pochissimo spazio.

3. Cosa hanno scoperto?

Hanno testato questo nuovo formato su due modelli AI famosi (Qwen e openPangu) e hanno visto che:

1. Per i dati statici (i pesi del modello): A volte il vecchio metodo rigido (INT8) è ancora il migliore, perché i dati sono ordinati e non hanno sorprese.
2. Per i dati dinamici (le risposte in tempo reale): HiFloat vince perché si adatta alle "sorprese" (i dati strani o estremi) senza rompersi.
3. Il vero trionfo (4 bit): Quando hanno provato a comprimere tutto al minimo (4 bit), i vecchi metodi hanno fallito miseramente (l'AI diventava stupida). HiF4, invece, ha mantenuto l'AI quasi intelligente come prima, grazie alla sua struttura a "scala a tre livelli" che protegge i dettagli importanti.

In sintesi

Questo studio ci dice che per far correre le Intelligenze Artificiali veloci ed efficienti sui computer cinesi (Ascend), non serve solo schiacciarle di più (ridurre i bit). Serve cambiare come le misuriamo.

HiFloat è come passare da un righello di legno rigido a un elastico intelligente che sa quando stringersi e quando allungarsi. Questo permette di avere AI potenti che consumano meno energia e funzionano anche su dispositivi più piccoli, senza perdere la loro "intelligenza".

Sommario tecnico

1. Il Problema

Con la crescita esponenziale dei Modelli Linguistici su Grande Scala (LLM), le sfide principali riguardano il throughput computazionale e la larghezza di banda della memoria. La quantizzazione è emersa come paradigma critico per alleviare questi colli di bottiglia riducendo l'overhead di memoria.
Tuttavia, la letteratura attuale si è concentrata prevalentemente su metodi basati su interi (es. INT8, INT4) per la quantizzazione di pesi, attivazioni e cache KV. Sebbene efficaci in molti scenari, i formati interi soffrono di limitazioni fondamentali quando si scende a bit-width estremamente bassi (4-bit) o quando si gestiscono distribuzioni ad alta varianza con outlier significativi (tipici delle attivazioni degli LLM). In questi casi, la spaziatura uniforme degli interi porta a un collasso dell'accuratezza. Inoltre, l'efficienza delle nuove piattaforme hardware, come le NPU Ascend di Huawei, richiede formati di precisione ottimizzati nativamente.

2. Metodologia

Il paper valuta la famiglia di formati HiFloat (HiF8 e HiF4), progettati specificamente per le NPU Ascend, confrontandoli con standard industriali come MXFP (Microscaling) e NVFP4.

• HiF8 (8-bit): Estende lo standard IEEE 754 introducendo un codice prefisso dinamico. Questo permette un'allocazione adattiva dei bit tra esponente e mantissa in base alla distribuzione numerica. Utilizza un campo "dot" per distinguere tra numeri normali e subnormali, ottimizzando la precisione per diversi carichi di lavoro.
• HiF4 (4-bit): Adotta una struttura di scaling gerarchico a tre livelli per un blocco di 64 elementi:
  1. Un fattore di scala globale per il blocco (E6M2).
  2. Fattori di scala intermedi per sottoblocchi da 8 elementi (E1).
  3. Fattori di scala fini per micro-blocchi da 4 elementi (E1).
     Gli elementi finali sono rappresentati in formato E1M2.
• Valutazione Sperimentale: Gli autori hanno condotto una valutazione rigorosa su modelli come Qwen3-8B e openPangu-7B, testando:
  • Fidelità della quantizzazione: Analisi del rapporto segnale-rumore di quantizzazione (SQNR) per pesi, attivazioni e stati KV (Key/Value).
  • Performance End-to-End: Misurazione della Perplexity (PPL) e dell'accuratezza su benchmark standard (ARC, MMLU, GSM8K, ecc.) utilizzando framework di Post-Training Quantization (PTQ) come SmoothQuant e SVDQuant.
  • Scenari di utilizzo: Confronto tra quantizzazione W8A8 (8-bit) e W4A4 (4-bit), inclusa la quantizzazione della cache KV.

3. Contributi Chiave

1. Formulazione Matematica: Definizione formale delle logiche di quantizzazione e de-quantizzazione per la famiglia HiFloat.
2. Analisi Distribuzionale: Dimostrazione che i formati floating-point sono superiori per dati ad alta varianza (attivazioni), mentre gli interi (INT8) sono ottimali per dati a range ristretto (pesi statici) nell'ambito 8-bit.
3. Prevenzione del Collasso a 4-bit: Identificazione che la struttura gerarchica di HiF4 previene il crollo di accuratezza tipico dei formati interi a 4-bit, gestendo efficacemente gli outlier.
4. Sinergia con Framework PTQ: Dimostrazione che HiFloat è pienamente compatibile e sinergico con tecniche avanzate di mitigazione degli outlier (come SmoothQuant e SVDQuant), offrendo benefici cumulativi nella compressione del modello.

4. Risultati Principali

Regime 8-bit (W8A8)

• Pesi: I formati interi (INT8) mostrano una fedeltà superiore rispetto ai floating-point (incluso HiF8) perché le distribuzioni dei pesi sono statiche e concentrate in un range ristretto. I formati floating-point "sprecano" bit sull'esponente per range non utilizzati.
• Attivazioni: I formati floating-point (HiF8, MXFP8) superano gli interi grazie alla loro capacità di gestire outlier e alta dinamica. HiF8 scalato (con scaling per canale) raggiunge performance comparabili a MXFP8.
• Cache KV: INT8 per token rimane competitivo, ma HiF8 scalato offre un buon compromesso.

Regime 4-bit (W4A4) - Il Punto di Svolta

• Fallimento degli Interi: La quantizzazione INT4 porta a un collasso catastrofico dell'accuratezza (perdita >70% su Qwen3-8B), poiché la spaziatura uniforme non può rappresentare la varianza delle attivazioni.
• Superiorità di HiF4: HiF4 mantiene l'integrità del modello, limitando la degradazione dell'accuratezza a circa 2.7-3.5% rispetto alla baseline BF16, superando sia gli interi che gli standard floating-point come MXFP4.
• Confronto con NVFP4: Sebbene NVFP4 (che usa uno scaling globale FP32) sia eccellente per le attivazioni, HiF4 mostra una resilienza superiore nella quantizzazione completa (Pesi + Attivazioni + KV Cache), specialmente su modelli come openPangu-7B.

Quantizzazione KV Cache

• L'integrazione di HiF4 nella quantizzazione della cache KV (QKV4) dimostra una robustezza eccezionale. Su Qwen3-8B, HiF4 limita la perdita di accuratezza al 3.92% anche in scenari W4A4 + KV4, mentre MXFP4 e INT4 falliscono o degradano pesantemente.

5. Significato e Implicazioni

Questo lavoro stabilisce che non esiste un formato "one-size-fits-all":

• Per i pesi a 8-bit, l'approccio uniforme (INT8) è ancora superiore.
• Per le attivazioni e per la quantizzazione a 4-bit, la flessibilità dei formati floating-point gerarchici è essenziale.

La principale innovazione risiede nella dimostrazione che HiF4, grazie alla sua struttura gerarchica a tre livelli, è in grado di isolare gli outlier mantenendo la precisione locale, risolvendo il problema fondamentale della quantizzazione a ultra-bassa precisione. Questo rende HiFloat una soluzione ideale per l'inferenza ad alta efficienza su NPU Ascend, permettendo l'esecuzione di modelli LLM di grandi dimensioni con una perdita di accuratezza minima, anche in configurazioni estreme a 4-bit. Il lavoro fornisce inoltre le basi matematiche e pratiche per l'adozione di questi formati nei framework di inferenza moderni.