Riepilogo Tecnico: Stima della Scala Max-Window per l'Addestramento Consapevole della Quantizzazione (QAT) Near-Lossless in HiF8 W8A8

Enunciato del Problema

Il deployment di Large Language Models (LLM) in ambienti con risorse limitate richiede una quantizzazione aggressiva, in particolare l'uso di formati a virgola mobile a 8 bit (FP8) come HiF8 (High-precision Float 8). Sebbene l'Addestramento Consapevole della Quantizzazione (QAT) miri ad adattare i modelli preaddestrati a rappresentazioni a basso numero di bit, introduce modalità di fallimento sottili che sono invisibili alle metriche di addestramento standard come la perdita di entropia incrociata.

Nello specifico, applicare il QAT a modelli preaddestrati comporta un compromesso complesso: preservare la conoscenza preaddestrata mentre si adattano le rappresentazioni interne al rumore della quantizzazione. Gli autori identificano che la perdita di addestramento standard spesso non segnala il degrado, portando a due modalità di fallimento distinte e ortogonali nel QAT HiF8 W8A8:

1. Saturazione di $A_{max}$: Causata dal ritardo temporale nello Scaling Tensoriale Ritardato (DTS), dove il fattore di scala stimato si basa su dati storici. Se il vero massimo delle attivazioni del passo corrente supera la scala prevista, i valori vengono tagliati (clipped), corrompendo le attivazioni forward, mentre lo Straight-Through Estimator (STE) passa erroneamente i gradienti come se non fosse avvenuto alcun clipping.
2. Dimenticanza Catastrofica: Causata da un tasso di apprendimento (learning rate) eccessivamente aggressivo durante il preaddestramento continuo, che sovrascrive la conoscenza di senso comune preaddestrata indipendentemente dallo schema di quantizzazione.

Metodologia

Lo studio si concentra sul modello OpenPangu-Embedded-1B (1 miliardo di parametri) utilizzando il formato HiF8 W8A8. La metodologia prevede un'indagine sistematica attraverso otto esperimenti controllati per disgiungere le cause del degrado delle prestazioni.

Configurazione di Quantizzazione

• Formato: HiF8 utilizza una precisione della mantissa a livelli basata sulla magnitudine del valore (3 bit per $|x| \le 8$, 2 bit per $|x| \le 128$, 1 bit per valori più grandi).
• Selezione dei Moduli: Per bilanciare efficienza e stabilità, vengono quantizzate solo i livelli MLP (proiezioni gate, up e down) nei 21 blocchi Transformer centrali. Le proiezioni dell'attenzione, gli embedding, le normalizzazioni di livello e i blocchi di confine (i primi 3 e gli ultimi 2) rimangono in BF16 per preservare la gestione degli outlier e la precisione dell'output.
• Protocollo di Addestramento: Gli esperimenti utilizzano il dataset FineWeb con una dimensione del batch globale di 1024 e una lunghezza della sequenza di 1024 per 10.000 passi.

Variabili Sperimentali

Il cuore dell'indagine confronta diversi algoritmi di stima di $A_{max}$ e tassi di apprendimento:

1. Algoritmi di $A_{max}$:
   • Più Recente (DTS): Utilizza il massimo del passo precedente.
   • Smorzamento Esponenziale (DTS): Utilizza una media mobile.
   • Max-Window (DTS): Utilizza il valore massimo su una finestra storica di 64 passi.
   • Current Tensor Scaling (CTS): Calcola il massimo dal passo corrente (richiede un secondo passaggio forward).
2. Tassi di Apprendimento: Gli esperimenti hanno testato $10^{-4}$ (inizialmente considerata sicura per le baseline BF16) e $10^{-5}$.
3. Warmup: È stata introdotta una fase di warmup BF16 di 500 passi negli esperimenti successivi per stabilizzare i pesi e popolare la cronologia di $A_{max}$ prima di attivare la quantizzazione.

Contributi Chiave

Il documento apporta quattro contributi principali basati sulla disgiunzione delle modalità di fallimento:

1. Identificazione di Modalità di Fallimento Ortogonali: Gli autori dimostrano che il degrado dei benchmark nel QAT HiF8 deriva da due fonti indipendenti: la saturazione di $A_{max}$ (un problema specifico della quantizzazione) e la dimenticanza catastrofica (un problema di dinamica di addestramento). Crucialmente, nessuna delle due è rilevabile tramite la sola perdita di addestramento; entrambe si manifestano solo nella valutazione a valle.
2. Strategia Conservativa Max-Window: Per affrontare la saturazione di $A_{max}$, il documento propone di sostituire gli algoritmi standard con un algoritmo max su una finestra storica di 64 passi. Questo fornisce una garanzia rigida contro la saturazione indotta dalla scala per qualsiasi passo all'interno della finestra di osservazione. Il leggero eccesso di conservatorismo agisce come regolarizzazione benefica.
3. Protocollo di Addestramento in Due Fasi: Per mitigare la dimenticanza catastrofica, gli autori introducono un protocollo che prevede un warmup BF16 di 500 passi seguito da QAT a un tasso di apprendimento ridotto di $10^{-5}$. Il warmup garantisce che il modello raggiunga un regime di pesi stabile e popoli la cronologia di $A_{max}$ con valori rappresentativi, mentre il tasso di apprendimento più basso previene la sovrascrittura della conoscenza preaddestrata.
4. Analisi Completa dei Fallimenti: Lo studio documenta perché i precedenti approcci hanno fallito:
   • Più Recente soffre di saturazione con un ritardo di 1 passo.
   • Smorzamento Esponenziale fallisce sotto dinamiche di attivazione non monotone.
   • CTS introduce fluttuazioni per passo che corrompono rappresentazioni stabili.
   • Alti Tassi di Apprendimento ($10^{-4}$) causano una significativa dimenticanza indipendentemente dalla quantizzazione.

Risultati

La configurazione finale (algoritmo Max-Window + warmup di 500 passi + $lr=10^{-5}$) raggiunge una quantizzazione near-lossless rispetto a una baseline BF16 corrispondente addestrata allo stesso tasso di apprendimento:

• MMLU: Calo dello 0,43% (43,17% vs 43,36% baseline).
• HellaSwag: Calo dello 0,58%.
• ARC-Challenge: Calo dello 0,22%.
• Perdita di Addestramento: L'Errore Percentuale Medio (APE) tra il QAT HiF8 e la baseline BF16 è solo dello 0,11% su 10.000 passi.

È notevole che gli esperimenti abbiano mostrato che nessuna delle due correzioni da sola era sufficiente. Utilizzare l'algoritmo Max a $lr=10^{-4}$ ha comunque portato a cali di circa il 3% nei task ARC a causa della dimenticanza. Viceversa, l'uso di $lr=10^{-5}$ con un algoritmo standard più recente avrebbe comunque sofferto di saturazione.

Significato e Affermazioni

Il documento afferma che un QAT HiF8 di successo per modelli preaddestrati richiede di affrontare l'interazione tra stabilità della scala e dinamiche di apprendimento simultaneamente. Il significato del lavoro risiede in:

• Diagnosi del Fallimento "Invisibile": Evidenziare che la perdita di addestramento standard è una metrica insufficiente per la qualità del QAT, poiché maschera saturazione e dimenticanza che appaiono solo nei benchmark a valle.
• Fornitura di una Soluzione Robusta: Dimostrare che una strategia conservativa di stima di $A_{max}$ combinata con un tasso di apprendimento più basso e un warmup può raggiungere prestazioni near-lossless (calo inferiore all'1% sui principali benchmark) per modelli da 1 miliardo di parametri.
• Chiarimento degli Assi di Progettazione: Stabilire che la scelta dell'algoritmo di $A_{max}$ e del tasso di apprendimento sono assi di progettazione critici e interdipendenti, piuttosto che iperparametri isolati.

Gli autori concludono che, sebbene la configurazione attuale sia efficace per modelli da 1 miliardo di parametri, il lavoro futuro potrebbe esplorare tassi di apprendimento a livello di layer, warmup adattivi e l'aumento del numero di livelli ad alta precisione per colmare ulteriormente le lacune residue.