🤖 machine learning

QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides

Il documento propone QUADS, un metodo di allineamento dell'errore di quantizzazione a doppio lato che stabilizza l'apprendimento per rinforzo NVFP4 per i modelli Mixture-of-Experts affrontando gli errori di attivazione attraverso una quantizzazione consapevole del training asimmetrica e una compensazione dell'attivazione residua, ottenendo così un'accuratezza di livello BF16 con un throughput significativamente migliorato rispetto a FP8.

Autori originali: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Pubblicato 2026-07-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC0 1.0

Autori originali: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot super intelligente come risolvere enigmi complessi, come problemi matematici o la scrittura di codice. Per diventare davvero bravo, il robot non si limita a memorizzare le risposte; si esercita provando migliaia di soluzioni diverse, ricevendo feedback su ciò che ha funzionato e poi adattando il suo cervello per fare meglio la volta successiva. Questo processo è chiamato Reinforcement Learning. Tuttavia, c'è un intoppo: la parte del robot che pensa e impara (l'addestratore) è spesso separata dalla parte che genera le risposte (il motore di rollout). Affinché l'apprendimento funzioni, queste due parti devono parlare esattamente la stessa lingua. Se l'addestratore pensa in alta definizione (come un film in 4K) ma il generatore è costretto a parlare una versione sgranata e a bassa risoluzione (come un gioco a 8 bit pixelato), il robot si confonde. Inizia a commettere errori perché l' "importanza" delle sue azioni viene distorta dalla sgranatura. Questo disallineamento è un enorme problema perché rallenta l'intero processo di apprendimento, facendo impiegare al robot un tempo infinito per diventare intelligente.

Ora, immagina che vogliamo far pensare il robot più velocemente. Potremmo rimpicciolire ulteriormente il suo cervello, usando un formato a risoluzione super bassa, chiamato "NVFP4". Questo è come cercare di far correre un'auto da corsa velocissima su una pista di terra fatta di piccoli ciottoli grossolani. Promette di essere incredibilmente veloce — molto più veloce dello standard attuale — ma i ciottoli sono così ruvidi che le ruote dell'auto (la logica del robot) iniziano a scivolare e a perdere il controllo. Il robot prova a imparare, ma la pista accidentata lo fa schiantare dopo solo pochi giri. La grande domanda è: possiamo far funzionare questa pista super veloce e ruvida senza far schiantare il robot?

È esattamente questo il problema che i ricercatori di questo articolo si sono dati la missione di risolvere. Hanno scoperto che il semplice fatto di mettere il robot su questa pista veloce e ruvida causa un fallimento spettacolare in circa 150 step di addestramento. I punteggi di fiducia del robot (le log-probabilità) divergono in modo così selvaggio che il robot smette completamente di imparare. Attraverso esperimenti accurati, hanno capito perché accade questo. Si scopre che il problema non sono i pesi (la conoscenza memorizzata del robot), che possono essere sincronizzati facilmente. Il vero colpevole sono le attivazioni — i calcoli freschi e istantanei che il robot compie mentre pensa. Poiché la pista ruvida (NVFP4) è così grossolana, questi calcoli freschi vengono distorti in un modo che l'addestratore non può correggere guardando solo i pesi.

Per risolvere questo problema, il team ha inventato una strategia intelligente in due parti chiamata QUADS (QUantization-error Alignment across Dual Sides). Immaginala come una danza tra l'addestratore e il generatore. Sul lato dell'addestratore, utilizzano una tecnica speciale chiamata "Asymmetric Quantization-Aware Training". Invece di cercare di costringere l'addestratore a parlare la lingua ruvida del generatore, mantengono il loro "pensiero" (le attivazioni) in alta definizione, ma costringono la loro "memoria" (i pesi) a corrispondere al formato ruvido del generatore. In questo modo, l'addestratore sa esattamente cosa vede il generatore quando guarda i pesi, evitando la confusione.

Ma questo da solo non era sufficiente. Il generatore continuava a inciampare sui ciottoli ruvidi mentre cercava di elaborare nuovi pensieri. Così, sul lato del generatore, hanno aggiunto una "Residual Activation Compensation". Immagina che il generatore stia camminando sulla pista ruvida e si renda conto: "Ehi, il mio piede sta scivolando su questo specifico ciottolo!". Invece di fermare l'intera corsa per sistemare la pista, compie un piccolo passo rapido per correggere solo quel singolo scivolamento prima di procedere. Hanno identificato le parti specifiche del calcolo che avevano maggiori probabilità di scivolare (i "canali ad alto residuo") e hanno dato loro una piccola spinta extra per restare in pista, mantenendo il resto della corsa super veloce.

I risultati sono impressionanti. Usando questa danza su entrambi i lati, il robot non solo è sopravvissuto alla pista ruvida, ma ha performato quasi come se stesse correndo su una pista liscia e ad alta definizione. Nei loro test, questo nuovo metodo ha migliorato il tasso di successo del robot di circa 21,5 punti rispetto al tentativo di usare la pista ruvida senza alcun aiuto. Ancora meglio, ha mantenuto il vantaggio di velocità, correndo circa il 16% più velocemente del precedente metodo standard. L'articolo dimostra che, sebbene la pista ruvida sia pericolosa da sola, con il giusto allineamento e un po' di correzione extra per i punti scivolosi, possiamo finalmente far funzionare in modo affidabile questi modelli di IA super veloci e a bassa precisione.

Sintesi Tecnica: QUADS - Stabilizzazione del Reinforcement Learning con NVFP4 per MoE tramite l'allineamento dell'errore di quantizzazione

1. Definizione del Problema

Il Reinforcement Learning (RL) per i modelli Large Language Model (LLM) con Mixture-of-Experts (MoE) affronta un collo di bottiglia critico: la generazione dei rollout consuma spesso oltre il 70% del tempo effettivo (wall-clock time) end-to-end. Per accelerare questo processo, i ricercatori hanno esplorato l'inferenza a bassa precisione, con l'FP8 che funge da baseline stabile, bilanciando throughput e mismatch tra training e inferenza. Tuttavia, l'architettura NVIDIA Blackwell introduce l'NVFP4, un formato nativo W4A4 (pesi a 4 bit, attivazioni a 4 bit) che offre un throughput GEMM fino a circa ~4× rispetto a BF16 e ~2× rispetto a FP8.

Il paper identifica che l'applicazione diretta del rollout NVFP4 W4A4 al RL per MoE con training in BF16 causa un'immediata instabilità. Negli esperimenti, il RL con NVFP4 ingenuo collassa dopo circa 150 step di training, caratterizzato da un divario in rapida crescita tra le log-probabilità del rollout e del trainer, portando a rapporti di importanza corrotti e al collasso della ricompensa (reward collapse). La sfida principale è che la griglia E2M1 grossolana di FP4 (solo 8 livelli positivi rappresentabili per segno) amplifica il bias numerico più severamente rispetto a FP8, rendendo insufficienti le normali correzioni del campionamento dell'importanza.

2. Metodologia: QUADS

Gli autori propongono QUantization-error Alignment across Dual Sides (QUADS), un framework progettato per stabilizzare il RL con NVFP4 affrontando le specifiche fonti di mismatch tra training e inferenza. La metodologia si basa su un'analisi dettagliata dell'errore che decompone il divario della log-probabilità ( $\delta_t$ ) in errore dei pesi ( $\delta^{weight}_t$ ), errore delle attivazioni ( $\delta^{act}_t$ ) e differenze di percorso numerico ( $\delta^{num}_t$ ).

2.1 Analisi dell'Errore e Diagnosi

Attraverso ablatoni controllati, gli autori determinano che la quantizzazione delle attivazioni è la fonte dominante di instabilità, non la quantizzazione dei pesi.

Pesi: Possono essere sincronizzati tra i motori di inferenza e di training. Poiché i pesi sono replicati, l'applicazione dello stesso percorso di quantizzazione-dequantizzazione (QDQ) sul lato del trainer elimina efficacemente il mismatch indotto dai pesi.
Attivazioni: Vengono ricalcolate online durante l'inferenza. La griglia grossolana E2M1 introduce un errore di quantizzazione significativo ( $\Delta X_q$ ) che è ulteriormente esacerbato dal drift intrinseco del motore ( $\eta$ ) tra i kernel di inferenza e di training. Il Quantization-Aware Training (QAT) simmetrico W4A4, che effettua la fake-quantizzazione di pesi e attivazioni sul trainer, fallisce perché amplifica il drift invece di ridurlo.

2.2 Strategia di Allineamento Dual-Side

QUADS affronta questa asimmetria attraverso due componenti complementari:

A. Asymmetric Quantization-Aware Training (Lato Trainer)
Invece del QAT W4A4 simmetrico, gli autori propongono il Asymmetric W4A16 QAT:

Pesi: Fake-quantizzati a NVFP4 (W4) sul lato del trainer per allineare il percorso di quantizzazione con il motore di rollout.
Attivazioni: Mantenute in BF16 (A16) sul lato del trainer.
Razionale: Questo evita che il trainer introduca un ulteriore errore di quantizzazione delle attivazioni che non può essere allineato con le attivazioni di inferenza online. L'ottimizzatore aggiorna i master weights in BF16, ma ogni forward pass vede i pesi discretizzati utilizzati dal rollout, eliminando $\delta^{weight}_t$ senza amplificare $\delta^{act}_t$ .

B. Residual Activation Compensation (Lato Rollout)
Per affrontare l'errore di attivazione rimanente ( $\delta^{act}_t$ ) che non può essere risolto dal trainer, il motore di rollout impiega una correzione mirata:

Meccanismo: Il sistema identifica i canali ad "alto residuo" dove l'errore di quantizzazione FP4 è maggiore. Applica una seconda passata di quantizzazione a questi specifici canali, calcolando un termine di correzione residua ( $\Delta X_q$ ) e riaggiungendolo all'output quantizzato.
Implementazione: Una maschera di canale binaria seleziona il top $k\%$ dei canali (ad esempio, 50%) in base alla magnitudo del residuo. Questa correzione è implementata tramite kernel Triton fusi per minimizzare l'overhead, preservando il throughput GEMM W4A4 nativo per la maggior parte del calcolo.
Obiettivo: Ridurre la distanza tra l'output del rollout e il riferimento BF16, chiudendo il divario della log-probabilità senza tornare all'inferenza completa in BF16.

3. Contributi Chiave

Diagnosi del Fallimento del RL con NVFP4: Il paper dimostra empiricamente che la quantizzazione delle attivazioni, piuttosto che quella dei pesi, è il driver primario della divergenza della log-probabilità e del collasso della ricompensa nel RL con NVFP4 ingenuo.
Schema di QAT Asimmetrico: Introduzione di una strategia lato training che effettua la fake-quantizzazione dei pesi a FP4 mantenendo le attivazioni in BF16, allineando efficacemente il percorso dei pesi senza esacerbare il drift delle attivazioni.
Compensazione dell'Attivazione Residua: Una tecnica lato rollout che mira ai canali di attivazione ad alto errore con una correzione a seconda della seconda passata, preservando il throughput W4A4 nativo pur mitigando il mismatch indotto dalle attivazioni.
Validazione Empirica: Dimostrazione che la pipeline combinata QUADS consente un training MoE a parametri completi stabile con GRPO su hardware NVFP4, raggiungendo l'accuratezza del modello BF16.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un modello MoE da 25 miliardi di parametri (2.8B esperti attivi) utilizzando GPU Blackwell, addestrato con GRPO su compiti di ragionamento matematico e generazione di codice.

Accuratezza: La pipeline QUADS ha raggiunto un pass@1 medio del 72.86% su quattro benchmark hold-out (AIME 2024/25, HMMT 2025, LiveCodeBench). Questo eguaglia il 73.15% ottenuto dalla baseline completa in BF16 e supera significativamente il RL con NVFP4 ingenuo (51.37%) e l'FP8 RL (72.88%).
Stabilità: Mentre il RL con NVFP4 ingenuo collassava dopo circa 150 step, QUADS ha mantenuto curve di training stabili comparabili a BF16. Il divario massimo della log-probabilità per step è stato ridotto da ~1.3 (ingenuo) a ~0.86 (QUADS), avvicinandosi al floor del drift di motore non riducibile di ~0.74 osservato in BF16.
Throughput: QUADS ha fornito un throughput di rollout circa del 16% superiore rispetto a FP8. Sebbene la compensazione residua abbia aggiunto un overhead di circa il 5–9% rispetto al semplice W4A4, il guadagno netto di velocità rispetto a FP8 rimane sostanziale.
Studi di Ablazione:
- Rimuovendo la compensazione residua (solo W4A16 QAT), il training è stato stabilizzato ma è rimasto un gap di accuratezza evidente rispetto a BF16.
- Il QAT W4A4 simmetrico (quantizzando sia pesi che attivazioni sul trainer) ha causato mismatch maggiori rispetto all'approccio asimmetrico, confermando la necessità di mantenere le attivazioni del trainer in BF16.

5. Significato e Rivendicazioni

Il paper afferma che QUADS è il primo metodo che consente un training RL MoE a parametri completi stabile utilizzando GEMM NVFP4 W4A4 nativi su hardware Blackwell.

La significatività risiede nella risoluzione del problema dell' "allineamento dell'errore di quantizzazione" specifico per la estrema scarsità della griglia E2M1 di FP4. Riconoscendo che pesi e attivazioni richiedono strategie di allineamento fondamentalmente diverse (sincronizzazione vs compensazione online), gli autori dimostrano che è possibile sfruttare i massicci guadagni di throughput di FP4 senza sacrificare la stabilità numerica richiesta dall'ottimizzazione del gradiente della policy. Il lavoro stabilisce che, con il corretto allineamento dual-side, NVFP4 può servire come un'alternativa ad alto throughput e valida all'FP8 per i carichi di lavoro RL, offrendo un vantaggio di throughput di circa il 16% mantenendo le prestazioni del modello a livello BF16.