🤖 AI

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

Questo articolo introduce FOCUS, un framework di quantizzazione post-training che migliora l'accuratezza FP4 per i grandi modelli linguistici impiegando la Coupled-Relaxation Scaling per disaccoppiare le scale di quantizzazione apprendibili dai vincoli hardware e la Dual-Granularity Scaling per un adattamento dei pesi più fine, raggiungendo prestazioni allo stato dell'arte senza costi aggiuntivi in fase di inferenza.

Autori originali: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Pubblicato 2026-08-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di far entrare una biblioteca di conoscenze enorme e intricata in uno zainetto piccolo e portatile. Questa è la lotta quotidiana dei "Large Language Models" (LLM), i cervelli informatici super intelligenti che possono scrivere storie, risolvere problemi matematici e chattare come gli esseri umani. Il problema è che questi cervelli sono così grandi che richiedono una quantità enorme di memoria e potenza per funzionare, il che li rende costosi e lenti da usare sui dispositivi di uso comune. Per risolvere questo problema, gli scienziati usano un trucco chiamato "quantizzazione". Pensa a questo come al tradurre un film in alta definizione, 4K, in un formato a bassa risoluzione affinché possa essere riprodotto su un vecchio telefono. L'obiettivo è rimpicciolire i dati senza perdere la trama. Recentemente, è emerso un nuovo formato super piccolo chiamato "FP4", supportato dai moderni chip informatici, che promette di rimpicciolire ulteriormente questi modelli. Tuttavia, c'è un problema: comprimere i dati in modo così ridotto spesso fa sì che il modello "dimentichi" le cose o si confonda, perdendo accuratezza. La grande domanda è: come possiamo rimpicciolire il modello fino a questa dimensione minuscola senza rovinarne l'intelligenza?

Questo articolo presenta un nuovo metodo intelligente chiamato FOCUS per risolvere esattamente questo problema. I ricercatori si sono resi conto che il modo attuale di rimpicciolire questi modelli era troppo rigido. Immagina di fare le valigie. La regola standard dice: "Devi usare esattamente le stesse piccole scatole pre-confezionate per imballare i tuoi vestiti, e devi usare quelle stesse scatole per svuotarli in seguito". L'articolo sostiene che questo è sciocco. Sebbene tu debba usare le piccole scatole per riporre i vestiti (perché è quello che entra nella valigia), non hai bisogno di usare quelle stesse scatine per capire come piegare i vestiti in primo luogo. Potresti usare un metro da sarto grande e flessibile per pianificare l'imballaggio, e poi far rientrare il risultato nelle piccole scatole.

FOCUS utilizza questa intuizione per migliorare il modo in cui i modelli vengono preparati per il formato minuscolo FP4. Introduce due trucchi principali:

Coupled-Relaxation Scaling (CRS): Questo è il "metro da sarto flessibile". Nel vecchio metodo, il computer doveva usare un righello molto approssimativo e a bassa precisione per decidere come rimpicciolire i numeri, e doveva usare lo stesso righello approssimativo per rimontarli. FOCUS dice: "Usiamo un righello super preciso e di dimensioni intere per fare i calcoli della riduzione, e poi schiacciamo il risultato in una scatola grezza". Questo permette al computer di trovare un modo molto migliore per impacchettare i dati senza infrangere le regole del formato minuscolo.
Dual-Granularity Scaling (DGS): Questo riguarda l'imballaggio di oggetti più piccoli. Il vecchio metodo trattava un intero gruppo di 32 numeri come un unico grande blocco, usando un unico righello per tutti loro. Ma cosa succede se alcuni numeri in quel gruppo sono enormi e altri sono minuscoli? FOCUS divide quel grande gruppo in sottogruppi più piccoli (come tagliare una grande pizza in fette) e assegna a ogni fetta il proprio righello personalizzato. Questo permette al computer di adattarsi ai dettagli specifici dei dati, invece di forzare tutto in una scatola unica per tutti.

I risultati sono impressionanti. Quando i ricercatori hanno testato FOCUS su diversi modelli di IA (come Qwen e LLaMA), ha superato costantemente tutti gli altri metodi. Ad esempio, su un modello chiamato Qwen3-4B, FOCUS è riuscito a recuperare il 98,2% dell'accuratezza del modello originale utilizzando il formato NVFP4, e il 96,2% con MXFP4. Si tratta di un salto significativo rispetto alle tecniche precedenti, che spesso faticavano a restare sopra il 90% o il 94%.

Fondamentalmente, l'articolo dimostra che FOCUS non rende il modello più lento o più difficile da usare. Anche se il computer esegue calcoli extra mentre prepara il modello (durante la fase di "addestramento" o "calibrazione"), il modello finale funziona con la stessa velocità di qualsiasi altro modello FP4. Richiede circa 19 minuti per preparare un modello Qwen3-4B su una singola GPU di fascia alta, il che è in realtà più veloce di alcuni metodi concorrenti. I ricercatori sottolineano che si tratta di un metodo "post-training", il che significa che non devono riinsegnare il modello da zero; devono solo perfezionare le istruzioni di imballaggio.

In breve, FOCUS suggerisce che, allentando le regole su come calcolare il rimpicciolimento (mantenendo rigoroso il formato di archiviazione finale), possiamo far entrare questi enormi cervelli artificiali in spazi minuscoli senza perdere la loro intelligenza. È un po' come rendersi conto che puoi piegare una camicia perfettamente usando un tavolo grande, anche se hai solo un piccolo cassetto per riporla. L'articolo dimostra che questo approccio funziona meglio dei vecchi modi rigidi, offrendo una strada per eseguire una potente IA su dispositivi che attualmente non possono gestirla.

Riepilogo Tecnico: FOCUS – Ottimizzazione FP4 tramite Accoppiamento di Rilassamento e Scalatura a Doppia Granularità

Problema

I Large Language Models (LLM) affrontano sfide significative di distribuzione a causa dei loro massicci conteggi di parametri, rendendo necessari tecniche di compressione efficienti. Sebbene la Post-Training Quantization (PTQ) sia diventata un approccio standard, spingere la quantizzazione verso formati a 4-bit floating-point (FP4) come MXFP4 e NVFP4 rimane difficile. Questi formati offrono un supporto hardware nativo su acceleratori moderni (ad es., NVIDIA Blackwell) attraverso schemi di scalatura per blocchi (ad es., gruppi di 32 o 16 valori che condividono una scala a bassa precisione).

Tuttavia, mantenere l'accuratezza del modello sotto precisione FP4 è un collo di bottiglia persistente. Un limite critico nei metodi esistenti è il forte accoppiamento tra la scala di quantizzazione ( $S_q$ ) e la scala di dequantizzazione ( $S_{dq}$ ). Gli approcci attuali costringono entrambe le scale a conformarsi allo stesso formato a bassa precisione e discreto (ad es., E8M0 per MXFP4) e alla stessa granularità di blocco. Ciò è subottimale perché:

Vincoli Ridondanti: Solo la scala di dequantizzazione ( $S_{dq}$ ) viene memorizzata e utilizzata durante l'inferenza, richiedendo di aderire ai vincoli hardware. La scala di quantizzazione ( $S_q$ ), utilizzata esclusivamente durante il processo di quantizzazione offline per determinare la migliore assegnazione dei pesi FP4, viene scartata successivamente e non deve rispettare tali vincoli.
Spazio di Ottimizzazione Discreto: Costringendo $S_q$ in un formato discreto a bassa precisione, i metodi esistenti limitano il panorama di ottimizzazione, impedendo al gradiente di trovare le migliori assegnazioni dei pesi.
Disallineamento della Granularità: Una singola scala a livello di blocco non può catturare le variazioni locali dei pesi all'interno di un blocco, portando a errori di quantizzazione.

Metodologia

Gli autori propongono FOCUS, un framework di post-training quantization che sfrutta la "libertà" della scala di quantizzazione per ottimizzare l'accuratezza FP4 senza introdurre overhead di inferenza. Il framework opera su due dimensioni chiave: Precisione e Granularità.

1. Baseline: Apprendimento della Scala End-to-End

Gli autori stabiliscono prima una baseline in cui i pesi del modello sono congelati e le scale per blocchi vengono apprese end-to-end utilizzando una perdita di conoscenza per distillazione (KL-Top). A differenza della tradizionale PTQ, questa baseline ottimizza le scale tramite discesa del gradiente usando lo Straight-Through Estimator (STE) per gestire le operazioni di quantizzazione non differenziabili. Tuttavia, questa baseline impone ancora $S_q = S_{dq}$ , mantenendo il forte accoppiamento.

2. Coupled-Relaxation Scaling (CRS)

Per affrontare il vincolo di precisione, FOCUS introduce lo Scaling per Accoppiamento di Rilassamento (CRS).

Meccanismo: Il CRS scollega la scala di quantizzazione dal formato imposto dall'hardware introducendo un coefficiente apprendibile a piena precisione, $c_i$ .
Formulazione: La scala di quantizzazione è definita come $S_q = S_{dq} \cdot c_i$ , dove $S_{dq}$ è la scala conforme all'hardware (quantizzata a E4M3 o E8M0) e $c_i$ è un parametro apprendibile a piena precisione (FP16) inizializzato a 1.
Effetto: Questo rilassa il forte accoppiamento, elevando l'ottimizzazione di $S_q$ da uno spazio discreto a bassa precisione a uno spazio continuo a piena precisione. Ciò consente al modello di trovare migliori assegnazioni di pesi FP4 garantendo al contempo che $S_{dq}$ rimanga conforme ai requisiti hardware. Il coefficiente $c_i$ viene scartato dopo l'addestramento.

3. Dual-Granularity Scaling (DGS)

Per affrontare il vincolo di granularità, FOCUS introduce lo Scaling a Doppia Granularità (DGS).

Meccanismo: Il DGS suddivide ogni blocco hardware (dimensione 32 per MXFP4, 16 per NVFP4) in sottoblocchi più piccoli (ad es., dimensione 8). A ogni sottoblocco viene assegnata un coefficiente di rilassamento a piena precisione indipendente ( $c_k$ ).
Formulazione: La quantizzazione per un sottoblocco $k$ diventa $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ , mentre la scala di dequantizzazione $S_{dq}$ rimane condivisa per l'intero blocco.
Effetto: Questo permette alla scala di quantizzazione di operare a una granularità più fine rispetto alla scala di dequantizzazione, catturando le variazioni locali dei pesi all'interno di un blocco che una singola scala a livello di blocco non riuscirebbe a rappresentare. Come il CRS, questi coefficienti vengono scartati post-addestramento.

4. Distribuzione e Compatibilità

FOCUS non si affida a trasformazioni strutturali (ad es., rotazioni di Hadamard) che spesso comportano overhead di inferenza o richiedono modifiche ai framework. Il modello distribuito finale consiste esclusivamente di pesi FP4 standard e scale di dequantizzazione conformi all'hardware, garantendo una perfetta compatibilità con i motori di inferenza esistenti e un costo di inferenza nullo.

Contributi Chiave

Identificazione dell'Insight: Il documento identifica che la scala di quantizzazione è libera dai vincoli hardware, a differenza della scala di dequantizzazione, e propone di sfruttare questa libertà sia in termini di precisione che di granularità.
Coupled-Relaxation Scaling (CRS): Una tecnica che introduce un coefficiente a piena precisione per rilassare l'accoppiamento tra le scale di quantizzazione e dequantizzazione, consentendo un'ottimizzazione continua basata sul gradiente.
Dual-Granularity Scaling (DGS): Un metodo che assegna scale di quantizzazione a livello di sottoblocco, catturando le variazioni dei pesi intra-blocco che la scalatura per blocchi non può rappresentare.
Prestazioni State-of-the-Art: Esperimenti estesi dimostrano che FOCUS raggiunge l'accuratezza SOTA FP4 sia sotto i formati MXFP4 che NVFP4 attraverso molteplici famiglie di LLM (Qwen, LLaMA).

Risultati Sperimentali

Gli autori hanno valutato FOCUS su cinque LLM (Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B) utilizzando WikiText2, C4 e cinque benchmark di ragionamento zero-shot (ARC, HellaSwag, PIQA, Winogrande).

Recupero dell'Accuratezza: Su Qwen3-4B sotto NVFP4, FOCUS recupera il 98,2% dell'accuratezza zero-shot di FP16, superando significativamente le baseline come RTN, GPTQ, MR-GPTQ, 4over6 e RaZeR.
Perplessità: FOCUS raggiunge la perplessità più bassa in quasi tutte le configurazioni. Per Qwen3-8B, raggiunge una perplessità di 9,47 su WikiText2 (NVFP4), avvicinandosi quasi alla baseline FP16 di 9,73.
Capacità di Ragionamento: Nei compiti di chain-of-thought (GSM8K, MMLU), FOCUS supera costantemente i metodi concorrenti, preservando meglio le capacità di ragionamento multi-step rispetto ad altri approcci di quantizzazione FP4.
Efficienza: Il processo di quantizzazione è leggero. Su una singola GPU NVIDIA H20, la quantizzazione di Qwen3-4B richiede 19 minuti, ovvero il 34% più velocemente del precedente metodo SOTA (MR-GPTQ).

Significato e Rivendicazioni

Il documento afferma che FOCUS rappresenta un cambio di paradigma nella quantizzazione FP4 ripensando il ruolo della scala di quantizzazione. Riconoscendo che la scala di quantizzazione non ha bisogno di essere memorizzata o aderire ai vincoli hardware, gli autori sbloccano un significativo spazio di ottimizzazione precedentemente inesplorato.

La significatività risiede nel raggiungere un'accuratezza state-of-the-art per l'inferenza FP4 mantenendo un overhead di inferenza nullo e una perfetta compatibilità hardware. A differenza dei metodi basati su trasformazioni che aggiungono costi computazionali o richiedono l'adattamento del framework, FOCUS opera puramente nello spazio di ottimizzazione della scala. Gli autori sostengono che il loro approccio colma efficacemente il divario di prestazioni tra i modelli FP4 e quelli a piena precisione (FP16), rendendo l'inferenza W4A4 ad alta efficienza più praticabile per la distribuzione reale.