🤖 machine learning

Finer is Better (with the Right Scaling)

Questo articolo risolve il paradosso per cui la riduzione delle dimensioni dei blocchi di quantizzazione degrada le prestazioni dei Large Language Model dimostrando che il problema deriva dall'interazione poco efficace tra distribuzioni a coda pesante e i formati FP4, e mostra che interventi algoritmici mirati come la scalatura 4-over-6 e la prevenzione dello underflow consentono ai formati conformi all'hardware standard di raggiungere una qualità ottimale con una granularità più fine.

Autori originali: Clemens Schaefer, Gil Tabak

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Clemens Schaefer, Gil Tabak

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Il Paradosso "Troppo-Fine"

Immagina di dover preparare una valigia per un viaggio. Hai un enorme mucchio di vestiti (dati) e una quantità limitata di spazio (memoria). Per farci stare tutto, decidi di tagliare i vestiti in pacchetti sempre più piccoli (chiamati blocchi) in modo da organizzarli in modo più efficiente.

In modo intuitivo, penseresti: "Più piccoli sono i pacchetti, meglio riesco a farci stare tutto, giusto?"

Nel mondo dell'IA, questo si chiama quantizzazione. Gli scienziati hanno provato a rimpicciolire questi pacchetti per rendere i modelli di IA più piccoli e veloci. Ma hanno incontrato un paradosso strano: quando rendevano i pacchetti troppo piccoli, l'IA diventava effettivamente meno brava nel suo lavoro. Era come cercare di impacchettare una valigia con tanta cura da finire per schiacciare i vestiti e renderli inutilizzabili.

Perché è Succeso?

Gli autori di questo documento hanno indagato sul perché si verificasse questo paradosso "troppo-fine". Hanno individuato due principali colpevoli:

1. Il Glitch dello "Zero" (La Scatola Vuota)
Immagina di avere una scatola che può contenere solo numeri. Se un numero è minuscolo, il righello della scatola potrebbe arrotondarlo a zero. Se hai un intero pacchetto di numeri minuscoli, il righello potrebbe dire: "Ok, tutto in questo pacchetto è zero", e scartare l'intero pacchetto.

La Soluzione: Il documento suggerisce una regola semplice: Non permettere mai al righello di dire zero. Se un numero è troppo piccolo, forza il righello a usare il più piccolo numero positivo possibile invece. Questo mantiene l'informazione in vita.

2. Il Problema del "Righello Grezzo" (La Griglia Grossolana)
Questo è il problema più grande. L'IA utilizza un tipo specifico di "righello" (chiamato E4M3) per misurare questi pacchetti. Questo righello ha spazi molto ampi tra le sue tacche, specialmente nella parte alta.

L'Analogia: Immagina di dover misurare una catena montuosa con un righello che ha solo tacche per 1 piede, 2 piedi, 4 piedi e 6 piedi.
- Se hai una piccola collina (un piccolo blocco di dati), il righello potrebbe costringerti ad arrotondare una collina di 5,9 piedi fino a 6 piedi. Questo è un errore enorme!
- Quando rendi i pacchetti più piccoli, ti ritrovi con più di questi numeri "alti" che vengono forzati in quel grande e goffo secchio da 6 piedi. Più piccolo è il pacchetto, più spesso accade questo cattivo arrotondamento, e peggio performa l'IA.

Le Soluzioni: Come l'Hanno Risolto

Gli autori hanno testato tre modi principali per risolvere il problema, dimostrando che i blocchi più fini sono migliori, ma solo se si usano gli strumenti giusti.

1. La Regola "Non Andare a Zero"
Hanno semplicemente programmato il sistema per non permettere mai a un fattore di scala di diventare zero.

Risultato: Questo ha risolto il problema per i numeri molto piccoli, ma non ha risolto il problema per i numeri "alti" che venivano arrotondati fino a 6.

2. La Scelta "4-o-6" (Il Metodo 4-sopra-6)
Questa è la "salsa segreta" del documento. Invece di usare un righello fisso, il sistema può scegliere tra due impostazioni specifiche per ogni pacchetto: 4 o 6.

L'Analogia: Immagina di impacchettare una scatola. A volte i tuoi oggetti si adattano meglio se usi una scatola "Media" (4), e a volte si adattano meglio in una scatola "Grande" (6). Invece di forzare tutto in una scatola "Grande" (che schiaccia le cose piccole), il sistema controlla: "Quale di queste due scatole si adatta meglio a questo specifico pacchetto?"
Risultato: Questo ha permesso all'IA di evitare gli errori di arrotondamento goffi. Quando hanno usato questo metodo, il "paradosso" è scomparso. I pacchetti più piccoli sono diventati improvvisamente molto migliori, proprio come avrebbero dovuto essere.

3. Il Controllo "Brute Force" (A forza bruta)
Per dimostrare il loro punto, hanno eseguito una ricerca informatica che ha provato ogni possibile modo per misurare i pacchetti per trovare quello perfetto.

Risultato: Questo ha dimostrato che, teoricamente, i pacchetti più piccoli funzionano sempre meglio se si sceglie la misurazione perfetta. Il fatto che l'IA stesse fallendo prima non era perché i pacchetti piccoli sono cattivi; era semplicemente perché stavano usando un metodo di misurazione scadente.

Il Test nel Mondo Reale: Funziona sull'IA Reale?

Hanno testato questo su quattro famosi modelli di IA (Granite, Llama, DeepSeek e Qwen).

Il Problema: Due dei modelli (Granite e Llama) stavano peggiorando quando i pacchetti diventavano più piccoli, esattamente come previsto dal paradosso.
La Soluzione: Quando hanno applicato la scelta "4-o-6" e la regola "Non andare a zero", quei modelli hanno smesso di peggiorare. In effetti, sono diventati migliori man mano che i pacchetti diventavano più piccoli.
Il Confronto: Hanno anche provato a usare un righello più sofisticato e costoso (chiamato UE5M3) che ha più tacche. Anche questo ha funzionato bene, ma richiede più potenza hardware. Il loro trucco "4-o-6" ha permesso loro di usare il righello standard più economico e ottenere gli stessi ottimi risultati.

La Conclusione

Il documento conclude che rendere i modelli di IA più piccoli ed efficienti (usando blocchi minuscoli) è un'ottima idea. Il motivo per cui falliva prima non era un difetto nell'idea stessa, ma un difetto nel "metro" che veniva utilizzato.

Usando un modo più intelligente per scegliere come misurare i dati (in particolare il metodo "4-sopra-6"), possiamo rendere i modelli di IA più piccoli, veloci e accurati senza bisogno di costoso nuovo hardware. Il paradosso è risolto: Più fine è effettivamente meglio, purché si abbia la giusta scalatura.

Riepilogo Tecnico: Più Fine è Meglio (con la Giusta Scalatura)

Enunciato del Problema
Il deployment di Modelli Linguistici di Grandi Dimensioni (LLM) su architetture di datacenter e edge si basa sempre più su formati a precisione ultra-bassa (4 bit o meno) per mitigare i colli di bottiglia di memoria e larghezza di banda. La micro-scalatura, che applica fattori di scala individuali a piccoli blocchi di dati (ad esempio, dimensioni 16 o 32), è una tecnica critica per preservare la qualità del modello in questi regimi. Tuttavia, un recente paradosso identificato nella letteratura [1] contraddice l'aspettativa intuitiva secondo cui dimensioni di blocco più fini producono errori di quantizzazione inferiori. Nello specifico, quando si utilizza la scalatura standard a massimo assoluto (abs-max) con fattori di scala E4M3, la riduzione delle dimensioni dei blocchi può paradossalmente degradare la qualità del modello, risultando in un Errore Quadratico Medio (MSE) più elevato e in una perplessità a valle aumentata. Questo documento indaga i meccanismi sottostanti di tale fenomeno per determinare se si tratti di una limitazione intrinseca della granularità fine o di un problema algoritmico risolvibile.

Metodologia
Gli autori conducono un'indagine in due fasi che combina analisi numerica e valutazione del modello completo:

Studio Numerico: Gli autori analizzano il comportamento della quantizzazione su varie dimensioni di blocco (4, 8, 16, 32) utilizzando FP4 (OCP E2M1) per i dati ed E4M3 per i fattori di scala. Campionano distribuzioni normali per isolare il comportamento teorico dell'MSE.
Strategie di Scalatura: Lo studio valuta diverse metodologie di scalatura:
- Abs-Max Standard: Il metodo di base in cui la scala è il valore assoluto massimo nel blocco, arrotondato al valore rappresentabile più vicino nel formato E4M3.
- Prevent-Zero: Una modifica in cui il fattore di scala è limitato al valore rappresentabile non nullo più piccolo ( $\epsilon_{SF}$ ) per prevenire il sottoripieno (underflow) a zero, che altrimenti collasserebbe tutti i valori in un blocco a zero.
- 4-over-6: Un intervento algoritmico [2] che seleziona il fattore di scala tra i due valori rappresentabili più grandi nell'intervallo FP4 (4.0 e 6.0) per minimizzare l'MSE per un blocco specifico, adattando efficacemente la geometria della quantizzazione.
- Ricerca a Forza Bruta: Una baseline ottimale che esamina tutti i possibili fattori di scala per trovare l'MSE minimo teorico, stabilendo il limite superiore delle prestazioni.
- Scalatura Gerarchica: Un processo a due stadi che coinvolge una scala globale per tensore seguita da scale locali per blocco.
Valutazione a Valle: Le strategie proposte sono applicate alla quantizzazione dei pesi e delle attivazioni (specificamente negli strati MLP) di quattro LLM distinti: Granite-3.3-8B, Llama-3.1-8B, DeepSeek-LLM-7B-Base e Qwen2.5-14B. Le prestazioni sono misurate tramite i gap di perplessità rispetto alle baseline non quantizzate.

Risultati e Scoperte Chiave
Lo studio identifica che il degrado osservato con dimensioni di blocco più piccole non è un difetto intrinseco della granularità fine, ma una conseguenza di distribuzioni tensoriali a code pesanti che interagiscono male con i bin di quantizzazione superiori grossolani del formato FP4 (E2M1).

Regione A (Scale Estremamente Piccole): La scalatura abs-max standard causa frequentemente il sottoripieno del fattore di scala a zero, creando un picco nell'MSE. L'aggiustamento Prevent-Zero elimina completamente questo errore localizzato forzando la scala al valore positivo più piccolo.
Regione B (Scale Moderate): Anche con la prevenzione dello zero, persiste un'inversione paradossale in cui blocchi più piccoli producono un MSE più elevato. Ciò accade perché i valori più grandi in un blocco spesso si allineano male con la griglia grossolana E4M3, portando a un clipping eccessivo nel bin di magnitudine più grande (6.0). La metodologia 4-over-6 risolve questo problema scegliendo in modo adattivo tra fattori di scala di 4.0 e 6.0, permettendo ai valori di adattarsi alla porzione più uniforme dell'intervallo FP4 ed evitando un clipping forte.
Baseline Ottimale: La ricerca a forza bruta conferma che, quando viene selezionato il fattore di scala ideale, l'MSE migliora rigorosamente al diminuire delle dimensioni dei blocchi, validando che "più fine è meglio" è teoricamente fondato.
Comportamento Specifico del Modello: Nelle valutazioni a valle degli LLM, modelli come DeepSeek e Qwen si comportano in modo intuitivo, mostrando un miglioramento della perplessità con dimensioni di blocco più piccole. Al contrario, Granite e Llama mostrano il degrado paradossale alle dimensioni di blocco 4 e 8 sotto la scalatura standard.
- L'applicazione di Prevent-Zero offre miglioramenti localizzati ma non risolve completamente la curva a U della perplessità per Granite e Llama.
- L'applicazione di 4-over-6 riduce significativamente il gap di perplessità (ad esempio, riducendo il gap di Llama da 0.725 a 0.270 alla dimensione di blocco 4), eliminando efficacemente il paradosso.
- Intercambiabilità dei Formati: Il documento dimostra che l'uso di fattori di scala E4M3 standard combinati con scalatura gerarchica e la strategia 4-over-6 produce risultati comparabili all'uso di formati personalizzati a esponente più ampio come UE5M3. Sebbene UE5M3 offra intrinsecamente un intervallo assoluto più ampio, la ricetta algoritmica (E4M3 + 4-over-6 + Gerarchica) ottiene miglioramenti di qualità simili.

Significato e Affermazioni
Gli autori affermano di aver risolto completamente il "paradosso della dimensione del blocco" dimostrando che il degrado è guidato da interazioni specifiche tra distribuzioni tensoriali e geometria di quantizzazione, e non dalla dimensione del blocco in sé.

Risoluzione Algoritmica: Il lavoro stabilisce che formati standard e conformi all'hardware (come OCP E4M3) possono eguagliare le prestazioni di formati personalizzati a esponente più ampio (come UE5M3) se viene applicata la ricetta algoritmica corretta (in particolare 4-over-6 e scalatura gerarchica).
Compromessi Hardware: Il documento evidenzia un compromesso: mentre UE5M3 offre maggiore flessibilità senza necessità di scalatura gerarchica, l'algoritmo 4-over-6 comporta un sovraccarico computazionale (richiedendo due quantizzazioni e calcoli MSE per blocco). Questo sovraccarico è accettabile per la quantizzazione offline dei pesi, ma potrebbe essere proibitivo per la quantizzazione dinamica delle attivazioni.
Direzioni Future: Gli autori notano che le attuali euristiche sono ancora inferiori all'MSE minimo teorico stabilito dalla ricerca a forza bruta, indicando che la progettazione di algoritmi ottimali di selezione della scala rimane un'area critica per la ricerca futura.

In conclusione, il documento afferma che, con le giuste strategie di scalatura, i benefici teorici della granularità micro-scalante più fine possono essere realizzati nella pratica, consentendo miglioramenti robusti della perplessità a valle attraverso diverse architetture LLM.