🤖 AI

Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

Dit artikel identificeert een fundamentele "shrinkage bias" in niet-uniforme E2M1 FP4-formaten die trainingsinstabiliteit veroorzaakt, en stelt UFP4 voor, een uniform 4-bits (E1M2/INT4) trainingsrecept dat gebruikmaakt van de Random Hadamard Transform om superieure pretraining-prestaties over diverse modelschalen te bereiken vergeleken met bestaande E2M1-gebaseerde benaderingen.

Oorspronkelijke auteurs: Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een gigantisch, ongelooflijk complex LEGO-kasteel te bouwen (een Large Language Model). Om de constructie sneller en goedkoper te maken, besluit je te stoppen met het gebruik van de standaard, zware, precieze stenen en over te stappen op een nieuwe, ultra-lichtgewicht set kleine 4-bit steentjes.

Het probleem is dat de huidige "standaard" lichtgewicht steentjes (E2M1 genoemd) een vreemde, scheve vorm hebben. De auteurs van dit artikel hebben ontdekt dat deze steentjes een verborgen gebrek hebben: ze laten dingen telkens een klein beetje krimpen wanneer je ze gebruikt.

Hier is de uitleg van hun ontdekking en oplossing, eenvoudig uitgelegd:

1. Het Probleem: De "Krimpend" Steentjes

Denk aan de standaard E2M1-steentjes als steentjes met een ongelijkmatige tussenruimte. Sommige gaten tussen de steentjes zijn piepklein, terwijl andere juist enorm zijn.

Het Gebrek: Vanwege deze ongelijkmatige tussenruimte, wanneer je probeert een stukje data in een van deze steentjes te klikken, dwingt de wiskunde het om vaker naar beneden af te ronden dan naar boven.
Het Resultaat: Dit creëert een "Shrinkage Bias" (krimp-bias). Het is als een lekke emmer; elke keer dat je een bericht door een laag van het model stuurt, wordt het bericht net een klein beetje kleiner en zwakker.
Het Cumulatieve Effect: In een diep model met honderden lagen gebeurt deze kleine krimp steeds opnieuw. Tegen de tijd dat het bericht het einde bereikt, is het zo erg gekrompen dat het model begint door te draaien (het trainen wordt instabiel).

2. De "Magische Draai" die het Erger Maakte

Om het probleem van data die te groot of te vreemd is (outliers) op te lossen, gebruiken ingenieurs een truc genaamd Random Hadamard Transform (RHT).

De Analogie: Stel je een hoop zand voor waarbij het meeste zand in één grote berg ligt (outliers). De RHT is als een mixer die het zand ronddraait zodat het gelijkmatig over de hele tray wordt verspreid.
Het Conflict: Wanneer je het zand mengt (RHT) en het vervolgens in de scheve E2M1-steentjes probeert te plaatsen, landt het zand op de slechtst mogende plekken. De ongelijkmatige tussenruimte van de steentjes grijpt het gemengde zand en laat het nog meer krimpen dan voorheen. Het artikel stelt vast dat het standaardrecept het "lekke emmer"-probleem juist erger maakt door deze mixer te gebruiken.

3. De Oplossing: De "Gelijkmatige" Steentjes (UFP4)

De auteurs stellen een nieuw recept voor genaamd UFP4. In plaats van de scheve E2M1-steentjes te gebruiken, gebruiken ze een nieuwe set steentjes genaamd E1M2/INT4.

Het Verschil: Deze nieuwe steentjes zijn perfect uniform. De gaten tussen hen zijn allemaal exact even groot.
Waarom het Werkt: Omdat de gaten gelijkmatig zijn, is er geen "shrinkage bias". Wanneer het "gemengde zand" (de RHT-data) in deze uniforme steentjes landt, past het perfect zonder aan grootte te verliezen.
De Strategie: Met deze nieuwe, gelijkmatige steentjes realiseerden de auteurs zich dat ze de "mixer" (RHT) veilig konden gebruiken voor elk deel van het constructieproces (forward pass, backward pass en weight updates). Voorheen moesten ze voorzichtig zijn en de mixer slechts op één plek gebruiken om te voorkomen dat het model kapot ging. Nu kunnen ze het overal gebruiken.

4. Het Bewijs

Het team heeft dit nieuwe recept getest op drie verschillende formaten AI-modellen (klein, middelgroot en enorm).

Het Resultaat: De modellen gebouwd met het nieuwe UFP4 (gelijkmatige steentjes) bleven veel dichter bij de prestaties van de zware, standaard steentjes (BF16) dan de modellen gebouwd met de oude E2M1 (scheve steentjes).
De Kernboodschap: Het gelijkmatige rooster zorgt ervoor dat het model veel langer en stabieler kan trainen zonder zijn signaal te verliezen.

Samenvatting

Het artikel betoogt dat de industrie heeft geprobeerd een lekke emmer te repareren door de gaten te dichten, maar dat de emmer zelf de verkeerde vorm heeft. Door over te stappen op een emmer met perfect gelijkmatige tussenruimtes (Uniform Grids), kunnen ze eindelijk de krachtige menginstrumenten (RHT) gebruiken die voorheen te gevaarlijk waren, wat leidt tot snellere, goedkopere en stabielere AI-training.

De Kern van het Verhaal: Probeer niet alleen het oude, scheve 4-bit formaat te repareren; stap over op een nieuw, uniform 4-bit formaat om te voorkomen dat het signaal wegkrimpt.

Technische Samenvatting: Heroverweging van Shrinkage Bias in LLM FP4 Pretraining

Probleemstelling

Naarmate Large Language Models (LLMs) schalen, vereist de computationele en geheugenkosten van pretraining een verschuiving naar lagere precisieformaten. Hoewel FP8 breed is geadopteerd, ondersteunt opkomende hardware (bijv. NVIDIA Blackwell/Rubin, AMD MI350) native FP4-berekeningen. Huidige FP4-trainingsrecepten, zoals NVFP4, vertrouwen voornamelijk op het E2M1-formaat (2 exponent-bits, 1 mantissa-bit) in combinatie met de Random Hadamard Transform (RHT) om de gevoeligheid voor uitschieters (outliers) te mitigeren.

Deze op E2M1 gebaseerde recepten lijden echter onder trainingsinstabiliteit en significante degradatie van de loss ten opzichte van BF16-baselines. Het artikel identificeert een fundamentele, eerder over het hoofd geziene beperking: Shrinkage Bias. Dit is een systematische negatieve afrondingsfout die inherent is aan niet-uniforme kwantisatieformaten zoals E2M1. De geometrische asymmetrie van de representeerbare bins van E2M1 veroorzaakt een consistente "shrinkage" (inkrimping) van magnituden onder Round-to-Nearest-Even (RTNE) afronding. Cruciaal is dat het artikel stelt dat, hoewel RHT is ontworpen om uitschieters te verspreiden en de codebook-benutting te verbeteren, het de E2M1 onbedoeld verergert door de tensor-massa te verschuiven naar de meest asymmetrische afrondingsbins van het formaat, wat leidt tot een multiplicatieve signaaldecay in diepe netwerken.

Methodologie

1. Theoretische Analyse van Shrinkage Bias

De auteurs formaliseren Shrinkage Bias als een negatieve verwachte fout in de genormaliseerde magnituderuimte veroorzaakt door de geometrische asymmetrie van RTNE-bins.

Geometrische Oorsprong: In niet-uniforme roosters zoals E2M1 verandert de afstand tussen representeerbare waarden (bijv. van 0,5 naar 1,0 naar 1,5). Voor een niveau $q_i$ zijn de linker- en rechterbinbreedtes ( $\ell_i$ en $r_i$ ) vaak ongelijk. Als $r_i > \ell_i$ , is de conditionele verwachte fout onder uniforme lokale dichtheid negatief ( $\frac{\ell_i - r_i}{2} < 0$ ).
Systemische Impact: In tegen tegenstelling tot zero-mean ruis, die wegvalt, werkt deze bias als een systematische attenuatiefactor ( $\alpha < 1$ ) in matrixvermenigvuldigingen (GEMMs). Over $K$ lagen accumuleren deze factoren multiplicatief ( $\prod \alpha_k \approx \exp(-\sum \delta_k)$ ), wat zorgt voor een systematische signaaldecay.
RHT Interactie: RHT transformeert tensors van "dynamisch bereik-beperkt" naar "lokale resolutie-beperkt". Hoewel dit de bucket-benutting verbetert, dwingt het data naar de regio's met gemiddelde magnitude waar de asymmetrie van E2M1 het meest uitgesproken is, waardoor de shrinkage bias wordt versterkt.

2. Het UFP4 Recept

Op basis van de bevinding dat uniforme roosters dit geometrische foutenprobleem omzeilen, stellen de auteurs UFP4 (Uniform FP4) voor, een trainingsrecept gebouwd op een E1M2/INT4-stijl uniform rooster.

Uniform Rooster: In tegenstelling tot E2M1 behoudt het E1M2-rooster gelijke tussenafstanden tussen niveaus ( $\ell_i = r_i$ ), waardoor de geometrische bron van Shrinkage Bias wordt geëlimineerd.
Volledige RHT-dekking: Omdat het uniforme rooster ongebiasd is, kan UFP4 RHT veilig toepassen op alle drie de trainings-GEMM-paden: Forward (FPROP), Data Gradient (DGRAD) en Weight Gradient (WGRAD). Eerdere E2M1-recepten beperkten RHT tot het gewichts-gradient-pad om fouten in niet-leaf paden te voorkomen.
Stochastische Afronding (SR): SR wordt alleen toegepast op de upstream gradient ($dY$) om de verwachtingswaarden van de gradient te behouden, terwijl RTNE elders wordt gebruikt.

Belangrijkste Bijdragen

Identificatie van Shrinkage Bias: Het artikel definieert en demonstreert formeel dat niet-uniforme formaten (E2M1) inherent lijden aan een systematische negatieve afrondingsfout door geometrische asymmetrie, die verschillend is van distributie-geïnduceerde kwantisatiefouten.
Verenigde Verklaring van Instabiliteit: Het biedt een theoretische en empirische verklaring voor de trainingsinstabiliteit in bestaande E2M1-gebaseerde recepten, waarbij wordt aangetoont hoe Shrinkage Bias multiplicatief accumuleert en wordt verergerd door RHT.
Voorstel van UFP4: Een nieuw 4-bit trainingsrecept dat gebruikmaakt van uniforme roosters (E1M2/INT4) dat een alomvattende RHT over alle training-GEMMs mogelijk maakt, waardoor verbeterde bucket-benutting wordt omgezet in hogere kwantisatiekwaliteit.
Validatie op Industriële Schaal: De aanpak wordt gevalideerd op Dense 1.5B, MoE 7.9B en MoE 124B modellen, waarmee wordt aangetoond dat uniforme roosters praktische, eersteklas FP4-trainingsformaten zijn.

Experimentele Resultaten

Kwantisatie en GEMM Diagnostiek

RHT Effect: Op uitschieter-rijke tensors verbetert RHT de effectieve bucket-ratio voor beide formaten aanzienlijk. De resulterende Signal-to-Quantization-Noise Ratio (SQNR) divergeert echter: E1M2 vertoont een verbeterde SQNR na RHT, terwijl E2M1 vaak degradeert (negatieve $\Delta$ SQNR) omdat de verschoven data in asymmetrische bins terechtkomt.
GEMM Outputs: In single-GEMM tests behoudt of verbetert E1M2 de output SQNR over de forward en backward paden met RHT, terwijl E2M1 degradeert, vooral in de backward paden.

End-to-End Pretraining

Loss Degradatie: Bij langdurige pretraining-taken bereikt UFP4 (E1M2) consequent een lagere relatieve loss-degradatie ten opzichte van BF16 vergeleken met sterke E2M1-baselines.
- Dense 1.5B: Relatieve fout verminderd van 1,2570% (E2M1) naar 0,9673% (UFP4).
- MoE 7.9B: Verminderd van 2,3596% naar 1,8469%.
- MoE 124B: Verminderd van 1,7308% naar 1,3863%.
Scaling Laws: Het voordeel van UFP4 blijft standhouden over verschillende modelgroottes (10M tot 324M parameters). De gefitte loss-curves laten zien dat de E1M2-kloof tot BF16 kleiner blijft dan de E2M1-kloof, en dat de FP4-penalty niet groeit met de rekenkracht-schaal.
Ablatie Studies:
- RHT Scope: Volledige RHT-dekking (alle drie de GEMMs) levert de beste resultaten voor UFP4 op, terwijl het beperken van RHT (zoals gedaan in E2M1-recepten) de prestaties beperkt.
- Bereikbeperking: Pogingen om een uniform rooster te emuleren door het dynamische bereik van E2M1 te beperken (bijv. het max-waarde begrenzen) slaagden er niet in de prestaties van native E1M2 te evenaren, waarbij het dynamische bereik werd opgeofferd zonder de bias volledig te elimineren.

Efficiëntie

Kernel Fusion: De auteurs demonstreren dat RHT efficiënt kan worden gefuseerd met FP4-kwantisatie. Op geteste hardware (SM90/SM100) is de gefuseerde RHT+kwantisatie latentie slechts ~1,06x–1,07x die van standalone kwantisatie, vergeleken met ~1,4x–1,6x voor ongefuseerde implementaties.

Betekenis en Claims

Het artikel betoogt dat de huidige industriestandaard om E2M1 als het enige levensvatbare FP4-trainingsformaat te behandelen, suboptimaal is vanwege de geometrische beperkingen. De betekenis van dit werk ligt in:

Uitdaging van de Status Quo: Het suggereert dat toekomstige ML-accelerators E1M2/INT4-stijl uniforme 4-bit roosters moeten ondersteunen als eersteklas trainingsprimitieven naast E2M1, in plaats van enkel op E2M1 te vertrouwen.
Format-Regime Mismatch: Het benadrukt dat de effectiviteit van technieken voor het mitigeren van uitschieters zoals RHT afhankelijk is van de onderliggende roostergeometrie. RHT is gunstig voor uniforme roosters, maar nadelig voor niet-uniforme roosters in diepe trainingsregimes.
Praktisch Recept: UFP4 biedt een concreet, schaalbaar recept dat de kloof tussen FP4 en BF16-training verkleint zonder complexe estimator-modificaties te vereisen, simpelweg door de roostergeometrie af te stemmen op de post-RHT tensordistributie.

De auteurs concluderen dat hoewel E2M1 geschikt blijft voor bereik-beperkte workloads en inferentie, trainingshardware moet evolueren om uniforme roosters te ondersteunen om het potentieel van FP4-pretraining volledig te benutten.