Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction

Dit paper introduceert twee software-only technieken, Overflow-Aware Scaling en Macro Block Scaling, die de nauwkeurigheidskloof tussen het MXFP4- en NVFP4-quantisatieformaat voor grote taalmodellen van ongeveer 10% tot minder dan 1% verkleinen zonder hardware-aanpassingen.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met de slimste boeken ter wereld (deze "boeken" zijn de Grote Taalmodellen of LLM's, zoals die van Meta of Google). Om deze boeken snel te kunnen lezen op een kleine, energiezuinige leeslamp (zoals een smartphone of een goedkope server), willen we de tekst verkleinen.

In de digitale wereld noemen we dit kwantisatie: we maken de getallen in het model kleiner en minder precies, zodat ze minder ruimte en energie kosten.

Er zijn twee manieren om deze "kleine getallen" te maken:

1. NVFP4 (De dure, perfecte methode): Dit is als het schrijven van een boek in een heel duur, speciaal papier. Het ziet er perfect uit, maar het kost veel geld om het papier te maken (hardware).
2. MXFP4 (De goedkope, snelle methode): Dit is als het schrijven op een goedkoop kladblok. Het is veel goedkoper en sneller, maar de tekst is soms wat onleesbaar of mist details.

Het probleem:
De goedkope methode (MXFP4) werkt vaak niet goed genoeg. De "tekst" wordt zo vaag dat de AI domme fouten maakt. Het verschil in kwaliteit tussen de dure en goedkope methode is groot (ongeveer 10% minder slim).

De oplossing van dit papier:
De onderzoekers van Meta hebben twee slimme software-trucs bedacht om de goedkope methode (MXFP4) te verbeteren, zonder dat je nieuwe, dure hardware hoeft te kopen. Ze noemen deze trucs OAS en MBS.

Hier is hoe ze werken, vertaald naar alledaagse analogieën:

1. OAS: De "Overflow-Aware" Truc (De slimme schaal)

Stel je voor dat je een groep mensen moet wegen met een weegschaal die alleen hele getallen aangeeft (bijv. 1, 2, 3 kg).

• Het oude probleem: Als iemand 3,9 kg weegt, zegt de weegschaal "4 kg". Als iemand 6,1 kg weegt, zegt hij "6 kg" (en dan stopt de weegschaal, want dat is het maximum). De mensen die net boven het maximum zitten, worden allemaal als "6 kg" gemeten, wat een grote fout is.
• De OAS-oplossing: De onderzoekers zeggen: "Wacht even! Als we zien dat iemand zwaarder is dan 3,5 kg, vermenigvuldigen we de hele groep even met een factor zodat de zwaarste persoon net onder het maximum valt."
• Het resultaat: In plaats van dat de zwaarste persoon wordt afgerond naar een onnauwkeurige waarde, schuiven we de hele schaal een beetje op. Hierdoor worden de kleine fouten bij de zware mensen veel kleiner. Het is alsof je de weegschaal even een beetje "oprekt" zodat hij de zware mensen beter kan meten zonder dat hij breekt.

2. MBS: De "Macro Block" Truc (De speciale lens voor uitzonderingen)

Stel je voor dat je een foto maakt van een drukke markt. De meeste mensen zijn normaal gekleed, maar er staat één persoon in een felrode cape die opvalt (een uitbijter of outlier).

• Het oude probleem: De goedkope methode (MXFP4) behandelt iedereen hetzelfde. Omdat de persoon in de rode cape zo opvalt, verandert hij de kleur van de hele foto, waardoor de normale mensen er vaag uitzien.
• De MBS-oplossing: De onderzoekers zeggen: "Laten we de foto in stukken knippen. Voor de normale mensen gebruiken we de goedkope methode. Maar voor het stukje met de rode cape, gebruiken we een speciale, hogere-resolutie lens."
• Hoe het werkt: Ze kijken naar een groter blok (bijvoorbeeld 128 mensen tegelijk). Als ze zien dat er een "rode cape" (een extreem groot getal) in zit, geven ze dat specifieke blok een extra, precieze schaalwaarde. Dit kost heel weinig extra ruimte, maar zorgt ervoor dat die ene belangrijke persoon perfect wordt vastgelegd, zonder dat de rest van de foto verandert.

Wat is het eindresultaat?

Door deze twee software-trucs te combineren, gebeurt er iets magisch:

• De goedkope methode (MXFP4) wordt bijna net zo slim als de dure methode (NVFP4).
• Het kwaliteitsverschil zakt van 10% naar minder dan 1%.
• Je hebt geen nieuwe hardware nodig. Het werkt gewoon op bestaande chips.
• Het kost slechts een heel klein beetje extra rekenkracht (ongeveer 6% trager), wat verwaarloosbaar is vergeleken met het enorme voordeel in kwaliteit.

Kortom:
De onderzoekers hebben bewezen dat je niet per se de duurste, zwaarste hardware nodig hebt om slimme AI te draaien. Met een paar slimme software-updates (OAS en MBS) kun je de goedkope, energiezuinige methode (MXFP4) zo verbeteren dat hij net zo goed werkt als de dure variant. Dit maakt het mogelijk om slimme AI-apps op meer apparaten te draaien, sneller en goedkoper.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) vereisen steeds meer rekenkracht en geheugen, wat de noodzaak voor efficiënte inferentie via kwantisatie (verlagen van precisie) vergroot. Hoewel het Open Compute Project (OCP) de MXFP4-standaard (Microscaling) heeft geïntroduceerd vanwege zijn hardware-efficiëntie, presteert deze format significant slechter dan NVIDIAs NVFP4 in termen van nauwkeurigheid.

De kernproblemen van MXFP4 ten opzichte van NVFP4 zijn:

1. Grovere blokgrootte: MXFP4 gebruikt blokken van 32 elementen, terwijl NVFP4 blokken van 16 gebruikt. Grotere blokken leiden tot meer "flush-to-zero" fouten bij waarden met een lage magnitude binnen een blok met hoge variatie.
2. Beperkte schaalprecisie: MXFP4 gebruikt een schalingsfactor in het formaat E8M0 (8 bits exponent, 0 bits mantisse), wat betekent dat schalingen strikt beperkt zijn tot machten van twee. NVFP4 gebruikt E4M3 (4 bits exponent, 3 bits mantisse), waardoor het fijnmazigere schalingsfactoren kan kiezen om uitschieters (outliers) beter te benaderen.

Dit leidt tot een nauwkeurigheidskloof van ongeveer 10% tussen MXFP4 en NVFP4, wat de adoptie van MXFP4 in kritieke scenario's beperkt. Het verbeteren van MXFP4 via hardware-wijzigingen (zoals het toevoegen van mantisse-bits) zou echter de hardware-oppervlakte en energiekosten aanzienlijk verhogen.

Methodologie

De auteurs stellen twee software-only technieken voor die de kwantisatiefouten van MXFP4 verminderen zonder hardware-aanpassingen:

1. Overflow-Aware Scaling (OAS)

• Doel: Het vergroten van het effectieve dynamische bereik onder de beperkingen van macht-van-twee schaling.
• Werking: In de standaard MXFP4 wordt de maximale waarde van een blok ($\alpha_{max}$) gemapt naar het bereik $(3, 6]$. De auteurs observeren dat als $\alpha_{max}$ in het bereik $[3, 3.5]$ ligt, het verdubbelen van de schalingsfactor de waarde naar $[6, 7]$ brengt. Hoewel dit boven de formele limiet van 6.0 uitkomt (overflow), behoudt het de relatieve kwantisatiefout voor de oorspronkelijke waarden.
• Voordeel: Deze aanpassing verdubbelt het representeerbare dynamische bereik voor elementen met een lage magnitude, wat de kwantisatiefout voor de "staart" van de verdeling vermindert. Dit levert ongeveer 0,5 dB QSNR (Quantization Signal-to-Noise Ratio) winst op.

2. Macro Block Scaling (MBS)

• Doel: Het isoleren en behouden van uitschieters (outliers) die een disproportioneel grote invloed hebben op de modelkwaliteit, zonder de hoge hardwarekosten van een fijnmazig schalingsformaat (zoals E4M3) te betalen.
• Werking:
  • In plaats van schaling op het niveau van 16-elementenblokken, wordt er een coarser "Macro Block" van 128 elementen gebruikt.
  • Voor elk Macro Block wordt een extra schalingsfactor berekend met 8 bits mantisse-precisie (in tegenstelling tot de 0 bits van de standaard MXFP4).
  • Deze factor wordt gebruikt om de waarden binnen de onderliggende 16-elementenblokken te schalen voordat de standaard MXFP4-kwantisatie plaatsvindt.
  • Er worden twee varianten aangeboden:
    • MBS-Static: Bereken de schalingsfactor direct op basis van de maximale waarde van het macro-blok (rekenkundig goedkoop).
    • MBS-Dynamic: Gebruik een vooraf berekende zoektabel (Look-Up Table) om de schalingsfactor te optimaliseren die de som van de kwadratische fouten (SSE) minimaliseert (hoge precisie, iets meer overhead).
• Implementatie: De schaling wordt uitgevoerd op Vector Cores, parallel aan de hoofdwerklast op de Tensor Cores, waardoor de latency wordt verborgen.

Belangrijkste Bijdragen

1. Analyse van de nauwkeurigheidskloof: De auteurs kwantificeren dat de kloof tussen MXFP4 en NVFP4 voornamelijk wordt veroorzaakt door de blokgrootte (32 vs 16) en het ontbreken van mantisse-bits in de schalingsfactor.
2. Software-only oplossingen: Ze introduceren OAS en MBS als "drop-in" technieken die compatibel zijn met bestaande MXFP4-hardware (zoals NVIDIA Blackwell) zonder hardware-wijzigingen.
3. Hardware-efficiëntie behouden: Door software-optimalisaties te gebruiken, worden de hardware-voordelen van MXFP4 (zoals 12% oppervlaktebesparing in tensor cores ten opzichte van NVFP4) behouden, terwijl de nauwkeurigheid wordt hersteld.

Resultaten

De methoden zijn getest op diverse LLM's (Llama 3.1-8B, Qwen3-8B, DeepSeek-R1, Llama 4-Maverick) en benchmarks (MMLU-PRO, GSM8K, etc.).

• Nauwkeurigheid:
  • De combinatie van OAS en MBS verkleint de nauwkeurigheidskloof tussen MXFP4 en NVFP4 van ~10% naar minder dan 1% (gemiddeld).
  • Op de QSNR-maatstaf (Quantization Signal-to-Noise Ratio) wordt de kloof verkleind tot < 1 dB, wat statistisch vergelijkbare fouten impliceert.
  • Bijvoorbeeld, op Llama 3.1-8B stijgt de gemiddelde nauwkeurigheid van 61,25% (standaard MXFP4) naar 66,50% (MXFP4-MBS-H), wat zeer dicht bij de NVFP4-score van 67,02% ligt.
• Overhead:
  • De extra rekenkosten voor de Matrix Multiplication (GEMM) zijn minimaal. De gemiddelde overhead is 6,2% voor de pre-fill fase, wat aanzienlijk lager is dan vergelijkbare methoden zoals MX+ (die tot 54% overhead rapporteerde).
  • Voor de decode-fase is de overhead verwaarloosbaar omdat deze geheugen-gebonden is.
• Hardware Impact:
  • De methode vereist geen hardware-wijzigingen. Het benut bestaande Tensor Core-architecturen en Vector Cores.

Betekenis en Conclusie

Dit paper herpositioneert MXFP4 als een praktisch en krachtig alternatief voor NVFP4. Door de software-technieken OAS en MBS te implementeren, kunnen organisaties de aanzienlijke hardware-efficiëntie en kostenbesparingen van het OCP MX-standaardformaat benutten zonder in te leveren op modelnauwkeurigheid.

Dit opent de deur voor bredere adoptie van 4-bit kwantisatie in grote taalmodellen, vooral in scenario's waar energie-efficiëntie en kosteneffectiviteit cruciaal zijn, terwijl de prestaties op het niveau blijven van de duurder te implementeren NVFP4-formaat. De aanpak demonstreert dat slimme software-optimalisaties de beperkingen van lagere precisie-formats effectief kunnen opheffen.