🤖 machine learning

Finer is Better (with the Right Scaling)

Dit artikel lost het paradox op waarbij het verkleinen van quantisatieblokgroottes de prestaties van Large Language Models verslechtert, door aan te tonen dat het probleem voortkomt uit zwaarstaartverdelingen die slecht samenwerken met FP4-formaten, en laat zien dat gerichte algoritmische ingrepen zoals 4-over-6-schaling en onderlooppreventie het mogelijk maken dat standaard hardware-conforme formaten optimale kwaliteit bereiken met fijnere granulariteit.

Oorspronkelijke auteurs: Clemens Schaefer, Gil Tabak

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Clemens Schaefer, Gil Tabak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Te-Fijne" Paradox

Stel je voor dat je een koffer moet inpakken voor een reis. Je hebt een enorme stapel kleding (data) en een beperkte hoeveelheid ruimte (geheugen). Om alles erin te krijgen, besluit je de kleding in steeds kleinere bundels (zogenaamde blokken) te hakken, zodat je ze efficiënter kunt ordenen.

Intuïtief zou je denken: "Hoe kleiner de bundels, hoe beter ik alles kan passen, toch?"

In de wereld van AI noemen we dit kwantisatie. Wetenschappers probeerden deze bundels te verkleinen om AI-modellen kleiner en sneller te maken. Maar ze botsten op een vreemde paradox: Toen ze de bundels te klein maakten, werd de AI juist slechter in zijn werk. Het was alsof je een koffer zo zorgvuldig probeerde in te pakken dat je de kleding uiteindelijk verpletterde en onbruikbaar maakte.

Waarom gebeurde dit?

De auteurs van dit paper onderzochten waarom deze "te-fijne" paradox zich voordeed. Ze vonden twee hoofdschuldigen:

1. De "Nul"-Glitch (De Lege Doos)
Stel je een doos voor die alleen getallen kan bevatten. Als een getal heel klein is, kan de liniaal van de doos het afronden naar nul. Als je een hele bundel van zulke kleine getallen hebt, kan de liniaal zeggen: "Oké, alles in deze bundel is nul," en het hele ding weggooien.

De Oplossing: Het paper stelt een simpele regel voor: Laat de liniaal nooit nul zeggen. Als een getal te klein is, forceer de liniaal dan om het kleinste mogelijke positieve getal te gebruiken. Hierdoor blijft de informatie behouden.

2. Het "Ruwe Liniaal"-Probleem (Het Grove Rooster)
Dit is het grotere probleem. De AI gebruikt een specifiek type "liniaal" (genaamd E4M3) om deze bundels te meten. Deze liniaal heeft zeer grote gaten tussen de streepjes, vooral aan het hoge einde.

De Analogie: Stel je voor dat je een bergketen probeert te meten met een liniaal die alleen streepjes heeft voor 1 voet, 2 voet, 4 voet en 6 voet.
- Als je een kleine heuvel hebt (een klein blok data), kan de liniaal je dwingen om een 5,9-voet hoge heuvel af te ronden naar 6 voet. Dat is een enorme fout!
- Wanneer je de bundels kleiner maakt, eindig je met meer van deze "hoge" getallen die in die grote, onhandige 6-voet-emmer worden gedwongen. Hoe kleiner de bundel, hoe vaker deze slechte afronding gebeurt, en hoe slechter de AI presteert.

De Oplossingen: Hoe Ze Het Oplosten

De auteurs testten drie hoofdmanieren om dit op te lossen, en bewezen dat fijnere blokken wel beter zijn, maar alleen als je de juiste tools gebruikt.

1. De "Ga Niet Naar Nul"-Regel
Ze programmeerden het systeem simpelweg om nooit toe te staan dat een schalingsfactor nul wordt.

Resultaat: Dit loste het probleem op voor zeer kleine getallen, maar het loste het probleem niet op voor de "hoge" getallen die naar 6 werden afgerond.

2. De "4-of-6"-Keuze (De 4-voor-6 Methode)
Dit is het "geheime ingrediënt" van het paper. In plaats van één vaste liniaal te gebruiken, kan het systeem voor elke bundel kiezen tussen twee specifieke instellingen: 4 of 6.

De Analogie: Stel je voor dat je een doos inpakt. Soms passen je spullen het beste in een "Middelgrote" doos (4), en soms het beste in een "Grote" doos (6). In plaats van alles in een "Grote" doos te forceren (wat de kleine spullen verplettert), controleert het systeem: "Welke van deze twee dozen past het beste bij deze specifieke bundel?"
Resultaat: Hierdoor kon de AI de onhandige afrondingsfouten vermijden. Toen ze deze methode gebruikten, verdween de "paradox". Kleinere bundels werden plotseling veel beter, precies zoals ze hadden moeten zijn.

3. De "Brute Kracht"-Controle
Om hun punt te bewijzen, draaiden ze een computeroptimalisatie die elke mogelijke manier probeerde om de bundels te meten om de perfecte te vinden.

Resultaat: Dit bewees dat theoretisch kleinere bundels altijd beter werken als je de perfecte meting kiest. Het feit dat de AI eerder faalde, was niet omdat kleine bundels slecht zijn; het was gewoon omdat ze een slechte meetmethode gebruikten.

De Realiteitstest: Werkt Dit op Echte AI?

Ze testten dit op vier beroemde AI-modellen (Granite, Llama, DeepSeek en Qwen).

Het Probleem: Twee van de modellen (Granite en Llama) werden slechter naarmate de bundels kleiner werden, precies zoals de paradox voorspelde.
De Oplossing: Toen ze de "4-of-6"-keuze en de "Ga niet naar nul"-regel toepasten, stopten die modellen met verslechteren. Sterker nog, ze werden beter naarmate de bundels kleiner werden.
De Vergelijking: Ze probeerden ook een chiquer, duurder liniaal (genaamd UE5M3) die meer streepjes heeft. Dit werkte ook goed, maar vereist meer hardwarekracht. Hun "4-of-6"-truc stelde hen in staat om de goedkopere, standaardliniaal te gebruiken en dezelfde geweldige resultaten te behalen.

De Conclusie

Het paper concludeert dat het kleiner en efficiënter maken van AI-modellen (met behulp van kleine blokken) een geweldig idee is. De reden dat het eerder faalde, was geen gebrek aan het idee zelf, maar een gebrek aan het "meetlint" dat werd gebruikt.

Door een slimmere manier te gebruiken om te kiezen hoe de data wordt gemeten (specifiek de "4-voor-6"-methode), kunnen we AI-modellen kleiner, sneller en nauwkeuriger maken zonder dure nieuwe hardware nodig te hebben. De paradox is opgelost: Fijner is inderdaad beter, zolang je maar de juiste schaling hebt.

Technische Samenvatting: Fijnkorreliger is Beter (met de Juiste Schaling)

Probleemstelling
De implementatie van Large Language Models (LLM's) op datacenter- en edge-architecturen is steeds meer afhankelijk van ultra-lage precisieformaten (4-bit of minder) om geheugen- en bandbreedteknelpunten te mitigeren. Microscaling, waarbij individuele schalingsfactoren worden toegepast op kleine datablokken (bijvoorbeeld met een grootte van 16 of 32), is een cruciale techniek voor het behoud van modelkwaliteit in deze regimes. Een recente paradox die in de literatuur [1] is geïdentificeerd, staat echter in tegenspraak met de intuïtieve verwachting dat fijnere blokgroottes leiden tot een lagere kwantisatiefout. Specifiek kan bij gebruik van standaard absolute maximum (abs-max) schaling met E4M3-schalingsfactoren het verkleinen van blokgroottes paradoxaal genoeg de modelkwaliteit verslechteren, wat resulteert in een hogere Mean Squared Error (MSE) en een toegenomen downstream perplexiteit. Dit artikel onderzoekt de onderliggende mechanismen van dit fenomeen om vast te stellen of het een inherente beperking van fijne granulariteit is of een oplosbaar algoritmisch probleem.

Methodologie
De auteurs voeren een tweefasig onderzoek uit dat numerieke analyse en volledige model-evaluatie combineert:

Numerieke Studie: De auteurs analyseren het kwantisatiegedrag over verschillende blokgroottes (4, 8, 16, 32) met behulp van FP4 (OCP E2M1) voor data en E4M3 voor schalingsfactoren. Ze bemonsteren normale verdelingen om het theoretische MSE-gedrag te isoleren.
Schalingsstrategieën: Het onderzoek evalueert verschillende schalingsmethodologieën:
- Standaard Abs-Max: De basismethode waarbij de schaal de maximale absolute waarde in het blok is, afgerond naar de dichtstbijzijnde representeerbare waarde in het E4M3-formaat.
- Prevent-Zero: Een modificatie waarbij de schalingsfactor wordt afgeknepen op de kleinste niet-nul representeerbare waarde ( $\epsilon_{SF}$ ) om onderloop naar nul te voorkomen, wat anders alle waarden in een blok tot nul zou laten instorten.
- 4-over-6: Een algoritmische interventie [2] die de schalingsfactor kiest uit de twee grootste representeerbare waarden in het FP4-bereik (4.0 en 6.0) om de MSE voor een specifiek blok te minimaliseren, waardoor de kwantisatiegeometrie effectief wordt aangepast.
- Brute-Force Search: Een optimale basislijn die alle mogelijke schalingsfactoren doorzoekt om de theoretisch minimale MSE te vinden, waarmee de bovengrens van prestaties wordt vastgesteld.
- Hiërarchische Schaling: Een tweestapsproces waarbij een globale schaal per tensor volgt op lokale blokschalen.
Downstream Evaluatie: De voorgestelde strategieën worden toegepast op de kwantisatie van gewichten en activaties (specifiek MLP-lagen) van vier verschillende LLM's: Granite-3.3-8B, Llama-3.1-8B, DeepSeek-LLM-7B-Base en Qwen2.5-14B. Prestaties worden gemeten aan de hand van perplexiteitsverschillen ten opzichte van niet-gekwantiseerde basislijnen.

Belangrijkste Bevindingen en Resultaten
Het onderzoek identificeert dat de verslechtering die wordt waargenomen bij kleinere blokgroottes geen inherente fout van fijne granulariteit is, maar een gevolg van zwaarstaart-tensorverdelingen die slecht interageren met de grove bovenste kwantisatiebakken van het FP4 (E2M1)-formaat.

Regio A (Extreem Kleine Schalen): Standaard abs-max schaling veroorzaakt frequent dat de schalingsfactor onderloopt naar nul, wat een piek in de MSE creëert. De Prevent-Zero aanpassing elimineert deze lokale fout volledig door de schaal te forceren naar de kleinste positieve waarde.
Regio B (Matige Schalen): Zelfs met nul-preventie blijft een paradoxaal omgekeerd effect bestaan waarbij kleinere blokken een hogere MSE opleveren. Dit gebeurt omdat de grootste waarden in een blok vaak slecht aansluiten bij het grove E4M3-rooster, wat leidt tot excessieve afsnijding in de bak met de grootste magnitude (6.0). De 4-over-6-methode lost dit op door adaptief te kiezen tussen schalingsfactoren van 4.0 en 6.0, waardoor waarden in het uniformere deel van het FP4-bereik passen en sterke afsnijding wordt vermeden.
Optimale Basislijn: De brute-force zoektocht bevestigt dat wanneer de ideale schalingsfactor wordt geselecteerd, de MSE strikt verbetert naarmate de blokgroottes afnemen, wat valideert dat "fijnkorreliger is beter" theoretisch onderbouwd is.
Model-specifiek Gedrag: Bij downstream LLM-evaluaties gedragen modellen zoals DeepSeek en Qwen zich intuïtief, met een verbeterde perplexiteit bij kleinere blokgroottes. Daarentegen vertonen Granite en Llama de paradoxale verslechtering bij blokgroottes 4 en 8 onder standaard schaling.
- Het toepassen van Prevent-Zero biedt lokale verbeteringen, maar lost de U-vormige perplexiteitscurve voor Granite en Llama niet volledig op.
- Het toepassen van 4-over-6 verkleint het perplexiteitsverschil aanzienlijk (bijvoorbeeld het verkleinen van het verschil voor Llama van 0,725 naar 0,270 bij blokgrootte 4), waardoor de paradox effectief wordt geëlimineerd.
- Formaat Uitwisselbaarheid: Het artikel toont aan dat het gebruik van standaard E4M3-schalingsfactoren in combinatie met hiërarchische schaling en de 4-over-6-strategie resultaten oplevert die vergelijkbaar zijn met het gebruik van aangepaste, bredere-exponentformaten zoals UE5M3. Hoewel UE5M3 inherent een breder absoluut bereik biedt, bereikt het algoritmische recept (E4M3 + 4-over-6 + Hiërarchisch) vergelijkbare kwaliteitsverbeteringen.

Beteekenis en Aanspraken
De auteurs claimen de "blokgrootte-paradox" volledig te hebben opgelost door aan te tonen dat de verslechtering wordt gedreven door specifieke interacties tussen tensorverdelingen en kwantisatiegeometrie, en niet door de blokgrootte zelf.

Algoritmische Oplossing: Het werk stelt vast dat standaard, hardware-conforme formaten (zoals OCP E4M3) de prestaties van aangepaste, bredere-exponentformaten (zoals UE5M3) kunnen evenaren als het juiste algoritmische recept (specifiek 4-over-6 en hiërarchische schaling) wordt toegepast.
Hardware Trade-offs: Het artikel benadrukt een trade-off: terwijl UE5M3 meer flexibiliteit biedt zonder dat hiërarchische schaling nodig is, brengt het 4-over-6-algoritme rekenkundige overhead met zich mee (waarbij twee kwantisaties en MSE-berekeningen per blok nodig zijn). Deze overhead is acceptabel voor offline gewichtskwantisatie, maar kan prohibitief zijn voor dynamische activatiekwantisatie.
Toekomstige Richtingen: De auteurs merken op dat huidige heuristieken nog steeds onder de theoretisch minimale MSE blijven die door brute-force search is vastgesteld, wat aangeeft dat het ontwerpen van optimale schaal-selectiealgoritmen een kritiek gebied blijft voor toekomstig onderzoek.

Concluderend stelt het artikel dat met de juiste schalingsstrategieën de theoretische voordelen van fijnere microscaling-granulariteit in de praktijk kunnen worden verwezenlijkt, waardoor robuuste verbeteringen in downstream perplexiteit mogelijk worden over diverse LLM-architecturen.