🤖 machine learning

Search Your Block Floating Point Scales!

Dit artikel introduceert ScaleSearch, een nieuwe strategie die schaalfactoren in Block Floating Point optimaliseert via een fijnmazige zoektocht naar mantissenbits om kwantisatiefouten aanzienlijk te verminderen en de prestaties van generatieve modellen met lage precisie te verbeteren, inclusief een gespecialiseerd ScaleSearchAttention-algoritme dat bijna nul prestatieverlies bereikt.

Oorspronkelijke auteurs: Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Koffer Efficiënt Prikken

Stel je voor dat je een koffer (het geheugen van een computer) probeert te pakken voor een reis. Je hebt veel spullen (data) die erin moeten, maar de koffer is klein. Om alles erin te krijgen, moet je de spullen samendrukken (dit heet kwantisatie).

Vroeger, bij het inpakken van een groep spullen, keek je naar het grootste voorwerp in de groep en zei je: "Oké, ik druk alles andere zo klein dat het grootste voorwerp perfect past." Dit is de standaardmethode die door moderne AI-chips wordt gebruikt.

Het Probleem:
De auteurs merkten op dat het feit dat het grootste voorwerp past, niet betekent dat de rest van de spullen efficiënt is ingepakt. Soms laat het samendrukken van alles op basis van het grootste voorwerp veel lege ruimte over, of worden de kleinere voorwerpen te veel samengedrukt, waardoor ze later moeilijk te herkennen zijn. Het is als proberen een gigantische teddybeer en een tiny knoop in een doos te krijgen; als je de doos op de beer afstemt, gaat de knoop verloren in de ruis.

De Oplossing: "ScaleSearch" (De Slimme Pakker)

Het paper introduceert een nieuwe strategie genaamd ScaleSearch. In plaats van alleen naar het grootste voorwerp te kijken en de regel één keer vast te stellen, neemt het algoritme een kleine "zoeklicht" en controleert een paar verschillende manieren om de koffer te pakken.

De Oude Manier: "Het grootste voorwerp is 25 cm hoog. Ik maak mijn schaal 25."
De Nieuwe Manier (ScaleSearch): "Het grootste voorwerp is 25 cm. Maar wacht... als ik mijn schaal op 24,5 zet, past het grote voorwerp nog steeds, maar worden de middelgrote voorwerpen veel duidelijker. Als ik het op 26,5 zet, zien de kleine voorwerpen er beter uit. Laat me deze paar opties snel testen en degene kiezen die de hele groep het beste laat zien."

Het paper toont aan dat door deze kleine, snelle zoektocht de computer de data veel nauwkeuriger kan inpakken, waardoor de "kwantisatiefout" (de rommeligheid veroorzaakt door het samendrukken van data) met ongeveer 27% wordt verminderd.

De Speciale Hardware: NVFP4

Deze truc werkt specifiek vanwege nieuwe, supersnelle computerchips (NVIDIA's Blackwell-architectuur) die een formaat gebruiken dat NVFP4 heet.

Stel je de oude inpakmethode voor als het gebruik van een liniaal met alleen grote streepjes (1, 2, 3). De nieuwe chips hebben een liniaal met kleine, fijne streepjes (1,0; 1,1; 1,2, enz.). ScaleSearch is de techniek die gebruikmaakt van die kleine, fijne streepjes om de perfecte pasvorm te vinden, in plaats van alleen maar te gokken met de grote streepjes.

De "Attention" Upgrade: ScaleSearchAttention

AI-modellen (zoals chatbots) moeten letten op woorden die ze al hebben gezegd om het volgende woord te begrijpen. Dit "geheugen" heet de KV Cache. Het opslaan van dit geheugen neemt veel ruimte in beslag en vertraagt de dingen.

De auteurs hebben een speciale versie gemaakt genaamd ScaleSearchAttention.

Wat het doet: Het past de logica van de "Slimme Pakker" toe op het geheugen van de AI.
Het Resultaat: Het stelt de AI in staat om zijn geheugen in een zeer compact formaat (4-bit) op te slaan zonder zijn vermogen om context te begrijpen te verliezen.
De Analogie: Stel je een bibliothecaris voor die normaal gesproken elke boektitel volledig moet uitschrijven (traag en omvangrijk). Met deze nieuwe methode gebruikt de bibliothecaris een slimme afkortcode die klein en snel te schrijven is, maar die dubbelcheckt om ervoor te zorgen dat ze geen belangrijke details hebben gemist.

Wat Hebben Ze Bewezen? (De Resultaten)

Het paper testte dit op echte AI-modellen (zoals Llama en Qwen) en videogeneratietools (zoals Mochi).

Betere Wiskunde & Redenering: Toen ze ScaleSearch toepasten op wiskundeproblemen, werd de AI aanzienlijk slimmer. Voor één model sprong de score op een wiskundetoets met 15 punten ten opzichte van de standaardmethode.
Betere Taal: Toen de AI verhalen schreef of vragen beantwoordde, maakte hij minder fouten. De "perplexiteit" (een maatstaf voor hoe verward de AI is) daalde, wat betekent dat de AI natuurlijker en menselijker klonk.
Snelheid: Het beste deel? Deze "zoektocht" is zo snel dat hij de computer nauwelijks vertraagt. Het is als het controleren van drie verschillende manieren om je schoenen te strikken; het duurt een fractie van een seconde, maar zorgt ervoor dat je later niet struikelt. Het systeem draait op 98% van de snelheid van de standaardmethode.

Samenvatting

Het paper zegt: "Raad niet zomaar hoe je je data moet verkleinen op basis van het grootste stuk. Neem een fractie van een seconde de tijd om een paar nabijgelegen opties te controleren, en je krijgt een veel duidelijker, nauwkeuriger resultaat met bijna geen snelheidsverlies."

Ze noemen dit ScaleSearch, en wanneer dit wordt toegepast op het geheugen van de AI, noemen ze het ScaleSearchAttention. Het maakt AI-modellen slimmer en efficiënter zonder nieuwe hardware nodig te hebben.

Technische Samenvatting: Zoek Uw Block Floating Point-schalen!

Probleemstelling

Quantisatie is een standaardtechniek voor het versnellen van inferentie bij generatieve modellen, maar het behoud van nauwkeurigheid bij ultra-lage bit-breedtes blijft een uitdaging. Hoewel Block Floating Point (BFP)-formaten een gebalanceerde afweging bieden tussen dynamisch bereik, geheugenefficiëntie en doorvoer, vertrouwen standaard BFP-algoritmen op een vaste schaal die wordt bepaald door de maximale absolute grootte binnen een blok. De auteurs stellen vast dat deze "max-scaling"-heuristiek vaak suboptimaal is, wat leidt tot onnodige quantisatiefouten. Dit probleem is vooral relevant met de komst van NVIDIA's Blackwell-architectuur, die hardware-ondersteuning introduceert voor microscaling BFP-formaten zoals NVFP4. In tegenstelling tot traditioneel BFP, bevat NVFP4 mantissenbits binnen zijn 8-bits blokschaal (E4M3-formaat), wat een fijnere granulariteit biedt voor schaalselectie die standaard max-scaling niet weet te benutten.

Methodologie

ScaleSearch

De kernbijdrage is ScaleSearch, een algoritme dat gebruikmaakt van de mantissenbits in microscaling-formaten om een fijnmazige zoektocht uit te voeren naar de optimale blokschaal.

Mechanisme: In plaats van de schaal rigide te selecteren op basis van de maximale waarde van het blok ( $s = \text{round}(\|x\|_\infty / 6.0)$ ), verkent ScaleSearch een nabuurschap van schalen rond deze standaardwaarde. Het behandelt de schaal als een gehele offset $f$ die wordt toegepast op de bitrepresentatie van de standaardschaal: $s(f) = \text{reinterpret}(\text{reinterpret}(s, \text{int8}) + f, \text{fp8}_{UE4M3})$ .
Zoekstrategie: Het algoritme doorzoekt exhaustief een klein bereik van offsets (bijv. $f \in [-2, 6]$ ) om de schaal te vinden die de Gemiddelde Kwadratische Fout (MSE) voor de gegeven blokdistributie minimaliseert.
Redenering: Empirische analyse op zowel synthetische Gaussische data als echte neurale netwerkkactivaties (bijv. Llama 3.1 Key-toestanden) onthult een bimodale distributie van optimale offsets. Terwijl de standaardschaal (offset 0) de grootste grootte afbeeldt naar de FP4-waarde 6, wordt een aanzienlijk deel van de blokken beter weergegeven door de grootste grootte af te beelden naar de FP4-waarde 4, wat een schaalfactor vereist die ongeveer 1,5 keer groter is. ScaleSearch identificeert deze optimale afbeeldingen.

ScaleSearchAttention

Om deze voordelen uit te breiden naar het attentiemechanisme en de KV-cache, stellen de auteurs ScaleSearchAttention voor. Dit is een end-to-end FP4-attentiealgoritme ontworpen voor causaal taalmodellering dat overhead door dequantisatie vermijdt.

Natieve NVFP4-uitvoering: Het voert QKT- en PV-matrixvermenigvuldigingen direct uit op Tensor Cores met NVFP4-precisie en FP32-accumulatie.
Incoherentieverwerking (IP) & Groottereductie: Om uitbijters te mitigeren en quantisatiefouten in Q- en K-tensors te verminderen, maakt de methode gebruik van Hadamard-transformaties (volgend op QuIP#) en een extra paar lineaire transformaties ( $Q' = QR^{-T}, K' = KR$ ) die attentiescores behouden terwijl de gemiddelde kwadratische grootte van de geprojecteerde tensors wordt verminderd.
Attention-Sink-bewuste Mixed-Precision Caching: Met erkenning dat attentiescores zich concentreren op initiële en recente tokens (Attention Sink), slaat de methode de eerste en laatste blokken van de KV-cache op in volledige precisie, terwijl de tussenliggende blokken worden opgeslagen in gecomprimeerde NVFP4. Dit zorgt voor hoge precisie voor kritieke tokens zonder dat het geheugengebruik schaalt met de sequentielengte.

Kernbijdragen

ScaleSearch-algoritme: Een schaalzoektechniek voor Block Floating Point-quantisatie die blokgewijze quantisatiefout minimaliseert door naburige representeerbare schalen te verkennen. Het maakt specifiek gebruik van de mantissenresolutie van het NVFP4 E4M3-schaalformaat.
ScaleSearchAttention: Een co-geoptimaliseerd FP4-attentiemechanisme dat end-to-end inferentie mogelijk maakt met bijna nul nauwkeurigheidsdegradatie. Het integreert ScaleSearch, incoherentieverwerking en mixed-precision KV-caching om QKT- en PV-bewerkingen direct in NVFP4 uit te voeren op Tensor Cores.
Empirische Validatie: Uitgebreide experimenten die consistente winsten in perplexiteit en benchmarknauwkeurigheid aantonen ten opzichte van eerdere FP4-baselines (zoals SageAttention3 en Naive-FP4) bij grote taalmodellen en diffusiemodellen.

Experimentele Resultaten

Post-Training Quantisatie (PTQ)

Taalmodellen: Op het Qwen3-8B-model verbeterde ScaleSearch de prestaties met tot 15 punten op de MATH-500-benchmark in vergelijking met standaard NVFP4-quantisatie. Het verkleinde ook aanzienlijk de kloof op de GPQA- en MMLU-benchmarks.
Diffusiemodellen: Bij toepassing op de Mochi- en CogVideoX-modellen met SageAttention3 verbeterde ScaleSearch de VQA-a-, VQA-t- en FScore-metrics, terwijl het alignmentscores met volledige precisie (CLIPSIM, CLIP-T) gelijk bleef.

Attentie en Perplexiteit

Perplexiteit (Wikitext-2): ScaleSearchAttention verlaagde de perplexiteit met tot 22% voor Llama 3.1 70B in vergelijking met vanilla FP4-quantisatie. Voor Llama 3.1 70B bereikte het een PPL van 2,6348, een aanzienlijke verbetering ten opzichte van SageAttention3 (3,3899) en Naive-FP4 (3,4000).
GPQA Diamond: Op het Llama 3.1 8B Instruct-model bereikte ScaleSearchAttention 32,32% nauwkeurigheid, wat beter is dan SageAttention3 (26,26%) en gelijkstaat aan de baseline met volledige precisie (31,81%).

Efficiëntie en Overhead

Quantisatie-overhead: ScaleSearch introduceert een minimale overhead van 1,74x tijdens de FP32-naar-NVFP4-quantisatiefase (0,0449 ms versus 0,0258 ms baseline) voor een beperkt zoekbereik.
Doorvoer: In attentiekernen bereikt ScaleSearch 98,3% van de baseline-doorvoer (SageAttention3) voor niet-causale attentie bij sequentielengtes van 32K, wat een verwaarloosbaar runtime-effect aantoont.
Latentie: De end-to-end-latentie voor tekst-naar-video-generatie nam slechts marginaal toe (bijv. van 353,40s naar 364,68s voor Mochi), wat de praktische toepasbaarheid van de methode voor real-world workloads bevestigt.

Betekenis

Het artikel stelt dat ScaleSearch een fundamentele suboptimaliteit in standaard BFP-schaalstrategieën aanpakt door gebruik te maken van de eerder onderbenutte mantissenbits in microscale-formaten. Door systematisch te zoeken naar de optimale schaal in plaats van te vertrouwen op een heuristische maximumwaarde, vermindert de methode quantisatiefout aanzienlijk. De introductie van ScaleSearchAttention toont aan dat deze winsten kunnen worden uitgebreid naar het geheugen- en rekintensieve attentiemechanisme, waardoor high-throughput, low-precision inferentie mogelijk wordt met bijna nul nauwkeurigheidsverlies. De auteurs positioneren dit werk als een stap naar het volledig benutten van opkomende 4-bit hardware-mogelijkheden (zoals NVIDIA Blackwell) voor efficiënt generatief AI.