🤖 machine learning

ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization

Het artikel stelt ScaleSweep voor, een efficiënte post-training kwantisatiemethode voor LLM's die NVFP4-blokschalen optimaliseert door het door een theoretisch afgeleid minimaal bereik van kandidaten te doorzoeken, waardoor de prestatiekloof met volledige precisie aanzienlijk wordt verkleind in vergelijking met bestaande initialisatietechnieken.

Oorspronkelijke auteurs: Li Lin, Xiaojun Wan

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Li Lin, Xiaojun Wan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek aan kennis hebt (een Large Language Model, of LLM). Om deze bibliotheek in een kleine rugzak te laten passen zodat je hem op een telefoon of laptop kunt meenemen, moet je de boeken verkleinen. Dit proces wordt kwantisatie genoemd.

Normaal gesproken verlies je bij het verkleinen van een boek wat details. Als je het te veel verkleint, wordt het verhaal onbegrijpelijk. Onlangs is er een nieuw type "krimpfolie" uitgevonden genaamd NVFP4. Het is als een superefficiënt verpakkingsmateriaal waarmee je de boeken kunt verkleinen tot 4 bits (zeer klein) terwijl het verhaal grotendeels intact blijft.

Er is echter een addertje onder het gras. Om deze boeken efficiënt te verpakken, moet je bij elke kleine groep pagina's een klein "maatlabel" (een schaal) bevestigen. Als je het verkeerde maatlabel kiest, worden de pagina's samengedrukt of uitgerekt, en raakt het verhaal verpest.

Het Probleen: Het raden van het Maatlabel

De huidige methode om deze maatlabels te kiezen, is als het raden van de grootte van een doos door alleen naar het grootste item in de doos te kijken en te zeggen: "Oké, deze doos moet groot genoeg zijn voor dat ene item." Dit wordt AbsMax genoemd.

De auteurs van dit paper ontdekten dat deze "raden"-methode veel ruimte laat voor fouten. Het is als het inpakken van een koffer: als je de grootte alleen maar raadt, laat je misschien enorme lege gaten over of druk je je kleding plat. Ze wilden een manier vinden om het perfecte maatlabel voor elke groep pagina's te vinden, zodat het verhaal zo helder mogelijk blijft.

De Oplossing: "ScaleSweep" (De Zoekende Veegbeweging)

Het team heeft een nieuwe methode uitgevonden genaamd ScaleSweep.

Stel je voor dat je probeert de perfecte volumestelling te vinden op een oude radio.

De Oude Manier (AbsMax): Je draait de knop gewoon naar de plek waar het hardste nummer speelt, en hoopt dat de rest van de nummers ook oké klinken.
De ScaleSweep Manier: Je weet dat de perfecte volumestelling ergens vlakbij dat harde nummer ligt. In plaats van te gokken, beweeg je je vinger snel heen en weer over een zeer klein, specifiek bereik van getallen rondom dat harde nummer. Je controleert elke enkele minuscule instelling in dat bereik en kiest de instelling die het gehele afspeellijst het beste laat klinken.

Omdat de "draaiknop" (het FP8-schaalformaat) slechts een beperkt aantal instellingen heeft (zoals een radio met slechts 126 knoppen), is dit "vegen" in werkelijkheid erg snel en kost het nauwelijks extra tijd.

Het Geheime Ingrediënt: De "Wiskundige Kaart"

Je vraagt je misschien af: "Waarom controleren ze niet gewoon elke mogelijke knop op de radio?" Het antwoord is: dat zouden ze kunnen, maar dat zou te lang duren.

De auteurs hebben slimme wiskunde gebruikt om een kaart te tekenen. Ze hebben bewezen dat de perfecte knop altijd in een kleine buurt direct naast de "grootste item"-gok te vinden is.

Ze berekenden een Ondergrens (je hoeft niet onder deze knop te kijken).
Ze berekenden een Bovengrens (je hoeft niet boven deze knop te kijken).

Dit veranderde een zoektocht naar een speld in een hooiberg in een zoektocht naar een speld in één enkele, piekleine doos. Dit maakt het proces ongelooflijk snel en voegt bijna geen extra tijd toe aan het inpakproces.

De Resultaten: Een Helderder Verhaal

Het team heeft dit getest op populaire AI-modellen (zo zoals Llama en Qwen). Ze probeerden de modellen op drie verschillende manieren in te pakken:

Alleen de "kennis" (gewichten) verkleinen.
De "kennis" en het "werkgeheugen" (KV-cache) verkleinen.
Alles verkleinen, inclusief de "vragen" die gesteld worden (query-states).

De bevindingen:

Betere Kwaliteit: In bijna elke test hield ScaleSweep de AI slimmer en nauwkeuriger dan de oude rademethoden.
Agressieve Verpakking: Zelfs toen ze probeerden de AI zo klein mogelijk te maken (alles te comprimeren), slaagde ScaleSweep erin om 93% tot 95% van de intelligentie van de originele, volledige AI te behouden.
Geen Extra Kosten: Omdat ze hun "Wiskundige Kaart" gebruikten om de zoektocht te beperken, maakte deze verbetering de computer niet trager.

In het kort

Het paper introduceert ScaleSweep, een slimme, snelle manier om de perfecte instellingen te vinden voor het verkleinen van AI-modellen. In plaats van te gokken, controleert het snel een klein, wiskundig bewezen bereik van opties om ervoor te zorgen dat de AI zo slim mogelijk blijft, zelfs wanneer deze in een piekleine ruimte wordt geperst. Het is als de overstap van een ruwe schatting naar een precisie-instrument voor het inpakken van je digitale bibliotheek.

Technische Samenvatting: ScaleSweep

Probleemstelling

De opkomst van NVIDIA Blackwell GPU's heeft natuurlijke ondersteuning geïntroduceerd voor het NVFP4-formaat, een low-precision kwantiseringsschema dat FP4 E2M1-datatypen combineert met twee niveaus van schaling: FP8 micro-block schalen en een globale FP32 schaal. Hoewel dit formaat superieure geheugen- en bandbreedte-efficiëntie biedt vergeleken met integer-only formaten, worstelen bestaande Post-Training Quantization (PTQ) methoden om het volledige potentieel ervan uit te buiten.

Huidige NVFP4-initialisatiestrategieën, zoals AbsMax en de 4/6-heuristiek, vertrouwen op eenvoudige regels gebaseerd op maximaal representeerbare waarden. Zoals aangetoond in het paper, laten deze methoden een merkbare prestatiekloof achter ten opzime van de optimale oplossing (specifiek de FP8-gekwantiseerde optimale FP32 block schaal). In tegenstelling tot standaard INT4-kwantisatie, maken de twee-niveau schalingsstructuur en de floating-point codebooks van NVFP4 bestaande INT4-optimalisatietechnieken (bijv. rotatie-gebaseerde benaderingen zoals QuaRot) ineffectief of zelfs nadelig. Bijgevolg is er een kritieke behoefte aan een specifieke schaal-optimalisatiemethode die efficiënt door de NVFP4-zoekruimte kan navigeren om de reconstructiefout te minimaliseren zonder prohibitieve computationele kosten te veroorzaken.

Methodologie: ScaleSweep

De auteurs stellen ScaleSweep voor, een eenvoudige maar efficiënte methode voor het optimaliseren van block schalen in NVFP4-kwantisatie. De kerninnovatie ligt in het transformeren van het schaalselectieprobleem van een heuristische gok naar een geconstreerde optimalisatietaak.

1. Optimalisatiedoelstellingen

De methode richt zich op twee primaire verliesfuncties:

Mean Square Error (MSE): Minimaliseert de reconstructiefout tussen de originele tensor en de gekwantiseerde tensor.
Weighted Mean Square Error (WMSE): Integreert belangsscores (afgeleid van input activatie-normen of Gram-matrix diagonalen) om fouten in kanalen te prioriteren die de uiteindelijke output significant beïnvloeden.

2. Theoretische Grenzen voor Efficiënt Sweepen

Een naïeve aanpak zou een exhaustieve sweep omvatten over alle 126 positieve eindige representeerbare FP8-waarden voor elk block, wat computationeel inefficiënt is. ScaleSweep pakt dit aan door theoretische onder- en bovengrenzen af te leiden voor de optimale block schaal, waardoor de zoekruimte drastisch wordt verkleind:

Globale Schaal ( $S$ ): Vastgesteld via een heuristiek vergelijkbaar met de 4/6-strategie, maar aangepast om de dynamische range te behouden voor block-optimalisatie ( $S = \max|x_i| / (256 \cdot 6)$ ).
Block Schaal Bovenste Grens: Door middel van theoretische analyse (Lemma 4.1) bewijzen de auteurs dat als een schaal $s$ groter is dan $\frac{12}{7} s_{base}$ (waarbij $s_{base}$ de FP8-afgeronde maximale magnitude van het block is), de kwantisatieverlies niet lager zal zijn dan die van $s/2$ . Dit vestigt een bovenste grens van $\frac{12}{7} s_{base}$ . In de FP8 bit-patroonruimte komt dit overeen met een offset van +7 van de integer-representatie van de basis schaal.
Block Schaal Onderste Grens:
- Voor MSE stelt Lemma 4.3 vast dat de optimale schaal onderaan begrensd wordt door $\frac{4}{5} s_{base}$ . In bit-patroonruimte is dit een offset van -3.
- Voor WMSE, waarbij gewichten geassocieerd met grote activaties klein kunnen zijn, wordt de ondergrens empirisch ingesteld op $\frac{1}{2} s_{base}$ , wat overeenkomt met een offset van -8.

3. Implementatie

Door de sweep te beperken tot een compacte lokale buurt in de FP8 bit-patroonruimte (bijv. offsets $[-3, 7]$ voor MSE en $[-8, 7]$ voor WMSE), identificeert ScaleSweep de kandidaat-schaal die het doelwit minimaliseert. Deze aanpak introduceert verwaarloosbare overhead vergeleken met baseline kwantisatie-operators, terwijl het garandeert dat de optimale kandidaat binnen het zoekbereik wordt behouden.

Belangrijkste Bijdragen

Theoretische Analyse: Het paper biedt een rigoureuze theoretische analyse van NVFP4-kwantisatie, waarbij mathematisch gerechtvaardigde onder- en bovengrenzen voor optimale block schalen worden afgeleid onder zowel MSE als WMSE doelstellingen.
ScaleSweep Algoritme: Een nieuwe kalibratiemethode die de FP8 block schaal optimalisatie beperkt tot een compact interval in de bit-patroonruimte, wat efficiënte schaalselectie mogelijk maakt voor zowel RTN (Round-to-Nearest) als GPTQ pipelines.
Empirische Validatie: Uitgebreide evaluatie op Llama en Qwen modellen over steeds agressievere kwantisatie-instellingen (Weights, Weights+Activations, Weights+Activations+KV Cache, en Weights+Activations+KV Cache+Query States).

Experimentele Resultaten

Experimenten werden uitgevoerd op Llama-3.1-8B, Llama-3.2-3B, Qwen3-8B, en Qwen3-4B modellen met behulp van vijf benchmarks (MMLU Pro, GSM8K, IFEval, HellaSwag, WinoGrande).

Prestatiewinsten: ScaleSweep presteert consistent beter dan bestaande initialisatiemethoden (AbsMax en 4/6) in alle instellingen.
- Onder de WA (Weights + Activations) instelling verkleint ScaleSweep de kloof met de BF16 baseline aanzienlijk. Bijvoorbeeld, op Qwen3-8B bereikt het een 99,50% recovery rate.
- Onder de WAKVQ (Weights + Activations + KV Cache + Query States) instelling — de meest agressieve configuratie — behoudt ScaleSweep >93% van de full-precision prestaties. Specifiek behoudt Llama-3.2-3B ten minste 93% recovery, en Qwen3-4B bereikt ten minste 94,5%.
Robuustheid: De methode vertoont robuustheid naarmate de kwantisatie-moeilijkheidsgraad toeneemt, waarbij hoge recovery rates worden behouden waar baseline methoden sterker degraderen.
Efficiëntie: Het beperkte sweep-bereik zorgt ervoor dat de computationele overhead verwaarloosbaar is vergeleken met de standaard NVFP4 operators in vLLM.
Kalibratie Data: Het gebruik van de GSM8K training split als kalibratiedataset voor GPTQ verbetert de prestaties verder op wiskundige redeneertaken, vooral in agressieve settings.

Betekenis en Claims

Het paper claimt dat ScaleSweep een noodzakelijke evolutie vertegenwoordigt in low-bit kwantisatie voor hardware-ondersteunde floating-point formaten. Door weg te bewegen van eenvoudige heuristieken zoals AbsMax en door gebruik te maken van de beperkte zoekruimte van FP8 schalen via theoretische grenzen, maakt ScaleSweep nauwkeurige, end-to-end NVFP4-kwantisatie mogelijk.

De auteurs benadrukken dat hun methode het mogelijk maakt om meer dan 93% van de full-precision prestaties te behouden, zelfs onder de meest agressieve compressiescenario's (inclus kind van KV cache en query states). Dit suggereert dat NVFP4 een levensvatbare oplossing kan zijn voor efficiënte LLM-inferentie zonder dat hertraining vereist is, mits de schaal-initialisatie correct wordt geoptimaliseerd. Het werk onderstreept dat de kloof tussen heuristische initialisatie en optimale oplossingen in NVFP4 substantieel is en dat een gerichte, theoretisch onderbouwde sweep zowel haalbaar als zeer effectief is.