🤖 machine learning

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

Dit artikel identificeert en lost twee verschillende faalmodi in HiF8 W8A8 kwantisatiebewuste training op—namelijk amax-saturatie en catastrofale vergetelheid—door een schattingstrategie voor de max-vensterschaal en een BF16-warmup-schema in te voeren, waardoor bijna verliesvrije prestaties worden bereikt op het OpenPangu-Embedded-1B-model.

Oorspronkelijke auteurs: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante, goed geïnformeerde bibliothecaris (het AI-model) voor die jarenlang een enorme bibliotheek van boeken heeft uit het hoofd geleerd. Nu wil je deze massieve bibliotheek verkleinen zodat hij in een klein, draagbaar rugzakje (een apparaat met laag stroomverbruik) past, zonder dat er ook maar één verhaal of feit uit verloren gaat. Dit proces heet Quantisatie.

Het artikel beschrijft een specifiek experiment waarbij onderzoekers probeerden een AI-model met 1 miljard parameters te verkleinen met een nieuw, compact formaat genaamd HiF8 (High-precision Float 8). Denk aan HiF8 als een "slimme compressie" die de belangrijkste details scherp houdt terwijl de rest wordt samengeperst.

Echter, de onderzoekers ontdekten dat het simpelweg verkleinen van de bibliotheek niet genoeg was. Ze vonden twee verborgen "valkuilen" die het geheugen van het model konden verstoren, zelfs als het trainingsproces op papier perfect leek.

Hier is de opsplitsing van hun reis, eenvoudig uitgelegd:

De Twee Verborgen Valkuilen

1. De "Blind Vlek" Valkuil (Amax Saturatie)
Stel je voor dat de bibliothecaris probeert boeken op een plank te ordenen, maar dat ze een liniaal gebruiken die iets te kort is.

Het Probleem: De AI moet het "luidste" of "grootste" getal dat het ziet kennen om de schaal voor compressie in te stellen. De onderzoekers gebruikten een methode genaamd Delayed Tensor Scaling (DTS). Dit is alsof de bibliothecaris naar het vorige boek kijkt om de grootte van het huidige boek te raden.
Het Falen: Als het huidige boek plotseling enorm is (een "piek" in data), is de gok van de bibliothecaris (gebaseerd op het vorige boek) te klein. Het boek wordt "afgeknipt" of afgesneden aan de rand van de plank.
De Sluwheid: De interne "scorekaart" van de AI (trainingsverlies) liet niet zien dat dit gebeurde. Het was alsof de bibliothecaris zei: "Ik ordent het prima!" terwijl ze in het geheim pagina's uit de boeken scheurden. De schade kwam pas later naar voren toen ze de kennis van de bibliothecaris testten met specifieke quizzen (zoals ARC of MMLU).

2. De "Te Eager Student" Valkuil (Catastrofaal Vergeten)
Stel je voor dat de bibliothecaris zo enthousiast is om nieuwe verhalen te leren uit een nieuwe set boeken, dat ze beginnen met het wissen van de oude klassiekers uit hun geheugen om ruimte te maken.

Het Probleem: De onderzoekers trainden het model met een "leersnelheid" (hoe snel het leert) die te agressief was.
Het Falen: Het model leerde de nieuwe data zo snel dat het de gezond verstand en feiten die het tijdens de oorspronkelijke training had geleerd, volledig vergat.
De Sluwheid: Dit gebeurde zelfs zonder de compressie. Als ze het model gewoon normaal trainden met deze hoge snelheid, vergat het toch alles. Maar omdat ze het model ook comprimeerden, gaven ze de compressie de schuld van het falen, niet de snelheid.

De Oplossing: Een Tweeledige Fix

De onderzoekers voerden acht verschillende experimenten uit om uit te zoeken hoe ze deze valkuilen konden oplossen. Ze ontdekten dat het oplossen van slechts één niet genoeg was; ze moesten beide tegelijkertijd oplossen.

Fix #1: Het "Veiligheidsnet" (Max-Window Strategie)
Om de "Blind Vlek" te stoppen, veranderden ze hoe de bibliothecaris de boekgroottes raadt.

In plaats van alleen naar het vorige boek te kijken, vertelden ze de bibliothecaris om naar het grootste boek te kijken dat in de laatste 64 boeken is gezien.
Dit is een "conservatieve" aanpak. Het maakt de plank iets groter dan strikt noodzakelijk (een beetje te conservatief), maar het garandeert dat er nooit een boek wordt afgeknipt. Deze kleine "extra ruimte" hielp het model eigenlijk om stabiel te blijven, en fungeerde als een zachte regularisator.

Fix #2: De "Cool-Down" (Warmup en Langzamere Leer)
Om de "Te Eager Student" te stoppen, veranderden ze het trainingschema.

De Warmup: Voor de eerste 500 stappen comprimeerden ze het model helemaal niet. Ze lieten het wennen aan de nieuwe data in zijn volledige, hoogwaardige formaat (BF16). Dit liet het model tot rust komen in een stabiele toestand voordat de "rugzak" compressie werd toegepast.
De Vertragen: Ze vertraagden de leersnelheid drastisch (verlaging van de leersnelheid). Dit voorkwam dat het model wanhopig zijn oude, waardevolle kennis overschreef met nieuwe data.

Het Resultaat

Toen ze deze twee fixes combineerden, was het resultaat bijna verliesvrij.

Het gecomprimeerde model (HiF8) presteerde bijna exact even goed als het niet-gecomprimeerde, volledige model.
De daling in prestaties op moeilijke quizzen was minimaal (minder dan 0,5% in de meeste gevallen).
Cruciaal bewezen ze dat als je alleen het "Veiligheidsnet" gebruikte maar de "Te Eager" snelheid behield, het model toch faalde. En als je de snelheid vertraagde maar de "Blind Vlek" liniaal behield, faalde het ook. Beide fixes waren noodzakelijk.

Wat Niet Werkte (En Waarom)

Kijken naar alleen het laatste boek: Zorgt ervoor dat boeken worden afgeknipt.
Het raden gladstrijken: Probeerde eerdere boeken te middelen, maar faalde wanneer de data onvoorspelbaar veranderde.
Direct het huidige boek controleren: Dit vereiste een tweede blik op de data, wat te traag was en ervoor zorgde dat de plankgrootte te veel heen en weer sprong, wat het model verwarde.
Trainen op hoge snelheid: Zelfs zonder compressie zorgde dit ervoor dat het model alles vergat.

De Conclusie

Het artikel leert ons dat wanneer je een slim AI-model verkleint, je niet alleen naar de "trainingscore" kunt kijken om te zien of het werkt. Je moet voorzichtig zijn met hoe je de data meet (om afkappen te voorkomen) en hoe snel je het leert (om vergeten te voorkomen). Door een "veiligheidsnet" voor de datagrootte te gebruiken en een "langzame, gestage" leertempo, kun je een gigantisch brein in een klein rugzakje passen zonder zijn verstand te verliezen.

Technische Samenvatting: Schatting van de Max-Window-schaal voor bijna-verliesvrije HiF8 W8A8-kwantiseringsbewuste training

Probleemstelling

De implementatie van Large Language Models (LLM's) in omgevingen met beperkte middelen vereist agressieve kwantisatie, met name met 8-bits floating-point (FP8)-formaten zoals HiF8 (High-precision Float 8). Hoewel Kwantiseringsbewuste Training (QAT) erop gericht is om vooraf getrainde modellen aan te passen aan representaties met een lage bitdiepte, introduceert het subtiele faalmodi die onzichtbaar zijn voor standaard trainingsmetrieken zoals cross-entropy-verlies.

Specifiek impliceert het toepassen van QAT op vooraf getrainde modellen een complexe afweging: het behoud van vooraf verworven kennis terwijl interne representaties worden aangepast aan kwantisatieruis. De auteurs stellen vast dat standaard trainingsverlies vaak faalt bij het signaleren van degradatie, wat leidt tot twee onderscheiden, orthogonale faalmodi in HiF8 W8A8 QAT:

$A_{max}$ -verzadiging: Veroorzaakt door de temporele vertraging in Delayed Tensor Scaling (DTS), waarbij de geschatte schaalfactor is gebaseerd op historische data. Als het werkelijke maximum van de activatie van de huidige stap de voorspelde schaal overschrijdt, worden waarden afgekapt, wat forward-activaties corrumpeert terwijl de Straight-Through Estimator (STE) onterecht gradiënten doorgeeft alsof er geen afkapping heeft plaatsgevonden.
Catastrofaal Vergeten: Veroorzaakt door een te agressieve leersnelheid tijdens voortgezette pretraining, wat vooraf verworven gezond verstand-kennis overschrijft, onafhankelijk van het kwantisatieschema.

Methodologie

De studie richt zich op het OpenPangu-Embedded-1B-model (1 miljard parameters) met gebruik van het HiF8 W8A8-formaat. De methodologie omvat een systematisch onderzoek via acht gecontroleerde experimenten om de oorzaken van prestatiedegradatie te ontwarren.

Kwantiseringsconfiguratie

Formaat: HiF8 gebruikt gestaffelde mantissenprecisie gebaseerd op de grootte van de waarde (3 bits voor $|x| \le 8$ , 2 bits voor $|x| \le 128$ , 1 bit voor grotere waarden).
Module-selectie: Om efficiëntie en stabiliteit in evenwicht te brengen, worden alleen MLP-lagen (gate, up en down projecties) in de middelste 21 Transformer-blokken gekwantiseerd. Attention-projecties, embeddings, layernormalisaties en de randblokken (eerste 3 en laatste 2) blijven in BF16 om de verwerking van uitschieters en outputprecisie te behouden.
Trainingsprotocol: Experimenten maken gebruik van de FineWeb-dataset met een globale batchgrootte van 1024 en een sequentielengte van 1024 over 10.000 stappen.

Experimentele Variabelen

De kern van het onderzoek vergelijkt verschillende $A_{max}$ -schattingalgoritmen en leersnelheden:

$A_{max}$ -algoritmen:
- Meest-recent (DTS): Gebruikt het maximum van de vorige stap.
- Exponentiële smoothing (DTS): Gebruikt een lopend gemiddelde.
- Max-Window (DTS): Gebruikt de maximumwaarde over een geschiedenisvenster van 64 stappen.
- Current Tensor Scaling (CTS): Berekent het maximum van de huidige stap (vereist een tweede forward pass).
Leersnelheden: Experimenten testten $10^{-4}$ (oorspronkelijk beschouwd als veilig voor BF16-baselines) en $10^{-5}$ .
Warmup: Een BF16-warmup-fase van 500 stappen werd geïntroduceerd in latere experimenten om gewichten te stabiliseren en de $A_{max}$ -geschiedenis te vullen voordat kwantisatie wordt geactiveerd.

Belangrijkste Bijdragen

Het paper levert vier primaire bijdragen gebaseerd op de ontwarring van faalmodi:

Identificatie van Orthogonale Faalmodi: De auteurs tonen aan dat degradatie van benchmarks in HiF8 QAT voortkomt uit twee onafhankelijke bronnen: $A_{max}$ -verzadiging (een kwantisatiespecifiek probleem) en catastrofaal vergeten (een probleem met trainingsdynamiek). Cruciaal is dat geen van beide detecteerbaar is via trainingsverlies alleen; beide manifesteren zich pas in downstream-evaluatie.
Conservatieve Max-Window-strategie: Om $A_{max}$ -verzadiging aan te pakken, vernoemt het paper het vervangen van standaardalgoritmen door een max-algoritme over een geschiedenisvenster van 64 stappen. Dit biedt een harde garantie tegen schaal-geïnduceerde verzadiging voor elke stap binnen het observatievenster. De lichte over-conservatisme fungeert als nuttige regularisatie.
Tweefasig Trainingsprotocol: Om catastrofaal vergeten te mitigeren, introduceren de auteurs een protocol met een 500-staps BF16-warmup gevolgd door QAT met een verlaagde leersnelheid van $10^{-5}$ . De warmup zorgt ervoor dat het model een stabiel gewichtsregime bereikt en de $A_{max}$ -geschiedenis vult met representatieve waarden, terwijl de lagere leersnelheid voorkomt dat vooraf verworven kennis wordt overschreven.
Uitgebreide Foutanalyse: De studie documenteert waarom eerdere benaderingen faalden:
- Most-Recent lijdt aan verzadiging door een vertraging van 1 stap.
- Exponentiële smoothing faalt bij niet-monotone activatiedynamiek.
- CTS introduceert per-stap fluctuaties die stabiele representaties corrumperen.
- Hoge leersnelheden ( $10^{-4}$ ) veroorzaken aanzienlijk vergeten, ongeacht de kwantisatie.

Resultaten

De uiteindelijke configuratie (Max-Window-algoritme + 500-staps warmup + $lr=10^{-5}$ ) bereikt bijna-verliesvrije kwantisatie in vergelijking met een overeenkomende BF16-baseline getraind met dezelfde leersnelheid:

MMLU: 0,43% daling (43,17% vs. 43,36% baseline).
HellaSwag: 0,58% daling.
ARC-Challenge: 0,22% daling.
Trainingsverlies: Het Gemiddelde Percentage Fout (APE) tussen HiF8 QAT en de BF16-baseline is slechts 0,11% over 10.000 stappen.

Opmerkelijk is dat experimenten aantoonden dat geen van de oplossingen alleen voldoende was. Het gebruik van het Max-algoritme bij $lr=10^{-4}$ resulteerde nog steeds in ~3% dalingen op ARC-taken door vergeten. Omgekeerd zou het gebruik van $lr=10^{-5}$ met een standaard most-recent-algoritme nog steeds lijden aan verzadiging.

Betekenis en Claims

Het paper stelt dat succesvolle HiF8 QAT voor vooraf getrainde modellen vereist dat de interactie tussen schaalstabiliteit en leerdynamiek gelijktijdig wordt aangepakt. De betekenis van het werk ligt in:

Diagnose van de "Onzichtbare" Fout: Benadrukken dat standaard trainingsverlies een ontoereikende metriek is voor QAT-kwaliteit, omdat het verzadiging en vergeten maskeert die pas verschijnen in downstream-benchmarks.
Bieden van een Robuuste Oplossing: Aantonen dat een conservatieve $A_{max}$ -schattingstrategie gecombineerd met een lagere leersnelheid en warmup bijna-verliesvrije prestaties kan bereiken (sub-1% daling op grote benchmarks) voor modellen van 1 miljard parameters.
Verduidelijken van Ontwerpasen: Vaststellen dat de keuze van het $A_{max}$ -algoritme en de leersnelheid kritieke, onderling afhankelijke ontwerpasen zijn, en geen geïsoleerde hyperparameters.

De auteurs concluderen dat hoewel de huidige configuratie effectief is voor 1B-modellen, toekomstig werk mogelijk laag-voor-laag leersnelheden, adaptieve warmups en het verhogen van het aantal hoog-precisie lagen zal verkennen om resterende kloven verder te dichten.