Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

Dit artikel presenteert een uitgebreide evaluatie van HiFloat-formaten (HiF8 en HiF4) voor Ascend NPUs, waarbij wordt aangetoond dat deze hiërarchische schaalformaten, in combinatie met geavanceerde post-training kwantisatie, een robuuste oplossing bieden voor efficiënte low-bit inferentie van grote taalmodellen door accuracy-verlies in 4-bit-regimes te voorkomen.

De kern

Stel je voor dat je een gigantische bibliotheek hebt vol met boeken (deze boeken zijn de Grote Taalmodellen of LLMs, zoals die je gebruikt voor chatbots). Om deze bibliotheek te besturen, heb je enorme bibliothecarissen nodig die heel snel door de boeken kunnen bladeren. Maar er is een probleem: de bibliotheek is zo groot dat de bibliothecarissen (de computerchips) het niet meer kunnen bijhouden. Ze worden overbelast, traag en verbruiken te veel energie.

De oplossing? Verkleinen. We proberen de boeken in te korten of in een compactere vorm te zetten zonder de inhoud te verliezen. Dit noemen we kwantisatie.

Deze paper van Huawei onderzoekt een nieuwe manier om die boeken te verpakken, specifiek voor hun eigen speciale computerchips (de Ascend NPUs). Ze vergelijken verschillende "verpakkingsmethodes" om te zien welke het beste werkt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Grote Koffer" vs. De "Kleine Koffer"

Stel je voor dat je een koffer moet vullen met kleding.

• De oude methode (Integers/INT8): Je gebruikt een koffer met vaste vakjes. Alles past erin, maar als je een heel groot jasje hebt (een "uitbijter" in de data), moet je de hele koffer zo groot maken dat er ruimte voor is. De kleine sokken (de normale getallen) krijgen dan veel te veel lege ruimte, wat zonde is.
• De nieuwe methode (HiFloat): Dit is een slimme koffer die zijn vakjes kan aanpassen. Als er een groot jasje is, maakt hij dat vakje groter. Als er alleen maar sokken zijn, maakt hij de vakjes kleiner en talrijker.

2. De Twee Sterren: HiF8 en HiF4

De auteurs testen twee nieuwe soorten "koffers" die ze hebben ontworpen:

• HiF8 (8-bit): Dit is de "grote broer". Hij is slim genoeg om zijn vakjes dynamisch aan te passen. Hij werkt goed voor de actieve gedachten van de AI (activaties), die soms heel groot en chaotisch kunnen zijn (zoals een plotselinge gedachte over een olifant in een kamer).
• HiF4 (4-bit): Dit is de "kleine broer", nog kleiner en compacter. Hier wordt het lastig. Als je probeert 4-bit te gebruiken met de oude, stijve methode (Integers), stort het systeem in. Het is alsof je probeert een hele encyclopedie op een postkaart te schrijven; de letters worden onleesbaar.

3. De Grote Ontdekkingen (De "Aha!"-momenten)

A. Voor de "Stille" Boeken (Gewichten) werkt de oude methode soms beter
De "gewichten" van de AI zijn de vaste kennis die in het model zit. Deze zijn vaak heel rustig en zitten in een smal bereik.

• Vergelijking: Als je alleen maar kleine pennen moet opbergen, is een koffer met vaste vakjes (INT8) vaak efficiënter dan een slimme, aanpasbare koffer. De slimme koffer (HiF8) verspilde hier namelijk ruimte aan vakjes die nooit gebruikt werden voor de grote jassen.
• Conclusie: Voor de vaste kennis van de AI is de oude, simpele methode (INT8) vaak nog steeds de winnaar.

B. Voor de "Dynamische" Gedachten (Activaties) is de slimme koffer nodig
Wanneer de AI echt aan het denken is, ontstaan er plotselinge grote getallen (uitbijters).

• Vergelijking: Als je een koffer hebt met vaste vakjes en er komt een gigantische boomstam (een uitbijter) in, moet je de hele koffer vergroten. Dan zijn de kleine steentjes (de normale data) zo klein dat je ze niet meer kunt zien. De slimme koffer (HiF8) past zich aan: hij maakt één groot vak voor de boomstam en houdt de rest van de ruimte vol met kleine vakjes voor de steentjes.
• Conclusie: HiF8 is superieur voor de actieve delen van de AI.

C. De 4-bit Revolutie: HiF4 redt de dag
Dit is het belangrijkste deel van het verhaal. Als je echt alles op 4-bit wilt zetten (superkleine koffers), faalt de oude methode (INT4) volledig. Het is alsof je probeert een foto te maken met maar 16 kleuren; het wordt een vage vlek.

• HiF4 gebruikt een hiërarchisch systeem (een "koffer in een koffer").
  • Stel je voor dat je een grote koffer hebt. Binnenin zitten 8 kleinere dozen. En in die dozen zitten weer 4 kleine zakjes.
  • Als er in één zakje een enorme boomstam zit, past die alleen dat zakje aan. De andere 3 zakjes in die doos blijven klein en fijn, zodat ze de kleine steentjes perfect kunnen vasthouden.
• Resultaat: Dankzij deze "koffer-in-een-koffer" structuur kan HiF4 de AI laten werken op 4-bit zonder dat de kwaliteit instort. Zelfs de concurrenten (zoals NVFP4 van NVIDIA) doen het goed, maar HiF4 blijkt vaak net iets beter of even goed, en werkt perfect op de Huawei-chips.

4. De "Geheugenkast" (KV Cache)

AI-modellen moeten zich ook dingen herinneren tijdens een gesprek (de context). Dit wordt de "KV Cache" genoemd.

• De onderzoekers ontdekten dat HiF4 ook hier fantastisch werkt. Het kan de herinneringen van de AI compact opslaan zonder dat de AI "vergeten" wordt of onzin begint te praten. Zelfs als je alles (gewichten, gedachten én herinneringen) op 4-bit zet, blijft HiF4 stabiel.

Samenvatting in één zin

Deze paper laat zien dat voor de nieuwste, super-efficiënte AI-chips van Huawei, een slimme, aanpasbare verpakkingsmethode (HiFloat) de beste manier is om enorme AI-modellen klein en snel te maken, vooral als je echt in de "micro-kistjes" (4-bit) wilt gaan, waar de oude methoden het gewoon opgeven.

Het is alsof ze een nieuwe, slimme verpakking hebben ontworpen die zorgt dat je je hele bibliotheek in een rugzak kunt dragen, zonder dat de boeken eruit vallen of beschadigd raken.

Technische samenvatting

Probleemstelling

De snelle schaalvergroting van Large Language Models (LLMs) heeft enorme druk gelegd op de rekencapaciteit (throughput) en de geheugenbandbreedte. Quantisatie is een cruciale strategie om deze knelpunten te verlichten door het geheugenvolume te verminderen zonder de prestaties significant te schaden. Hoewel de huidige literatuur zich voornamelijk richt op gehele getallen (integer-based) quantisatie (zoals INT8 en INT4), blijken deze methoden bij ultra-lage bitbreedtes (vooral 4-bit) te kampen met fundamentele beperkingen. Uniforme integer-afstanden kunnen de hoge variabiliteit en de aanwezigheid van "outliers" (extreme waarden) in LLM-activaties en KV-caches niet effectief modelleren, wat leidt tot een catastrofale daling in nauwkeurigheid. Er is een behoefte aan nieuwe floating-point formaten die specifiek zijn ontworpen voor hardware zoals de Ascend NPUs van Huawei, om een betere balans te vinden tussen dynamisch bereik en precisie.

Methodologie

De auteurs evalueren de HiFloat-familie van formaten, specifiek ontworpen voor Ascend NPUs, en vergelijken deze met bestaande industriestandaarden zoals MXFP (Microscaling) en NVFP4. De evaluatie omvat drie hoofdniveaus:

1. HiF8 (8-bit): Een formaat dat een dynamische toewijzing van de mantisse gebruikt om het bereik aan te passen aan numerieke verdelingen.
2. HiF4 (4-bit): Een formaat dat gebruikmaakt van een drie-niveau hiërarchische schaalstructuur (per blok van 64 elementen, gesplitst in sub-blokken van 8 en micro-blokken van 4) om lokale variatie te isoleren.
3. Synergie met PTQ: De auteurs testen HiFloat in combinatie met gevestigde Post-Training Quantization (PTQ) frameworks zoals SmoothQuant en SVDQuant om te zien of deze methoden de representatieve capaciteit van HiFloat kunnen versterken.

De evaluatie wordt uitgevoerd op modellen zoals Qwen3-8B en openPangu-7B met behulp van diverse datasets (Wikitext-2, C4) en benchmarks (ARC, MMLU, GSM8K, LongBench). De prestaties worden gemeten aan de hand van:

• SQNR (Signal-to-Quantization-Noise Ratio): Voor het analyseren van de signaalintegriteit van gewichten, activaties en KV-caches.
• Perplexity en Zero-shot nauwkeurigheid: Voor het beoordelen van de eind-tot-eind inferentieprestaties.

Belangrijkste Bijdragen

1. Formele Wiskundige Formulering: De auteurs bieden een formele definitie van de kwantisatie- en dekwantisatielogica voor de HiFloat-familie (HiF8 en HiF4).
2. Distributieanalyse: Een diepgaande analyse van de representatieve eigenschappen toont aan dat:
   • INT8 superieur is voor gewichten omdat deze een smalle, gebonden verdeling hebben; het uniforme raster van integers wast minder bits dan floating-point exponenten.
   • Floating-point formaten (zoals HiF8/HiF4) beter presteren bij activaties en KV-caches vanwege hun vermogen om hoge variabiliteit en outliers te hanteren zonder resolutie te verliezen in het dichtbevolkte gebied rond nul.
3. Eind-tot-eind Evaluatie: Dit is de eerste uitgebreide studie die HiFloat toetst over de volledige inferentiepijplijn (gewichten, activaties en KV-cache) op Ascend-hardware.
4. Algorithmische Synergie: Het artikel demonstreert dat HiFloat uitstekend combineert met bestaande PTQ-methoden, wat leidt tot gecombineerde voordelen voor modelcompressie.

Resultaten

• 8-bit Regime (W8A8):

  • Voor gewichten presteert INT8 het beste, gevolgd door HiF8 (met schaling) en MXFP8. Floating-point formaten zijn hier minder efficiënt omdat ze bits "verspillen" aan exponenten die voor gewichten niet nodig zijn.
  • Voor activaties en KV-caches presteren HiF8 en MXFP8 beter dan INT8, omdat ze de dynamische variabiliteit en outliers beter kunnen opvangen.
  • Met technieken zoals SmoothQuant behaalt HiF8 prestaties die vergelijkbaar zijn met of zelfs beter zijn dan de BF16-baseline.

• 4-bit Regime (W4A4) - Het Cruciale Inzicht:

  • Catastrofale Falen van INT4: Uniforme integer-quantisatie (INT4) faalt volledig bij 4-bit, zelfs met geavanceerde PTQ-methoden. De nauwkeurigheid daalt met meer dan 60-70% omdat het uniforme raster te grof is voor de verdeling van LLM-data.
  • HiF4 vs. Concurrenten: In het 4-bit regime presteert HiF4 uitzonderlijk goed.
    • Op Qwen3-8B behoudt HiF4 meer dan 96,5% van de BF16-baseline (alleen 3,5% verlies), zelfs zonder geavanceerde PTQ.
    • Op openPangu-7B beperkt HiF4 de nauwkeurigheidsdaling tot slechts 2,7-3,0%.
    • HiF4 overtreft zowel de 4-bit integer-baselines als bestaande floating-standaarden zoals MXFP4 en NVFP4, vooral bij de combinatie van gewicht-activatie en KV-cache quantisatie.

• KV Cache: HiF4 toont state-of-the-art prestaties voor KV-cache quantisatie, waarbij het de resolutie behoudt in lagen waar de verdeling complex en spiky is.

Betekenis en Conclusie

De studie concludeert dat er een duidelijke bifurcatie is in de numerieke vereisten voor LLM-inferentie:

1. Voor gewichten (die statisch en smal verdeeld zijn) is een uniform integer-formaat (INT8) het meest efficiënt.
2. Voor activaties en KV-caches (die dynamisch zijn en outliers bevatten) is een floating-point formaat essentieel.
3. Bij ultra-lage bitbreedtes (4-bit) wordt de beperking van uniforme afstand het grootste probleem. Hier is de hiërarchische structuur van HiF4 (en NVFP4) onmisbaar om outliers te isoleren terwijl lokale precisie behouden blijft.

HiF4 wordt gepresenteerd als een robuust en uniek geschikt formaat voor efficiënte inferentie op Ascend NPUs, vooral in scenario's met extreme compressie (4-bit). Het biedt een oplossing die de nauwkeurigheid van BF16 bijna volledig herstelt, wat een grote stap voorwaarts is voor het uitvoeren van grote modellen op beperkte hardware.