🤖 machine learning

XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference

XFP is een dynamische, kalibratievrije gewichtsquantisatiemethode voor LLM-inferentie die codeboekparameters automatisch bepaalt op basis van door de gebruiker gespecificeerde kwaliteitsdrempels, effectief schaarse outliers scheidt om hoge doorvoer en nauwkeurigheid te bereiken, en het mogelijk maakt dat enorme modellen binnen beperkt geheugen passen dankzij zijn kwaliteitsgestuurde "H-Process"-iteratie.

Oorspronkelijke auteurs: Thomas Witt

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Thomas Witt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorm kasteel van 397 miljard Lego-blokjes (een gigantisch AI-model) in een kleine rugzak (een standaard werkstationcomputer) te proppen.

Normaal gesproken probeer je het kasteel te laten passen door de blokjes tot een kleine, uniforme stof te verpletteren (standaard compressie). Maar dit ruïneert het kasteel; de details worden wazig en de AI begint fouten te maken.

XFP is een nieuwe, slimmere manier om dat kasteel te pakken. In plaats van alles te verpletteren, hanteert het een "Kwaliteit Eerst"-benadering. Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Kwaliteitsvloer" in plaats van "Bitbreedte"

Op de oude manier zeg je tegen de computer: "Pak dit in met 4 bits per blokje." De computer doet zijn best, maar als de blokjes vreemde vormen hebben, is het resultaat slecht.

XFP draait dit om. Je zegt tegen de computer: "Ik wil dat het kasteel er ten minste 96% uitziet als het origineel."
De computer werkt de rest zelf uit. Het vraagt zich af: "Oké, om 96% kwaliteit te behouden, hoeveel bits heb ik dan eigenlijk nodig voor dit specifieke deel?"

Voor sommige delen heeft het misschien maar 2 bits nodig.
Voor andere delen heeft het misschien 4 bits nodig.
Het dwingt geen één-maat-voor-alles-regel af.

2. Het "Uitbijter"-probleem (De Reuzenblokjes)

Stel je voor dat in je Lego-kasteel 99% van de blokjes klein en normaal is, maar 1% bestaat uit reusachtige, zware, vreemd gevormde blokjes.

Oude Methode: Je probeert de reuzenblokjes plat te drukken om in het kleine doosje te passen. Dit vervormt het hele doosje, waardoor ook de kleine blokjes er slecht uitzien.
XFP-Methode: Het zegt: "Laten we die reusachtige, vreemde blokjes eruit halen en in een speciale, aparte zak doen."
- De Speciale Zak houdt de reuzenblokjes in hun originele, hoogwaardige vorm (met iets meer ruimte, maar alleen voor de weinigen die het nodig hebben).
- De Hoofddoos bevat alleen de 99% normale blokjes, die nu makkelijk te comprimeren zijn omdat ze allemaal gelijk zijn.

3. De "Aangepaste Woordenlijst" (Het Codeboek)

In plaats van een standaardwoordenlijst te gebruiken waar elk woord even lang is, leert XFP een aangepaste woordenlijst voor elke laag van de AI.

Het kijkt naar de blokjes in een specifieke kamer van het kasteel en leert precies welke vormen het vaakst voorkomen.
Het maakt een kleine lijst (een "codeboek") van alleen die vormen.
Vervolgens slaat het niet het hele blokje op, maar slechts een klein nummer (een index) dat naar die vorm in de lijst verwijst.
Omdat de lijst speciaal is gemaakt voor die specifieke kamer, is het ongelooflijk efficiënt.

4. De Twee Regels (Strenge vs. Luie)

De AI heeft verschillende soorten kamers:

De "Strenge" Kamers: (Zoals het attentiemechanisme, dat let op details). XFP is hier zeer voorzichtig. Het gebruikt een hoogwaardig woordenlijst en houdt meer reuzenblokjes in de speciale zak.
De "Luie" Kamers: (Zoals de "gerouteerde experts", die gespecialiseerde werknemers zijn). Deze kamers zijn flexibeler. XFP gebruikt hier een kleinere, ruwere woordenlijst, omdat deze delen van de AI meer verplettering kunnen verdragen zonder te breken.

Dit stelt XFP in staat enorme hoeveelheden ruimte te besparen zonder het brein van de AI te ruïneren.

5. Het "H-Proces" (De Strakke Druk)

Het artikel beschrijft een specifieke uitdaging: het passen van een model met 397 miljard parameters op twee standaard grafische kaarten (die dit normaal gesproken niet kunnen bevatten).

Ze gebruikten een proces genaamd het H-Proces.
Denk hierbij aan een spelletje "Klontje". Ze bleven de "Strenge" en "Luie" regels aanpassen.
- Als ze de regels te streng maakten, paste het model niet in de rugzak (Geen Geheugen).
- Als ze de regels te los maakten, begon de AI onzin te praten (Afvaluitvoer).
Ze vonden de "Precies Goed"-instelling (genaamd H1.5) waarbij het model perfect past, snel draait en nog steeds goede antwoorden geeft.

De Resultaten

Snelheid: Op een high-end werkstationcomputer draait XFP 49% sneller dan de huidige beste standaardmethode (Marlin INT4) voor een model van 122 miljard parameters.
Kwaliteit: Het behoudt de intelligentie van de AI bijna exact hetzelfde als de originele, niet-gecomprimeerde versie.
Toegankelijkheid: Het stelt onderzoekers in staat enorme AI-modellen te draaien op standaard, krachtige desktopcomputers zonder dure supercomputers voor datacenters te nodig te hebben.

Kortom: XFP is een slim inpak systeem dat niet alles in een uniforme doos dwingt. Het scheidt de vreemde, zware items, leert aangepaste woordenlijsten voor de rest, en laat jou beslissen hoeveel kwaliteit je wilt behouden, waarbij het automatisch de meest efficiënte manier berekent om alles erin te krijgen.

Technische Samenvatting: XFP – Kwaliteitsgerichte Adaptieve Codebook-Quantisatie

1. Probleemstelling

Het artikel behandelt de beperkingen van huidige quantisatiestrategieën voor Large Language Models (LLM) bij het implementeren van enorme Mixture-of-Experts (MoE)-modellen op werkstationhardware (bijv. NVIDIA RTX PRO 6000 Blackwell). De auteurs identificeren drie structurele problemen in bestaande benaderingen:

Het Outlier-probleem: Transformer-gewichtsmatrices vertonen zwaarstaartige verdelingen. Uniforme lineaire quantisatie (INT-N) of vaste logaritmische codeboeken (zoals NVFP4) moeten extreme outliers accommoderen, wat een enkele schalingsfactor forceert die de resolutie verslechtert voor de dichte centrale massa van gewichten.
Het MoE-Heterogeniteitsprobleem: Verschillende componenten binnen MoE-modellen (attention, gedeelde experts, gerouteerde experts) bezitten distincte gewichtsverdelingen. Gerouteerde experts zijn empirisch toleranter voor grove quantisatie dan attention-layers. Een enkele globale kwaliteitsvloer of bit-breedte faalt hierin om deze asymmetrie te benutten.
Het Codebook-opslagprobleem: Per-kanaal geleerde codeboeken verbruiken aanzienlijke Shared Memory (SMEM) op GPU's. Op werkstation-GPU's (99 KB SMEM/CTA) beperkt dit de grootte van de activatie-rijcache, wat "split-K"-operaties forceert die de latentie verhogen en de maximale modelgrootte beperken die in één stream kan worden geïmplementeerd.

Bovendien merkt het artikel op dat hoewel het NVIDIA NVFP4-formaat hardware-versnelde doorvoer biedt op datacenter Blackwell-chips (SM100+), dit pad niet beschikbaar of onvolledig is op werkstationhardware (SM120/121), waardoor operators worden gelaten met formaten die specifieke gewichtsverdelingen negeren.

2. Methodologie: Het XFP-kader

XFP keert de conventionele quantisatiewerkstroom om. In plaats dat de operator een doel-bit-breedte selecteert en de resulterende kwaliteitsverlies accepteert, specificeert de operator reconstructiekwaliteitsvloeren gebaseerd op per-kanaal cosinusgelijkenis. XFP bepaalt vervolgens automatisch de benodigde codebookgrootte, outlierbegroting en verpakkingsstrategie voor elke laag.

Kernmechanismen

Sparse Outlier-scheiding:
Gewichten worden ontbonden in een sparse hoogwaardig residu en een dichte massa.
- Outliers worden gedefinieerd als gewichten waarbij $|w - \mu| > k\sigma$ (standaard $k=4.0$ , begrensd tot 2% van de gewichten).
- Deze outliers worden opgeslagen als een sparse fp16-matrix op hun oorspronkelijke posities.
- De overige "massa"-gewichten worden vervangen door hun groepsgemiddelde en gekwantiseerd.
Adaptieve Geleerde Codeboeken:
De massaverdeling wordt gekwantiseerd met behulp van een per-groep geleerd codebook via Lloyd-iteratie.
- V2-modus (Per-kanaal): Bewaart één onafhankelijk fp16-codebook per uitvoerkanaal. Ondersteunt bit-breedtes $N \in \{2, 3, 4, 5, 6\}$ .
- V2a-modus (Gedeelde bibliotheek): Bewaart een kleine bibliotheek van $L$ codeboeken (standaard $L=32$ ) per laag. Elke gewichtsgroep krijgt de best passende bibliotheekentry toegewezen. Dit verlaagt het SMEM-gebruik van $O(\text{output\_dim})$ naar een constante $\sim 1$ KB, waardoor grotere contextvensters mogelijk worden op werkstation-GPU's.
Kwaliteitsgerichte Auto-selectie (Twee-drempel):
Het systeem gebruikt twee distincte cosinusgelijkenisdrempels om de bit-breedte-selectie te sturen:
- Strikte vloer ( $\tau_{strict}$ ): Toegepast op attention- en gedeelde-expert-projecties.
- Laxe vloer ( $\tau_{lazy}$ ): Toegepast op gerouteerde-expert MoE-paden.
- Het algoritme itereren door kandidaat-bit-breedtes ( $N$ ) en selecteert de minimale $N$ die aan de relevante drempel voldoet. Dit stelt gerouteerde experts in staat grovere quantisatie te gebruiken (bijv. $N=2$ ) terwijl attention-layers fijnere quantisatie gebruiken (bijv. $N=4$ ) zonder handmatige tussenkomst.
Gefuseerde Decode-kernel:
Een aangepaste kernel fuseert vier operaties: depacken van indices, verzamelen uit het codebook, verspreiden van sparse outliers en het uitvoeren van de GEMM. Het werkt natief in bf16 en cacheert activatie-rijen in SMEM om het gebruik van globale geheugenbandbreedte te minimaliseren.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

(C1) De XFP-quantizer: Een dynamische, kwaliteitsgerichte quantizer die convergeert naar effectieve bit-breedtes van $\sim 3.97$ op Qwen3.5-122B en $\sim 3.4$ op Qwen3.5-397B onder het "H-Process" (een beperkte compressie-iteratie). Het vereist geen Hessian-berekening, geen kalibratiegegevens en geen handmatige bit-breedte-selectie.
(C2) Dual-opslagmodi met Unificatie-engine: Twee opslagmodi (V2 en V2a) delen een enkele auto-select frontend en gefuseerde decode-kernel. Dit dekt het 30B–397B-parameterbereik op werkstation-GPU's zonder afhankelijkheid van NVFP4 Tensor Cores.
(C3) Het H-Process: Een kwaliteitsgedreven iteratie over de twee cosinusdrempels die het 397B Qwen3.5-A17B-model (512 gerouteerde experts/laag) succesvol in 2×96 GB VRAM past. Dit wordt bereikt bij $\sim 3.4$ effectieve bits terwijl de volledige expertpopulatie behouden blijft, waardoor de noodzaak voor expert-pruning wordt vermeden.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op werkstationhardware (RTX PRO 6000 Blackwell, DGX Spark) met Qwen3.5 en GLM-4.7-Flash-modellen.

Qwen3.5-122B-A10B (V2-modus):
- Bereikte 138 tokens/s single-stream decode op TP=2.
- 49% sneller dan Marlin INT4 (AutoRound) op TP=1.
- Behield 94,49% GSM8K strict-match (3 zaden), vergelijkbaar met 4-bit-baselines.
- Effectieve bit-breedte: $\sim 3.97$ .
Qwen3.5-397B-A17B (H-Process, V2-modus):
- Succesvol geïmplementeerd op 2×96 GB GPU's.
- Bereikte 100,9 tokens/s op long-output decode.
- Bereikte 66,72% GSM8K strict-match op de volledige set van 1.319 problemen (één zaad).
- Effectieve bit-breedte: $\sim 3.4$ .
- Vergelijking met REAP (expert-pruning): XFP+H behield alle experts en bereikte een hogere nauwkeurigheid (66,72% versus 33–44% voor gepreinte INT4) met een lagere of vergelijkbare geheugenvoetafdruk.
V2a-modus Probes:
- Demonstreerde doorvoerwinsten van +47% ten opzichte van Marlin INT4 op Qwen3.5-122B, wat de gedeelde-bibliotheekbenadering valideert voor geheugenbeperkte scenario's.

5. Betekenis en Claims

Het artikel positioneert XFP niet louter als een quantisatieformaat, maar als een mechanisme voor toepassing-klasse implementatie. De betekenis ligt in:

Omkeren van de Werkstroom: Het verschuiven van de rol van de operator van het selecteren van bit-breedtes naar het definiëren van kwaliteitsbeperkingen, waardoor het systeem zich automatisch aanpast aan modelheterogeniteit.
Werkstation-levensvatbaarheid: Het mogelijk maken van de implementatie van enorme MoE-modellen (tot 397B parameters) op consumenten/werkstationhardware (96 GB GPU's) zonder datacenter-specifieke Tensor Core-ondersteuning (NVFP4) of expert-pruning.
Kwaliteitsgedreven Compressie: Aantonen dat "kwaliteit" (cosinusgelijkenis) een effectievere stuurparameter is dan vaste bit-breedtes, met name voor MoE-modellen waarbij verschillende componenten zeer verschillende quantisatietoleranties hebben.
Hardware-onafhankelijkheid: Het bieden van een software-gedefinieerd doorvoervoordeel op hardware waar dedicated quantisatiepaden (NVFP4) niet beschikbaar of onvolledig zijn, en het overtreffen van de meest geoptimaliseerde INT4-kernels (Marlin) door minder bytes per token te lezen.

De auteurs stellen expliciet dat de trade-off per-groep codebook-overhead en encoding-tijd Lloyd-iteraties omvat, wat XFP op het werkstationniveau bevoordeelt voor geheugen-gebonden workloads, hoewel de keuze een implementatiebeslissing blijft in plaats van een universeel benchmark-oordeel.