🤖 AI

ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs

ARCQuant is een nieuw framework dat een state-of-the-art nauwkeurigheid en significante versnellingen in inferentie voor Large Language Models bereikt door NVFP4-kwantisering te verbeteren via augmented residual channels, wat effectief kwantiseringsfouten compenseert terwijl hardware-geünificeerde precisie behouden blijft en standaard GEMM-kernels worden benut.

Oorspronkelijke auteurs: Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Peng Zhang, Xindian Ma

Gepubliceerd 2026-07-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Peng Zhang, Xindian Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek aan kennis hebt (een Large Language Model, of LLM). Om deze bibliotheek in een kleine rugzak (het geheugen van je computer) te laten passen en snel te laten draaien, moet je de boeken verkleinen. Dit proces wordt kwantisatie genoemd.

Normaal gesproken kun je de boeken verkleinen door ze samen te vatten in 8-bit "paperbacks". Maar om nog kleiner en sneller te worden, proberen onderzoekers de boeken te verkleinen tot piepkleine 4-bit "postcards".

Er is echter een probleem: sommige pagina's in deze bibliotheken hebben enorme, dramatische paragrafen (genaamd outliers) die niet goed passen op een piekleine kaart. Als je probeert ze plat te drukken, raakt de hele pagina vervormd en maakt het verhaal nergens meer op.

Het probleem met huidige oplossingen

Wetenschappers hebben geprobeerd twee belangrijke manieren om dit op te lossen, maar beide hebben gebreken:

De "Shuffle"-methode: Stel je voor dat je een rommelige kamer probeert op te ruimen door alle meubels te verplaatsen zodat de grote bank in een kleine hoek past. Hoewel de bank er wel past, heb je de hele kamer nu chaotisch gemaakt. In AI-termen verspreidt deze "rotatie" de grote getallen, wat de nette, georganiseerde blokken die nieuwe computerchips (NVIDIA's Blackwell-architectuur) nodig hebben om snel te werken, verpest.
De "Mixed-Size"-methode: Stel je voor dat je de grote bank in een enorme doos (hoge precisie) houdt en de kleine stoelen in piekleine doosjes (lage precisie). Het probleem is dat je bezorgwagen (de computerhardware) ontworpen is om slechts één type doos tegelijk te vervoeren. Het mengen van formaten dwingt de vrachtwagen om telkens te stoppen en van versnelling te wisselen, wat alles vertraagt.

De oplossing: ARCQuant (De "Residual Backpack")

De auteurs van dit paper, van de Tianjin Universiteit, stellen een nieuwe methode voor genaamd ARCQuant. In plaats van de meubels te verplaatsen of verschillende maten dozen te gebruiken, gebruiken ze een slimme truc: De Augmented Residual Channel.

Hier is de analogie:

Stel je voor dat je een koffer (de data) inpakt voor een reis.

Het hoofdingrediënt: Je hebt een grote, volumineuze winterjas (de "outlier" data).
Het probleem: De koffer is te klein om de jas plat erin te krijgen.
De oude manier: Je probeert hem erin te duwen, waardoor de jas wordt geplet (verlies van nauwkeurigheid), of je koopt een tweede koffer van een andere maat (gemengde precisie), wat de luchtvaartmaatschappij niet efficiënt kan afhandelen.
De ARCQuant-manier: Je neemt de jas, vouwt hem strak op en stopt hem in een speciale, dunne "residual" zak die aan de zijkant van de koffer zit bevestigd.
- De hoofdkoffer bevat de rest van je kleding perfect.
- De dunne zak bevat de specifieke details van de jas die geplet zouden zijn.
- Cruciaal: De luchtvaartmaatschappij (de computerhardware) ziet dit als één enkele, uniforme koffer. Ze hoeven niet te stoppen en van versnelling te wisselen. Ze verwerken het hele ding gewoon als één eenheid.

Hoe het werkt in eenvoudige termen

Identificeer het probleem: Het systeem scant de data om de "volumineuze jassen" te vinden (de outlier-getallen die te groot zijn voor 4-bit).
Scheiden en bewaren: Het neemt die grote getallen, berekent wat er verloren zou gaan als ze zouden worden samengeperst, en bewaart dat "verloren verschil" (het residu) in een speciale extra kolom.
Uniform inpakken: Het verpakt de hoofddata en de "verschil"-data samen in één enkel, standaardformaat dat de computerchip perfect begrijpt.
De magische wiskunde: Wanneer de computer de koffer leest, telt hij het hoofdonderdeel en het "verschil"-onderdeel direct weer bij elkaar op. Omdat dit allemaal in één keer gebeurt, is het ongelooflijk snel.

Wat het paper beweert

De onderzoekers hebben hun methode getest op populaire AI-modellen (zoals LLaMA en Qwen) met behulp van de nieuwste NVIDIA graphics kaarten (RTX 5090 en PRO 6000).

Nauwkeurigheid: Hun methode is zo goed dat de AI bijna precies even goed presteert als de volledige, ongecomprimeerde versie. Het verslaat alle andere 4-bit methoden die momenteel beschikbaar zijn.
Snelheid: Omdat het de computer niet dwingt om tussen verschillende dataformaten te schakelen, draait het tot wel 3 keer sneller dan de standaard hoge-precisieversie.
Efficiëntie: Het gebruikt minder geheugen en vertraagt de computer niet, ook al doet het extra berekeningen om de "volumineuze jassen" te herstellen.

In een notendop

ARCQuant is als een slim inpaksysteem voor AI. Het vindt de items die te groot zijn voor een klein doosje, wikkelt ze in een speciale dunne laag en bevestigt ze aan de hoofddoos. Op deze manier blijft de AI slim en nauwkeurig, maar past hij in een kleiner, sneller pakketje dat de hardware van de computer zonder haperingen kan verwerken.

Technische Samenvatting: ARCQuant

Probleemstelling
De implementatie van Large Language Models (LLM's) wordt steeds vaker beperkt door geheugenbandbreedte en computationele latentie. Hoewel Post-Training Quantization (PTQ) een standaard optimalisatie is, blijft het bereiken van agressieve 4-bit gewichts- en 4-bit activatiequantisatie (W4A4) met behoud van de modelgetrouwheid een formidabele uitdaging. Recente hardware-vooruitgang, specifiek de NVIDIA Blackwell-architectuur, introduceert native ondersteuning voor fijnmazige Microscaling-formaten zoals NVFP4. Echter, bestaande PTQ-strategieën zijn slecht geschikt voor deze formaten:

Rotatiegebaseerde methoden (bijv. Hadamard-transformaties) herverdelen de uitschieter-magnitudes over dimensies, wat de fijnmazige blokisolatie die inherent is aan NVFP4 verstoort en lokale dynamische bereiken opblaast.
Mixed-precision benaderingen (bijv. Atom, MicroMix) proberen gevoelige kanalen te behouden in hogere precisie (INT8/FP16). Deze schenden echter de hardwarevereiste voor unified-precision berekeningen. NVFP4 vereist een blokgrootte van 16, terwijl hogere-precisieformaten vaak 32 gebruiken, wat leidt tot structurele incompatibiliteit die het gebruik van geoptimaliseerde Tensor Core-instructies verhindert en de throughput degradeert.

Methodologie: ARCQuant
Om deze algoritmische en hardwarematige barrières aan te pakken, stellen de auteurs ARCQuant (Augmented Residual Channels Quantization) voor. De kerninnovatie is een framework dat een strikt uniforme NVFP4-datapath behoudt en de kwantisatiefouten compenseert via een augmented residu-mechanisme.

Adaptieve Uitschieter-identificatie: Met behulp van kalibratiedata identificeert de methode dominante uitschieter-kanalen. Het herordent kanalen op basis van absolute maxima en selecteert een top- $S$ subset waar het precisieverschil tussen het doel-NVFP4 (E2M1 mantissa) en een referentie FP8-formaat significant is.
Dual-Stage Quantisatie:
- Primaire Fase: De input-activatiematrix wordt geherordend en gekwantiseerd met behulp van standaard block-wise NVFP4-kwantisatie.
- Residu Fase: Voor de geïdentificeerde uitschieter-kanalen berekent de methode het residu (het verschil tussen de oorspronkelijke waarde en de primaire gekwantiseerde waarde). Deze residuen worden vervolgens afzonderlijk gekwantiseerd in een tweede set NVFP4-kanalen.
Augmented Matrixvermenigvuldiging: De gekwantiseerde residuen worden samengevoegd met de primaire gekwantiseerde activaties langs de reductiedimensie ( $K$ ). Op dezelfde wijze worden de bijbehorende gewichten gedupliceerd om deze augmentatie te evenaren.
Unified GEMM Executie: Het gehele proces wordt in kaart gebracht naar een enkele, uitgebreide matrixvermenigvuldigingsoperatie $(N, K_{in} + S, M)$ . Dit maakt het mogelijk om het compensatieproces uit te voeren met standaard, hoog-geoptimaliseerde CUTLASS GEMM-kernels zonder de hardware-datapath te wijzigen of mixed-precision instructies te vereisen. De lineariteit van accumulatie zorgt ervoor dat de primaire berekening en de residu-correcties direct worden opgeteld bij de hoog-precisie accumulator.
Kernel Implementatie: De auteurs implementeren een gefuseerde CUDA-kernel die kanaalherordening, RMSNorm, primaire kwantisatie en residu-kwantisatie integreert. Dit minimaliseert latentie en produceert data in een interleaved kanaalindeling die klaar is voor de GEMM.

Belangrijkste Bijdragen

Eerste NVFP4-geoptimaliseerde PTQ-framework: ARCQuant is het eerste framework dat specifiek is ontworpen voor NVFP4 en gebruikmaakt van augmented residual channels om de mixed-precision hardwarebeperkingen te omzeilen, waarbij W4A8-niveau nauwkeurigheid wordt bereikt binnen strikte W4A4-beperkingen.
Theoretische Foutgrensanalyse: De auteurs bieden een rigoureuze analyse die aantoont dat de worst-case foutgrens van hun dual-stage NVFP4-mechanisme vergelijkbaar is met standaard single-stage MXFP8. Specifiek is de alignment overhead van het dual-stage proces ( $\approx 1.266$ ) lager dan die van MXFP8 ( $< 2$ ), wat de brug tussen de precisie-kloof theoretisch valideert.
High-Performance Implementatie: Het artikel beschrijft de implementatie van custom kernels die complexe residu-accumulatie in kaart brengen naar standaard GEMM-calls, wat portabiliteit en efficiëntie op Blackwell-architecturen garandeert.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op LLaMA 3.1 en Qwen2.5 modelfamilies (variërend van 7B tot 70B) en geëvalueerd op NVIDIA RTX 5090 en RTX PRO 6000 GPU's.

Nauwkeurigheid: ARCQuant presteert consistent beter dan bestaande NVFP4-adaptatiestrategieën (inclusief RTN, SmoothQuant, QuaRot en MicroMix). Op LLaMA 3.1-8B en Qwen2.5-7B overtreft het de W4A8-baselines in perplexiteit en MMLU-scores, waardoor de kloof naar volledige FP16-precisie effectief wordt gedicht. Op Qwen2.5-32B bereikt het bijna verliesloze compressie.
NVFP4 Specificaties: In tegen tegenstelling tot rotatiegebaseerde methoden die prestatie-regressie veroorzaakten op NVFP4, slaagt ARCQuant erin uitschieter-fouten te onderdrukken zonder de blokisolatie te verstoren.
Efficiëntie: De methode bereikt significante versnellingen ten opzien van FP16 (tot 3,5× op RTX 5090 voor Llama 3.1-8B) en geheugenreducties (1,5×–2,8×). De overhead geïntroduceerd door de residu-augmentatie is minimaal (ongeveer 4,9% totale latentie-toename), en het presteert aanzienlijk beter dan W4A8 en MXFP8 alternatieven qua throughput.
Generaliseerbaarheid: De aanpak vertoont robuustheid over verschillende modelgroottes (inclusief 70B dense en 8x7B MoE architecturen) en toont uitbreidbaarheid naar INT4 en MXFP4 formaten.

Betekenis en Claims
Het artikel claimt dat ARCQuant een schaalbare, hardwarevriendelijke route biedt voor efficiënte LLM-inferentie door het uitschieter-probleem op te lossen zonder de blokisolatie of hardware-uniformiteit in gevaar te brengen. De auteurs benadrukken het principe van "het ruilen van minimale computatiedimensies voor hogere getrouwheid", wat het gebruik van agressieve 4-bit kwantisatie op volgende generatie hardware mogelijk maakt terwijl de nauwkeurigheid van hogere-precisie formaten behouden blijft. Het werk wordt gepresenteerd als een praktische oplossing die de specifieke capaciteiten van de NVIDIA Blackwell-architectuur benut om de beperkingen van huidige PTQ-strategieën te overwinnen.