Technische Samenvatting: FOCUS – FP4-optimalisatie via Gekoppelde-Relaxatie en Dual-Granulariteit Schaling

Probleemstelling

Large Language Models (LLMs) worden geconfronteerd met aanzienlijke uitdagingen bij de implementatie vanwege hun enorme aantal parameters, wat efficiënte compressietechnieken noodzakelijk maakt. Hoewel Post-Training Quantization (PTQ) een standaardmethode is geworden, blijft het naar 4-bit floating-point (FP4) formaten zoals MXFP4 en NVFP4 duwen van quantisatie een moeilijke opgave. Deze formaten bieden native hardwareondersteuning op moderne versnellers (bijv. NVIDIA Blackwell) via block-wise schalingsschema's (bijv. groepen van 32 of 16 waarden die een lage-precisie schaal delen).

Het behouden van de modelnauwkeurigheid onder FP4-precisie is echter een hardnekkige bottleneck. Een kritieke beperking van bestaande methoden is de strakke koppeling tussen de quantisatieschaal ($S_q$) en de dequantisatieschaal ($S_{dq}$). Huidige benaderingen dwingen beide schalen om aan hetzelfde discrete, lage-precisie hardwareformaat te voldoen (bijv. E8M0 voor MXFP4) en dezelfde block-granulariteit te hanteren. Dit is suboptimaal omdat:

1. Redundante Beperkingen: Alleen de dequantisatieschaal ($S_{dq}$) wordt opgeslagen en gebruikt tijdens inferentie, waardoor deze aan hardwarebeperkingen moet voldoen. De quantisatieschaal ($S_q$), die uitsluitend wordt gebruikt tijdens het offline quantisatieproces om de beste FP4-gewichtstoewijzing te bepalen, wordt daarna weggegooid en hoeft deze beperkingen niet te volgen.
2. Discrete Optimalisatieruimte: Door $S_q$ in een discreet lage-precisie formaat te dwingen, beperken bestaande methoden het optimalisatielandschap, wat gradiëntgebaseerd leren van optimale gewichtstoewijzingen verhindert.
3. Granulariteitsverschil: Een enkele schaal op block-niveau kan lokale gewichtsvariaties binnen een block niet goed opvangen, wat leidt tot quantisatiefouten.

Methodologie

De auteurs stellen FOCUS voor, een post-training quantisatieframework dat de "vrijheid" van de quantisatieschaal benut om de FP4-nauwkeurigheid te optimaliseren zonder de inferentie-overhead te verhogen. Het framework werkt op twee belangrijke dimensies: Precisie en Granulariteit.

1. Baseline: End-to-End Scale Learning

De auteurs stellen eerst een baseline vast waarbij de modelgewichten bevroren zijn en block-wise schalen end-to-end worden geleerd met behulp van een knowledge distillation loss (KL-Top). In tegenstelling tot traditionele PTQ optimaliseert deze baseline schalen via gradiëntafdaling met behulp van de Straight-Through Estimator (STE) om niet-differentieerbare quantisatieoperaties af te handelen. Deze baseline dwingt echter nog steeds $S_q = S_{dq}$ af, waardoor de strakke koppeling behouden blijft.

2. Coupled-Relaxation Scaling (CRS)

Om de precisiebeperking aan te pakken, introduceert FOCUS Coupled-Relaxation Scaling (CRS).

• Mechanisme: CRS ontkoppelt de quantisatieschaal van het door hardware opgelegde formaat door een leerbare full-precision coëfficiënt, $c_i$, te introduceren.
• Formulering: De quantisatieschaal wordt gedefinieerd als $S_q = S_{dq} \cdot c_i$, waarbij $S_{dq}$ de hardware-conforme schaal is (gekwantiseerd naar E4M3 of E8M0) en $c_i$ een full-precision (FP16) leerbare parameter is, geïnitialiseerd op 1.
• Effect: Dit verlicht de strakke koppeling door de optimalisatie van $S_q$ te verplaatsen van een discrete lage-precisie ruimte naar een continue full-precision ruimte. Dit stelt het model in staat om betere FP4-gewichtstoewijzingen te vinden, terwijl $S_{dq}$ voldoet aan de hardwarevereisten. De coëfficiënt $c_i$ wordt na de training weggegooid.

3. Dual-Granularity Scaling (DGS)

Om de granulariteitsbeperking aan te pakken, introduceert FOCUS Dual-Granularity Scaling (DGS).

• Mechanisme: DGS onderverdeelt elk hardware-block (grootte 32 voor MXFP4, 16 voor NVFP4) in kleinere sub-blocks (bijv. grootte 8). Elk sub-block krijgt een onafhankelijke full-precision relaxatiecoëfficiënt ($c_k$).
• Formulering: De quantisatie voor een sub-block $k$ wordt $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$, terwijl de dequantisatieschaal $S_{dq}$ gedeeld blijft over het gehele block.
• Effect: Dit stelt de quantisatieschaal in staat om op een fijnere granulariteit te opereren dan de dequantisatieschaal, waardoor lokale gewichtsvariaties binnen een block worden gevangen die een enkele schaal op block-niveau zou missen. Net als bij CRS worden deze coëfficiënten na de training weggegooid.

4. Deployment en Compatibiliteit

FOCUS leunt niet op structurele transformaties (zoals Hadamard-rotaties) die vaak inferentie-overhead veroorzaken of frameworkmodificaties vereisen. Het uiteindelijke gedployde model bestaat strikt uit standaard FP4-gewichten en hardware-conforme dequantisatieschalen, wat naadloze compatibiliteit garandeert met bestaande inferentie-engines en nul extra inferentiekosten met zich meebrengt.

Belangrijkste Bijdragen

1. Inzicht Identificatie: Het artikel identificeert dat de quantisatieschaal vrij is van hardwarebeperkingen, in tegen te stelle de dequantisatieschaal, en stelt voor deze vrijheid te exploiteren in zowel precisie als granulariteit.
2. Coupled-Relaxation Scaling (CRS): Een techniek die een leerbare full-precision coëfficiënt introduceert om de koppeling tussen de quantisatieschaal en de dequantisatieschaal te verlichten, wat continue gradiëntgebaseerde optimalisatie mogelijk maakt.
3. Dual-Granularity Scaling (DGS): Een methode die quantisatieschalen op sub-block niveau toewijst, waardoor intra-block gewichtsvariaties worden gevangen die block-wise schaling niet kan representeren.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat FOCUS SOTA FP4-nauwkeurigheid bereikt onder zowel MXFP4 als NVFP4 formaten over meerdere LLM-families (Qwen, LLaMA) zonder inferentie-overhead.

Experimentele Resultaten

De auteurs evalueerden FOCUS op vijf LLM's (Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B) met behulp van WikiText2, C4 en vijf zero-shot redeneerbenchmarks (ARC, HellaSwag, PIQA, Winogrande).

• Nauwkeurigheid Herstel: Op Qwen3-4B onder NVFP4 herstelt FOCUS 98,2% van de FP16 zero-shot nauwkeurigheid, waarmee het aanzienlijk beter presteert dan baselines zoals RTN, GPTQ, MR-GPTQ, 4over6 en RaZeR.
• Perplexity: FOCUS bereikt de laagste perplexiteit in bijna alle settings. Voor Qwen3-8B bereikt het een perplexiteit van 9,47 op WikiText2 (NVFP4), wat bijna overeenkomt met de FP16-baseline van 9,73.
• Redeneervermogen: Op chain-of-thought taken (GSM8K, MMLU) presteert FOCUS consistent beter dan concurrerende methoden, waarbij de meerstaps-redeneervermogens beter worden behouden dan andere FP4-quantisatiemethoden.
• Efficiëntie: Het quantisatieproces is lichtgewicht. Op een enkele NVIDIA H20 GPU duurt het quantiseren van Qwen3-4B 19 minuten, wat 34% sneller is dan de vorige SOTA-methode (MR-GPTQ).

Betekenis en Claims

Het artikel beweert dat FOCUS een paradigmaverschuiving vertegenwoordigt in FP4-quantisatie door de rol van de quantisatieschaal te heroverwegen. Door te erkennen dat de quantisatieschaal niet hoeft te worden opgeslagen of aan hardwarebeperkingen hoeft te voldoen, ontsluiten de auteurs een significante, voorheen onbenutte optimalisatieruimte.

De betekenis ligt in het bereiken van state-of-the-art nauwkeurigheid voor FP4-inferentie, terwijl er nul inferentie-overhead en naadloze hardwarecompatibiliteit behouden blijft. In tegen tegenstelling tot transformatiegebaseerde methoden die computationele kosten toevoegen of frameworkadaptatie vereisen, opereert FOCUS puur binnen de schaaloptimalisatieruimte. De auteurs stellen dat hun aanpak effectief de prestatiekloof tussen FP4 en full-precision (FP16) modellen overbrugt, waardoor hoog-efficiënte W4A4-inferentie levensvatbaarder wordt voor praktische implementatie.