Technische Samenvatting: TORQ – Twee-niveau Orthogonale Rotatie voor MXFP4-Quantisatie

1. Probleemstelling

Naarmate Large Language Models (LLM's) zich bewegen naar praktische implementatie, is het Microscaling FP4 (MXFP4)-formaat opgekomen als een kritieke standaard voor inferentie met lage bitdiepte vanwege de balans tussen hoge dynamische range en hardware-efficiëntie. Het direct toepassen van MXFP4 op de quantisatie van LLM-activaties leidt echter tot ernstige degradatie van de nauwkeurigheid. Het paper identificeert dat bestaande op rotatie gebaseerde quantisatiemethoden, die primair zijn ontworpen voor integer-formaten (bijv. INT4), niet inspelen op de unieke topologische structuur van Block Floating Point (BFP)-formaten zoals MXFP4.

Door theoretische analyse onthullen de auteurs dat de prestatiedaling voortkomt uit twee structurele onevenwichtigheden tussen realistische activatiedistributies en het MXFP4-block floating-point-formaat:

1. Extreme Inter-block Variantie-ongelijkheid: Onder vaste-block microscaling is de activatievariantie sterk ongelijk. Een minderheid van blokken met hoge variantie domineert de totale quantisatiefout. Deze blokken dwingen de gedeelde schaalfactor (exponent) omhoog om uitbijters op te vangen, wat ervoor zorgt dat de resolutie voor de meerderheid van activaties met kleine grootte binnen hetzelfde blok overmatig wordt verslechterd, wat vaak resulteert in het nulzetten van meer dan 90% van de elementen.
2. Intra-block Codeboekgebruik-ongelijkheid (Codeboekinstorting): Realistische activaties volgen vaak een zwaarstaartdistributie die geconcentreerd is rond nul, wat niet overeenkomt met het geometrische progressie-codeboek van MXFP4 (e2m1). Dit leidt tot "codeboekinstorting", waarbij de overgrote meerderheid van waarden valt in het minimale quantisatie-interval, waardoor codewoorden met hoge capaciteit voor grote waarden ongebruikt blijven. Statistieken tonen aan dat ~50% van het codewoordbereik slechts door ~10% van de data wordt geactiveerd.

2. Methodologie: TORQ Framework

Om deze uitdagingen aan te pakken, stellen de auteurs TORQ (Two-level Orthogonal Rotation for MXFP4 Quantization) voor, een trainingsvrij Post-Training Quantization (PTQ)-framework. In plaats van passief quantisatieparameters aan te passen, roteert TORQ actief het activatiecoördinatenstelsel om distributiekenmerken af te stemmen op de structurele eigenschappen van MXFP4. De methode splitst de optimalisatie op in twee wiskundig orthogonale deelvragen:

A. Macro-Evenwichtsrotatie (Inter-block)

• Doel: De dominantie van blokken met hoge variantie elimineren door activatie-energie uniform over alle blokken te herverdelen.
• Theoretische Basis: Gebaseerd op de Schur-Horn-stelling en theorie van convexe optimalisatie. De auteurs bewijzen dat onder een convex foutmodel het gelijkstellen van de variantie over blokken de globale Gemiddelde Kwartieke Fout (MSE) minimaliseert.
• Mechanisme: Er wordt een orthogonale transformatie geconstrueerd om ervoor te zorgen dat de diagonaalelementen van de getransformeerde covariantiematrix uniform zijn (d.w.z. alle blokvarianties worden gelijk). Dit fungeert als een "zachte uitbijteronderdrukking"-mechanisme, dat voorkomt dat blokken met hoge variantie de gedeelde schaalfactoren opdrijven en de precisie van elementen met kleine grootte behoudt.
• Implementatie: Een efficiënt iteratief Givens-rotatiealgoritme wordt gebruikt om de rotatiematrix te construeren, waarbij convergentie binnen $O(B^2)$ tijd wordt gegarandeerd.

B. Micro-Afstemtingsrotatie (Intra-block)

• Doel: "Codeboekinstorting" verlichten door de intra-block activatiedistributie te herschikken om het volledige MXFP4-codeboekcapaciteit te benutten.
• Theoretische Basis: Geleid door het principe van maximale entropie. Het doel is om de activatiedistributie uniform te laten "stromen" naar elk codewoordinterval binnen de genormaliseerde FP4-ruimte.
• Mechanisme: De methode definieert een Codeboekbezettings-evenwichtsverlies, dat de afwijking van het empirische codewoordgebruik van een uniforme distributie meet.
• Optimalisatie: Er wordt een strategie voor afwisselende coördinatenafdaal gebruikt:
  • S-stap: Update blokschaalfactoren om maximale activatiewaarden af te beelden op het maximale MXFP4-codewoord.
  • R-stap: Update de intra-block orthogonale rotatiematrix met behulp van Givens-rotaties. Een heuristiek selecteert kolomparen met hoge onbalans en statistische complementariteit, en zoekt vervolgens naar de optimale rotatiehoek via eindige enumeratie (benutten van het stuksgewijs constante karakter van de verliesfunctie).

Inferentie-efficiëntie

TORQ is ontworpen voor minimale overhead. De inverse rotatiematrices worden tijdens de offline kalibratiefase samengevoegd met de gewichten van de aangrenzende lineaire lagen. Bijgevolg levert de online inferentiefase verwaarloosbare extra rekentijd op, aangezien de rotatie effectief wordt geabsorbeerd in de vermenigvuldiging van de gewichtsmatrix.

3. Belangrijkste Bijdragen

1. Probleemformalisatie: Het paper is het eerste dat systematisch de twee structurele uitdagingen identificeert en formaliseert die de MXFP4-prestaties belemmeren: Inter-block Variantie-ongelijkheid en Intra-block Codeboekgebruik-ongelijkheid.
2. Dual-level Framework: Het stelt TORQ voor, het eerste dual-level rotatieframework dat expliciet is ontworpen voor Block Floating Point-structuren. Door macro-variantie-evenwicht en micro-codeboekafstemming te integreren, wordt een systematische minimalisatie van de quantisatiefout bereikt.
3. Theoretische Fundament: De auteurs leveren rigoureuze bewijzen die aantonen dat variantie-evenwicht bij benadering optimaal is onder convexe foutmodellen en dat codewoordbezettings-evenwicht de minimalisatie van de quantisatiefout benadert onder de MXFP4-geometrische structuur.
4. Efficiënte PTQ-pijplijn: Er wordt een pijplijn zonder fine-tuning gevestigd die slechts minimale kalibratiedata vereist (bijv. 128 samples) en hardwarevriendelijkheid toont met een verwaarloosbare parametervoetafdruk.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op gangbare LLM's (LLaMA3-serie en Qwen3-serie) variërend van 8B tot 70B parameters, waarbij zowel Dense- als Mixture-of-Experts (MoE)-architecturen werden bestreken. De evaluatie omvatte perplexiteit op WikiText2 en zero-shot nauwkeurigheid op taken zoals ARC, HellaSwag, MMLU, GSM8K en HumanEval.

• Prestatie-voorsprong: TORQ presteert significant beter dan bestaande State-of-the-Art (SOTA)-methoden (waaronder RTN, GPTQ, QuaRot, OSTQuant, FlatQuant en BRQ).
  • Op Qwen3-32B verlaagde TORQ de WikiText-perplexiteit tot 8,43 (tegenover 274,93 voor RTN en 14,62 voor OSTQuant), wat dicht in de buurt komt van de BF16-basislijn van 7,61.
  • De gemiddelde nauwkeurigheid op zero-shot taken voor Qwen3-32B steeg van 38,40% (RTN) naar 73,63% (TORQ), wat bijna overeenkomt met de BF16-basislijn van 74,82%.
  • Op LLaMA3-70B bereikte TORQ een perplexiteit van 3,49 (tegenover 3180,43 voor RTN) en een gemiddelde nauwkeurigheid van 76,28%.
• Redeneervermogen: TORQ toonde een sterke herstel van "diepe intelligentie" in complexe redeneertaken. Op GSM8K voor Qwen3-8B werd de nauwkeurigheid hersteld naar 86,82% (tegenover 67,37% voor GPTQ), en de HumanEval-nauwkeurigheid bereikte 61,15%.
• Generaliseerbaarheid: De methode bleek effectief over verschillende microscaling-formaten (MXINT4, NVFP4) en MoE-architecturen (Qwen3-30B-A3B), wat zijn format-agnostische aard bevestigt.
• Efficiëntie: TORQ-kalibratie is aanzienlijk sneller dan concurrerende methoden (bijv. ~10x sneller dan FlatQuant voor Qwen3-32B). Inferentiesnelheidswinsten van 3,5x ten opzichte van BF16 werden waargenomen op Qwen3-30B-A3B, met een memorygebruik dat terugliep van 56,9GB naar 15,3GB.

5. Betekenis en Claims

Het paper beweert dat TORQ effectief de kloof overbrugt tussen 4-bit floating-point quantisatie en inferentie met volledige precisie, en de nauwkeurigheidsdegradatie oplost die inherent is aan MXFP4-activatiequantisatie. Door het optimalisatieparadigma te verschuiven van lokale parameteraanpassing naar "structuurbewuste orthogonale transformatie", biedt TORQ de eerste systematische oplossing voor MXFP4-activatiequantisatie.

De auteurs positioneren dit werk als het leggen van een cruciale basis voor de toepassing van low-bit floating-point-formaten in de efficiënte implementatie van LLM's. Ze erkennen beperkingen, zoals de huidige focus op eerste-orde statistieken (waarbij hogere-orde momenten zoals kurtosis worden genegeerd) en het gebruik van vaste blokgroottes, en merken op dat adaptieve strategieën voor deze factoren een richting voor toekomstig werk blijven. De huidige resultaten vestigen echter een nieuw optimalisatieparadigma voor low-bit floating-point activatiequantisatie.