Technische Samenvatting: RaZeR – De grenzen van NVFP4-kwantisatie verleggen met Redundant Zero Remapping

1. Probleemstelling

Large Language Models (LLM's) worden geconfronteerd met aanzienlijke uitdagingen bij implementatie vanwege de substantiële geheugenbandbreedte en computationele eisen. Hoewel kwantisatie een primaire oplossing is voor efficiënte inferentie, presenteert het onlangs geïntroduceerde NVFP4-formaat (ondersteund door NVIDIA Blackwell GPU's) een specifieke beperking: de beperkte set representeerbare waarden in het 4-bit FP4-elementformaat.

De auteurs identificeren twee specifieke bronnen van redundantie in de huidige NVFP4-codering die onderbenut worden:

1. Redundante FP4-nullen: Het FP4-elementformaat (FP4-E2M1) gebruikt een teken-mantissa-representatie, wat resulteert in zowel positieve als negatieve nullen. Eén van deze nullen is redundant voor het representeren van numerieke waarden.
2. Redundant Sign Bit van de Block Scaling Factor: De block scaling factor in NVFP4 is een FP8-E4M3 waarde. Omdat scaling factoren echter worden afgeleid van de absolute maxima van positieve tensoren, zijn ze altijd positief. Bijgevolg is het tekenbit van de FP8 scaling factor niet gebruikt, wat effectief 1 bit aan precisie verspilt per block (of 2 bits voor gewichten waar een compacter schaalformaat levensvatbaar is).

Deze redundanties beperken de nauwkeurigheid van 4-bit kwantisatie, met name voor weight-only en weight-activation scenario's, aangezien de standaard FP4-set $\{ \pm 0, \pm 0.5, \pm 1, \pm 1.5, \pm 2, \pm 3, \pm 4, \pm 6 \}$ de distributie van LLM-gewichten en activaties niet optimaal kan dekken.

2. Methodologie: Redundant Zero Remapping (RaZeR)

Het paper stelt RaZeR voor, een verbeterd numeriek formaat dat deze redundanties hergebruikt om de kwantisatienauwkeurigheid te verhogen zonder het geheugenspeldvoet te vergroten.

2.1. Uitbuiten van de Redundantie in de Scaling Factor

De auteurs analyseren eerst de bitbreedte-eisen voor block scaling factoren. Door empirische evaluatie op Llama- en Qwen-modellen stellen zij vast dat LLM-gewichten tolerant zijn voor scaling factoren met een lagere precisie.

• Gewichten: De block scale kan worden teruggebracht van de standaard E4M3 (8 bits) naar E3M3 (6 bits) zonder verlies van nauwkeurigheid, waardoor 2 bits per block vrijkomen.
• Activaties: Activaties hebben een grotere dynamische range en zijn minder tolerant; daarom behouden de auteurs het E4M3 (7 effectieve bits, 1 tekenbit redundant) formaat, waardoor 1 bit per block vrijkomt.

2.2. Remapping van de Redundante Nul

RaZeR gebruikt de vrijgekomen bits van de scaling factor om metadata te coderen die een "Special Value" selecteert om de redundante nul in de FP4-elementrepresentatie te vervangen.

• Selectie van de Special Value: In plaats van een nul te representeren, wordt de redundante FP4-codering hermaakt naar een specifieke niet-nul waarde (bijv. $\pm 5$).
• Optimalisatie: Voor elk block selecteert het algoritme de optimale special value uit een vooraf gedefinieerde set om de gemiddelde kwantisatiefout in het kwadratisch gemiddelde (MSE) te minimaliseren.
  • Gewichten: Met 2 vrije bits kan RaZeR kiezen uit 4 special values (2 paren). Deze worden offline vooraf berekend.
  • Activaties: Met 1 vrije bit selecteert RaZeR uit 2 special values (1 paar). Dit vereist een lichtgewicht online kwantisatiestap (double quantization) om fouten te vergelijken, wat minder dan 2% overhead toevoegt aan de kwantisatietijd.
• Waardebeperkingen: Om de hardware-efficiëntie te behouden, zijn special values beperkt tot veelvouden van 0,5 (overeenkomend met de FP4-granulariteit). Empirische analyse toont aan dat $\pm 5$ het optimale special value paar is, omdat het de kloof overbrugt tussen de grootste representeerbare FP4-waarden ($\pm 4$ en $\pm 6$).

2.3. Implementatie

• GPU Kernels: De auteurs hebben hoogwaardige weight-only en weight-activation GEMM kernels geïmplementeerd voor NVIDIA Blackwell GPU's. Ze maken gebruik van een two-pass methode voor activaties om de remapping-logica binnen bestaande tensor cores af te handelen en gebruiken auto-tuning strategieën om de thread block partitionering te optimaliseren voor kleine batchgroottes.
• Hardware Design: Een aangepaste NVFP4 tensor core wordt voorgesteld om RaZeR natief te ondersteunen. Dit ontwerp bevat weight en activation decoders die offset registers gebruiken om de special values te reconstrueren uit de metadata bits voordat de Multiply-Accumulate (MAC) operaties worden uitgevoerd.

3. Belangrijkste Bijdragen

1. RaZeR Formaat: Een verbeterd NVFP4-formaat dat de redundante nulbits en de scaling factor tekenbits hergebruikt om adaptieve special values te introduceren, wat de kwantisatienauwkeurigheid verhoogt bij hetzelfde geheugenspeldvoet.
2. Efficiënte GPU Kernels: Implementatie van weight-only en weight-activation inferentie kernels op Blackwell GPU's die prestaties bereiken die vergelijkbaar met of beter zijn dan eerdere 4-bit kernels (bijv. Marlin, AWQ).
3. Hardware Architectuur: Een ontwerp voor een aangepaste tensor core die natieve ondersteuning biedt voor RaZeR met minimale silicon overhead.
4. Uitgebreide Evaluatie: Uitgebreide benchmarks die de superioriteit van RaZeR over bestaande 4-bit methoden aantonen voor diverse modelgroottes (Llama, Qwen) en kwantisatie-instellingen.

4. Experimentele Resultaten

Het paper evalueert RaZeR tegen state-of-the-art methoden inclusief NVFP4, FourOverSix, MR-GPTQ en NF4.

• Reductie van Perplexity:
  • Relatief ten opzichte van native NVFP4 vermindert RaZeR de gemiddelde perplexity loss met 34,6% (weight-only) en 31,2% (weight-activation).
  • Vergeleken met de state-of-the-art FourOverSix, vermindert RaZeR de gemiddelde perplexity loss met 29,2% (weight-only) en 23,3% (weight-activation).
• Zero-Shot Nauwkeurigheid: RaZeR verbetert de gemiddelde zero-shot taaknauwkeurigheid met 0,63% ten opzien van het baseline NVFP4-formaat over alle geteste modellen.
• Redeneringstaken: Op GSM8K en MMLU taken laat RaZeR significante winsten zien, waarbij het recente NVFP4-gebaseerde algoritmen (MR-GPTQ, FourOverSix) overtreft met marges tot 4,47% in weight-activation instellingen.
• Hardware Efficiëntie:
  • Area/Power: Synthese-resultaten op TSMC 28nm technologie tonen aan dat de RaZeR tensor core slechts 3,7% area en 13,5% power overhead veroorzaakt ten opzichte van de baseline NVFP4 core. Gezien MAC-units een klein deel van het totale acceleratorontwerp vormen, wordt de totale chip overhead geschat op 0,37% area en 1,35% power.
  • Doorvoer: Op Blackwell GPU's bereiken RaZeR kernels bijna de best-in-class single-batch decoding snelheden en presteren ze aanzienlijk beter dan andere weight-only kernels bij matige tot grote batchgroottes.

5. Betekenis en Claims

Het paper claimt dat RaZeR een significante stap voorwaarts is voor low-precision LLM kwantisatie door aan te tonen dat algoritmische innovatie kan worden bereikt door de structurele redundanties in bestaande hardware-ondersteunde formaten uit te buiten, in plaats van het vereisen van volledig nieuwe, complexe datatypes.

Belangrijke claims zijn onder meer:

• RaZeR duwt de grenzen van NVFP4 op, waarbij een hogere nauwkeurigheid wordt bereikt dan huidige state-of-the-art 4-bit methoden zonder het geheugengebruik te vergroten.
• De aanpak is praktisch voor directe implementatie op huidige hardware (via software kernels) en toekomstige hardware (via de voorgestelde tensor core modificatie).
• De minimale hardware overhead (sub-1% totale chip area) maakt de adoptie van RaZeR zeer haalbaar voor volgende generaties accelerators.
• Door de operationele kosten en het energieverbruik van LLM-implementatie te verlagen via efficiëntere kwantisatie, draagt het werk bij aan het toegankelijker maken van AI-systemen.

De auteurs benadrukken dat hun werk zich richt op het verfijnen van de NVFP4-standaard om beter aan te sluiten bij de LLM-tensordistributies, wat een pad biedt naar "bijna-verliesloze" 4-bit kwantisatie die voorheen onbereikbaar was met standaard FP4 of integer formaten.