Technische Samenvatting: OASIS

Probleemstelling

Large Language Models (LLMs) vereisen aanzienlijke geheugen- en rekenbronnen tijdens inferentie. Hoewel kwantisatie een primaire methode voor compressie is, kampen bestaande benaderingen met een afruil tussen efficiëntie en nauwkeurigheid:

• Weight-Only Quantization (WOQ): Vermindert het geheugenverbruik, maar vereist kostbare dekwantisatie van gewichten naar FP16 vóór uitvoering, wat vaak 20–90% van de totale runtime in beslag neemt.
• Integer Weight-and-Activation Quantization (INT-WAQ): Maakt volledige berekeningen met lage precisie mogelijk, maar lijdt onder aanzienlijke degradatie van de nauwkeurigheid door beperkte representatiecapaciteiten.
• Non-Uniform Weight-and-Activation Quantization (NU-WAQ): Gebruikt geleerde codeboeken om datadistributies beter te matchen, wat de nauwkeurigheid verbetert. Het index-gecodeerde formaat is echter incompatibel met standaard hardware met lage precisie, waardoor dekwantisatie naar FP16 noodzakelijk is en de computationele voordelen teniet worden gedaan.

Bovendien zijn activatie-outliers in LLM's talrijker en groter in magnitude dan gewicht-outliers, wat zorgt voor hoge kwantisatieruis. Het dynamisch identificeren van deze outliers tijdens inferentie introduceert doorgaans latentie-overhead omdat de detectie op het kritieke pad van de General Matrix Multiplication (GEMM) wordt geplaatst.

Methodologie

Het artikel stelt OASIS voor (Outlier-Aware LUT-Based GEMM with Dual-Side Quantization), een algoritme-architectuur co-design framework dat efficiënte GEMM mogelijk maakt tussen niet-uniform gekwantiseerde gewichten en activaties zonder dekwantisatie.

1. WAQ LUT-Based GEMM

OASIS maakt gebruik van drie specifieke mogelijkheden in Non-Uniform WAQ (NU-WAQ) om de Lookup Table (LUT) gebaseerde berekening te optimaliseren:

• Offline Pre-computatie: In tegenstelling tot WOQ-methoden waarbij LUT's afhankelijk zijn van stromende activaties, gebruikt NU-WAK offline geleerde centroids voor zowel gewichten als activaties. Dit maakt het mogelijk om de volledige LUT vooraf te berekenen en vóór de inferentie op de chip op te slaan.
• Cartesiaanse Product LUT's: In plaats van volledige inwendige producten op te slaan (die grote LUT's vereisen die afhankelijk zijn van de reductielengte), slaat OASIS het Cartesiaanse Product van gewichts- en activatie-centroids op. Dit vermindert de LUT-grootte drastisch.
• Hoge Parallelliteit: De Cartesiaanse Product LUT is onafhankelijk van de reductielengte (input kanaalaantal), wat grootschalige granulaire GEMM's en aanzienlijk hogere computationele parallelliteit mogelijk maakt vergeleken met bestaande groep-gewijze LUT-methoden.

2. Outlier-Aware Quantization met Look-Ahead

Om activation outliers te verwerken zonder runtime-penalties, introduceert OASIS een dual-branch berekeningsschema:

• Main Branch (Look-Ahead): Voert WAQ LUT-GEMM uit op de gehele activatievector, waarbij outliers behandelt alsof ze normaal gekwantiseerd zijn. Deze tak negeert aanvankelijk de kwantisatiefout van de outliers.
• Outlier Branch (Error Compensation): Identificeert gelijktijdig de outliers en berekent hun kwantisatiefouten (residuen). Deze residuen worden vermenigvuldigd met de dekwantiseerde gewichten en geaccumuleerd om de fouten te compenseren die in de main branch zijn geïntroduceerd.
• Resultaat: De uiteindelijke output is de som van de look-ahead resultaten en de foutcompensatie, wat wiskundig equivalent is aan conventionele dynamische outlierdetectie, maar waarbij het detectieproces uit het kritieke pad is verwijderd.

3. Hardware Architectuur

De OASIS-accelerator bevat:

• Orizuru: Een lichtgewicht, boom-gebaseerde top-k detectie-engine die in realtime de grootste en kleinste activatiewaarden identificeert. Het gebruikt twee-voudige binaire bomen met gedeelde bladnodes om vergelijkingen en latentie te minimalen.
• Processing Elements (PE): Maakt gebruik van "Concat Units" om gewichts- en activatie-indices samen te voegen, die ze vervolgens naar Index Counters voeden om de frequentie van elk uniek indexpaar te bepalen.
• Reductie: Een MAC Tree voert gewogen sommen uit met behulp van de index-tellingen en de vooraf opgeslagen Cartesiaanse Productwaarden uit de LUT.

Belangrijkste Bijdragen

1. WAQ LUT-GEMM: Een nieuwe methode die efficiënte GEMM mogelijk maakt tussen niet-uniform gekwantiseerde gewichten en activaties zonder dekwantisatie, door gebruik te maken van vooraf berekende Cartesiaanse Product LUT's om de LUT-grootte met 64× te verkleinen en de parallelliteit met 1024× te vergroten vergeleken met bestaande WOQ LUT-GEMM methoden.
2. Outlier-Aware Scheme: Een gelijktijdige look-ahead berekening en foutcompensatiemechanisme dat activation outliers afhandelt zonder extra runtime-overhead te veroorzaken.
3. OASIS Accelerator: Een architectuurontwerp dat het voorgestelde WAQ LUT-GEMM schema efficiënt ondersteunt.
4. Orizuru Engine: Een lichtgewicht top-k detectie-engine voor realtime identificatie van activation outliers in datastromen.

Experimentele Resultaten

De auteurs hebben OASIS geëvalueerd over diverse LLM's (OPT, LLaMA, Mistral) en taken (perplexity, zero-shot nauwkeurigheid) op een NVIDIA A100 GPU voor algoritmische benchmarks en een cycle-accurate simulator voor hardware-metrieken.

• Algoritmische Prestaties:

  • Vergeleken met de FP16 baseline, veroorzaakt OASIS een gemiddelde nauwkeurigheidsafname van slechts 1,94% (gemeten in perplexity), wat 6,34% lager is dan de Atom baseline.
  • In W4A4 precisie verbetert OASIS de nauwkeurigheid met 6,44% ten opzichte van Atom en met 6,92% ten opzichte van QuaRot.
  • Dynamische outlierdetectie (OASIS) presteert beter dan statische drempelwaarde (OASIS-S), waarbij de perplexity wordt verminderd met 0,05 (W4A4) en 0,27 (W4A3).

• Hardware Prestaties:

  • Vergeleken met de FIGLUT ASIC accelerator, bereikt OASIS een gemiddelde versnelling van 3,00× en een verbetering van 1,44× in energie-efficiëntie.
  • Vergeleken met de A100 GPU en QuaRot, bereikt OASIS versnellingen van respectievelijk 5,41× en 3,12× in doorvoer.
  • OASIS vermindert de LUT-groottes met 62,1× tot 994,2× en de reductie FLOP's met 248,6× tot 497,1× vergeleken met bestaande WOQ LUT-GEMM ontwerpen (FIGLUT, LUT Tensor Core, LUT-GEMM).

Betekenis

Het artikel beweert dat OASIS de kloof overbrugt tussen algoritmische efficiëntie en hardware-implementatie voor Non-Uniform Weight-and-Activation Quantization. Door de noodzaak van dekwantisatie te elimineren en massale parallelliteit mogelijk te maken via Cartesiaanse Product LUT's, bereikt OASIS een hoge modelnauwkeurigheid met aanzienlijke winsten in doorvoer en energie-efficiëntie. Het werk demonstreert dat NU-WAQ, voorheen gehinderd door hardware-incompatibiliteit, efficiënt kan worden uitgevoerd op aangepaste accelerators terwijl de modelkwaliteit vergelijkbaar blijft met FP16 baselines.