Technische Samenvatting: AAAC (Activeringsbewuste Adaptieve Codeboeken)

1. Probleemstelling

Grote Taalmodellen (LLM's) staan voor aanzienlijke beperkingen op het gebied van geheugen en rekenkracht, waardoor post-training kwantisatie van alleen gewichten naar 4 bits (W4A16/W4A8) een kritieke implementatiestrategie is. Bestaande methoden voor Post-Training Quantization (PTQ) werken doorgaans onder een vast raster-annames. Ze proberen de nauwkeurigheid te verbeteren door te optimaliseren hoe gewichten worden gemapt op een vooraf gedefinieerd, statisch 4-bits scalair raster (bijv. standaard INT4 of NVFP4-formaten) via technieken zoals kanaalschaalvergroting (AWQ), afsnijden of foutcompensatie (GPTQ).

De auteurs betogen dat deze aanpak potentieel van kwaliteit ongebruikt laat. Hoewel het 4-bits formaat het aantal opgeslagen codes en de groepsgebonden schaalstructuur vastlegt, impliceert dit niet dat het scalair reconstructieraster zelf vast hoeft te staan. De gedequantiseerde waarden, die de daadwerkelijke gewichten bepalen die tijdens inferentie worden gebruikt, worden beperkt door deze vaste tabel. Huidige methoden verbeteren de mapping naar de tabel, maar passen de tabel zelf niet aan aan de specifieke gewichtsverdeling en activeringsstatistieken van een gegeven laag.

2. Methodologie: AAAC

Het artikel stelt AAAC (Activeringsbewuste Adaptieve Codeboeken) voor, een lichtgewicht, gradiëntvrije methode die de enkele vaste scalair tabel $T$ vervangt door twee geleerde scalair codeboeken ($T_0$ en $T_1$) per laag.

Kernmechanisme

1. Adaptieve Codeboeken: In plaats van één vast raster, leert AAAC twee kleine scalair codeboeken per laag. Deze codeboeken hebben dezelfde kardinaliteit als het basis 4-bits formaat (bijv. 15 invoer voor NVFP4, 16 voor INT4), maar hun waarden worden geoptimaliseerd op basis van kalibratiegegevens in plaats van vast te liggen door de formaat-specificatie.
2. Activeringsbewuste Selectie: Voor elke groep gewichten selecteert de methode het codeboek ($T_0$ of $T_1$) dat de activeringsgewogen reconstructiefout minimaliseert. Het belang van elk gewicht wordt bepaald door de gekwadrateerde activeringsenergie van de bijbehorende kolom in de kalibratieset ($I_k = \sum X_{t,k}^2$).
3. Opslag zonder Overhead:
   • Grootte Codeboek: Elk codeboek bevat slechts ongeveer 15–16 BF16-waarden, wat in totaal ongeveer 64 bytes per laag oplevert. Voor een 7B-model voegt dit slechts ongeveer 14 KB opslag toe, wat verwaarloosbaar is.
   • Selectie-bit: De keuze van het codeboek voor een groep wordt gecodeerd in de ongebruikte tekenbit van de positieve schaalfactor van de groep (aangezien schalen altijd positief zijn). Dit maakt per-groep selectie mogelijk met geen extra opslagoverhead wanneer de selectiegroepgrootte ($S$) overeenkomt met de schaalgroepgrootte ($g$).
4. Leeralgoritme:
   • Initialisatie: $T_0$ en $T_1$ worden geïnitieerd met behulp van gelijkmatig verdeelde quantielen van de genormaliseerde gewichtsverdeling, waarbij $T_1$ met een halve stap is verschoven om verschillende startpunten te bieden.
   • Alternerende Optimalisatie: Het algoritme wisselt af tussen:
     • Toewijzing: Het toewijzen van elke gewichtsgroep aan het codeboek dat de activeringsgewogen fout minimaliseert.
     • Verfijning: Het bijwerken van codeboek-invoer met activeringsgewogen k-means (het berekenen van het gewogen zwaartepunt van de Voronoi-cel voor elke invoer).
   • Efficiëntie: Het proces vereist geen backpropagatie, geen Hessiaan-berekening en geen volledige modelgradiënten. Het verwerkt lagen onafhankelijk met behulp van alleen doorvoer-activeringen.

3. Belangrijkste Bijdragen

• Herdefiniëren van het PTQ-doel: AAAC verschuift de focus van het mappen van gewichten naar een vast raster naar het zelf leren van het raster, waardoor een nieuwe vrijheidsgraad in kwantisatie wordt geïntroduceerd.
• Lichtgewicht Gradiëntvrije Optimalisatie: In tegenstelling tot gradiënt-ondersteunde methoden (zoals OmniQuant, SqueezeLLM) die uren backpropagatie en enorme geheugenoverhead (2–4× modelgrootte) vereisen, leert AAAC via eenvoudige k-means op doorvoer-activeringen.
• Geen Opslagoverhead: Door gebruik te maken van de ongebruikte tekenbit van de schaalfactor bereikt AAAC adaptieve codeboekselectie zonder de geheugenvoetafdruk van het model te vergroten.
• Snelheid: Kwantisatie is voltooid in 3–30 minuten op één GPU, wat ordes van grootte sneller is dan gradiënt-ondersteunde basismethoden.

4. Experimentele Resultaten

De auteurs evalueerden AAAC over Llama (1B–13B) en Qwen (0.5B–32B) model families met behulp van zowel NVFP4 ($g=16$) als INT4 ($g=128$) lay-outs.

• Vs. Gradiëntvrije Methoden: AAAC presteert consistent beter dan RTN, IF4, AWQ en GPTQ.
  • Op WikiText-2 bereikte AAAC een 59,2% gap recovery (ten opzichte van RTN) gemiddeld voor NVFP4, aanzienlijk meer dan AWQ (28,1%) en IF4 (12,3%).
  • In INT4-instellingen ($g=128$) presteerde AAAC met nul overhead ($S=128$) al beter dan AWQ op de meeste modellen; het toevoegen van een verwaarloosbare overhead van 0,0625 bpw ($S=16$) verbeterde de prestaties verder.
• Vs. Gradiënt-ondersteunde Methoden: AAAC komt overeen met of overtreft de prestaties van methoden die uren optimalisatie en hoog geheugen vereisen.
  • AAAC bereikte 60,0% gemiddelde gap recovery, wat overeenkomt met QuIP# met fine-tuning (60,0%) en beter presteert dan OmniQuant (55,0%), SqueezeLLM (55,0%) en GPTVQ (25,0%).
  • Cruciaal is dat AAAC dit bereikt met een piekgeheugen dat niet groter is dan de oorspronkelijke modelgrootte en in minuten in plaats van uren.
• Downstream Taken: Op 8 downstream taken (redeneren, kennis, gezond verstand, wiskunde) met Qwen3.5-modellen bereikte AAAC de hoogste gemiddelde nauwkeurigheid (64,21%) onder alle gekwantiseerde methoden, waarbij 49,3% van de kloof met de BF16-baseline werd hersteld.
• Combinatie met AWQ: Wanneer gecombineerd met AWQ (schalen van gewichten voor kwantisatie), herstelt AAAC gemiddeld 70,5% van de kwantisatiekloof, wat compatibiliteit met andere PTQ-technieken aantoont.

5. Betekenis en Claims

Het artikel beweert dat AAAC de heersende aanname uitdaagt dat gradiënten noodzakelijk zijn om de kwaliteitskloof tussen 4-bits gekwantiseerde modellen en full-precision basismethoden te dichten. Door aan te tonen dat een lichtgewicht, gradiëntvrije methode de prestaties van complexe, gradiënt-ondersteunde algoritmen kan evenaren of overtreffen, suggereren de auteurs dat geleerde codeboeken op minimale schaal een praktische en efficiënte richting voor 4-bits LLM-kwantisatie vertegenwoordigen.

De betekenis ligt in de afweging: AAAC biedt bijna state-of-the-art nauwkeurigheid (die concurreert met methoden die 100 GPU-uren vereisen) met minimale rekenkosten (minuten) en nul geheugenoverhead, waardoor hoogwaardige 4-bits kwantisatie toegankelijk wordt voor een bredere reeks implementatiescenario's.

Beperkingen opgemerkt door de auteurs:

• Evaluatie is beperkt tot modellen tot 32B parameters; 70B+ dynamieken zijn niet getest.
• Vergelijkingen met gradiënt-ondersteunde methoden zijn beperkt tot LLaMA 7B/13B vanwege protocolconsistentie in eerdere literatuur.
• De methode richt zich op kwantisatie van alleen gewichten (W4A16/W4A8) en adresseert geen gezamenlijke gewicht-activeringskwantisatie (W4A4).