Technische Samenvatting: SAGE-PTQ

Probleemstelling

Post-training kwantisatie (PTQ) is essentieel voor het efficiënt implementeren van Large Language Models (LLMs), maar recente ultra-lage-bit methoden kampen met aanzienlijke uitdagingen. Hoewel methoden zoals BiLLM en PB-LLM proberen gewichten te binariseren door "saliente" (outlier) en "niet-saliente" (inlier) componenten te scheiden, lijden ze aan vier kernbeperkingen:

1. Rigide Salientie-afhandeling: Ze vertrouwen vaak op vaste drempelwaarden of op positie gebaseerde heuristieken die niet generaliseren naar diverse modelarchitecturen en lagen.
2. Suboptimale Gewichtspartitiering: Uniforme of rigide partitie-strategieën houden geen rekening met de langgerekte staart (long-tailed), niet-Gaussische distributies van niet-saliente gewichten, wat leidt tot slechte compressie.
3. Verborgen Schalingsoverhead: Veel sub-2-bit methoden gaan uit van blokgebaseerde schaling of gebruiken excessieve schalingsfactoren (bijv. meerdere kolommen per blok), wat verborgen overheads introduceert die de winst van binarisatie kunnen tenietdoen door meer dan 1 bit per gewicht toe te voegen.
4. Inefficiënte Lookup: Bestaande benaderingen negeren vaak runtime-bewuste decoding- en lookup-mechanismen, wat de praktische implementatie-efficiëntie beperkt.

Methodologie: SAGE-PTQ

De auteurs stellen SAGE-PTQ (Saliency-Aware Graph-guided Efficient PTQ) voor, een framework dat is ontworpen om verborgen schalingskosten te minimaliseren terwijl de modelgetrouwheid behouden blijft. De pipeline bestaat uit drie primaire stadia:

1. Salientie-bewuste Gewichtspartitiering

In plaats van vaste drempelwaarden te gebruiken, scheidt SAGE-PTQ gewichten adaptief in saliente en niet-saliente sets op basis van distributiestatistieken.

• Filtering: Het maakt gebruik van magnitude-gebaseerde salientie (die bewezen effectiever is dan Hessian-gebaseerde metrieken voor deze taak) om outliers te identificeren. Een drempelwaarde $\zeta^{sal}_l$ wordt voor elke laag $l$ bepaald op basis van een vooraf ingesteld opslagbudget, waarbij gewichten worden verdeeld in $\Omega^{sal}_l$ en $\Omega^{uns}_l$.
• Grafiek-gestuurde Groepsschatting: Voor de niet-saliente gewichten, die vaak niet-uniforme distributies vertonen, modelleert de methode een gesubsampleerde set gewichten als een ijle K-Nearest-Neighbor (KNN) graaf. Het past spectrale clustering toe en evalueert kandidaat-groepenaantallen met de Silhouette Score om het optimale aantal niet-saliente groepen ($N^{optimal}_{uns,l}$) te bepalen dat de kwaliteit van clustering balanceert met geheugenrestricties.

2. Dual-Mode Kwantisatie

Het framework past verschillende kwantisatiestrategieën toe op de gescheiden componenten:

• Modus 1 (Saliente Gewichten): Saliente gewichten worden gekwantiseerd naar multi-bit precisie (bijv. 4-bit) met behulp van een enkele per-kanaal schaal. Dit behoudt de representationele precisie voor outliers.
• Modus 2 (Niet-saliente Gewichten): Niet-saliente gewichten worden gegroepeerd volgens de grafiek-gestuurde schatting en gebinariseerd (gemapt naar $\{-1, 0, 1\}$). Cruciaal is dat elke groep slechts één scalaire waarde (schalingsfactor) krijgt toegewezen, wat de schalingsoverhead drastisch vermindert vergeleken met blokgebaseerde methoden.

3. Adaptieve Salientie-drempelwaarde & Efficiënte Inferentie

• Optimalisatie: Een optimalisatiedoel minimaliseert de genormaliseerde reconstructiefout om de optimale salientie-ratio ($\zeta^{sal}_l$) voor elke matrix te vinden, waarbij een balans wordt gezocht tussen compressie-efficiëntie en kwantisatiefout.
• Runtime Lookup: Om kostbare blok-gewijze maskers te vermijden, gebruikt SAGE-PTQ een lichtgewicht, bit-gepakte lookup-tabel ($L^{LUT}_l$) die in het hostgeheugen wordt opgeslagen. Deze tabel codeert groepindices, waardoor de GPU tijdens inferentie gewichten naar de juiste schaal kan routeren met minimale I/O-latentie.

Belangrijkste Bijdragen

1. Nieuwe Partitiering: Een distributie-gebaseerde benadering die saliente en niet-saliente gewichten scheidt, gekoppeld aan een grafiek-gestuurd algoritme om het optimale aantal niet-saliente groepen per laag adaptief te schatten.
2. Dual-Mode Kwantiseerder: Een schema dat multi-bit precisie toewijst aan saliente gewichten en niet-saliente groepen binariseert met een enkele scalaire waarde per groep. Dit bereikt een gemiddelde van 1,03 gewicht-bits en slechts 0,004 schalings-bits per matrix, wat BiLLM aanzienlijk overtreft.
3. Adaptieve Drempelwaarde: Een optimalisatieformule om de optimale salientie-ratio per matrix te bepalen, wat resulteert in ongeveer 50% lagere perplexiteit op LLaMA-7B met ~30% minder saliente-gewicht-bits vergeleken met vaste drempelwaarden.
4. Efficiënte Runtime: Een efficiënt groep-lookup mechanisme dat de lookup-kosten met 25% vermindert ten opzichte van BiLLM en snellere decoding mogelijk maakt op geheugenbeperkte hardware.

Experimentele Resultaten

De auteurs evalueerden SAGE-PTQ op LLaMA (1.3B–70B), OPT, Vicuna, DeepSeek en Qwen modellen met de WikiText2 en C4 datasets.

• Perplexity Prestaties: Op LLaMA-3-8B bereikte SAGE-PTQ een 6,74 WikiText2 perplexiteit, een enorme verbetering ten opzichte van de 55,8 van BiLLM. Op LLaMA-2-70B bereikte het een perplexiteit van 7,51 vergeleken met de 8,41 van BiLLM.
• Bit-efficiëntie: SAGE-PTQ behaalde consistent ~1,03 gemiddelde gewicht-bits met verwaarloosbare schalingsoverhead (0,004 bits), terwijl BiLLM 1,09 gewicht-bits en 1,0 schalings-bits vereiste.
• Geheugenvoetafdruk: Op LLaMA-modellen verminderde SAGE-PTQ het runtime GPU-geheugengebruik met >50% vergeleken met BiLLM (bijv. het passen van LLaMA-2-70B in ~12,7 GB op een enkele 46GB GPU).
• Inference Latentie: Op een enkele NVIDIA L40 GPU zorgde SAGE-PTQ voor een 1,5× versnelling in per-token decoding tijd voor LLaMA-2-70B door on-the-fly dekwantisatie van grotere laag-bands mogelijk te maken, waardoor volledige laag-transfers worden vermeden.
• Zero-Shot Accuraatheid: SAGE-PTQ kwam overeen met de FP16-accuraatheid op de meeste NLU-benchmarks (PIQA, BoolQ, etc.) en presteerde aanzienlijk beter dan BiLLM met een gemiddelde van 5%.

Betekenis en Claims

Het artikel claimt dat SAGE-PTQ de "verborgen kosten" van schalen aanpakt die historisch gezien de effectiviteit van ultra-lage-bit kwantisatie hebben beperkt. Door de schalingsoverhead tot bijna nul te minimaliseren en gewichten adaptief te partitieren op basis van grafiek-gestuurde statistieken, bereikt het framework state-of-the-art (SoTA) prestaties over diverse modelfamilies zonder hertraining.

De auteurs positioneren SAGE-PTQ als een praktische oplossing voor het implementeren van LLM's op hulpbronnenbeperkte platforms, waarbij zij aantonen dat het mogelijk is om nabij-FP16 accuraatheid te bereiken met sub-2-bit effectieve precisie, terwijl zowel de geheugenvoetafdruk als de inferentie-latentie aanzienlijk worden verminderd. Het werk wordt gepresenteerd als een model-agnostisch framework dat gevalideerd is over architecturen variërend van 1,3B tot 70B parameters.