💬 NLP

GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries

GaugeQuant is een online leermethode die de symmetrieën van LLM's en een LogSumExp-verliesterm benut om tijdens de training dynamisch kwantiseringsoptimale bases te leren, waardoor de perplexiteit onder lage-bit kwantisering aanzienlijk wordt verminderd zonder dat er kalibratiedata nodig is of de taalmodelleringsdoelstelling wordt gewijzigd.

Oorspronkelijke auteurs: Miguel P. Bento, João F. Seabra

Gepubliceerd 2026-07-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Miguel P. Bento, João F. Seabra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, complexe bibliotheek aan kennis in een piepkleine rugzak te proppen. Dit is de dagelijkse strijd van moderne Kunstmatige Intelligentie. De "hersenen" van deze AI-systemen, genaamd Large Language Models, zijn zo groot dat ze bergen computergeheugen vereisen om te kunnen draaien. Om ze in kleinere apparaten te laten passen, gebruiken wetenschappers een truc die kwantisatie wordt genoemd. Denk hierbij aan het comprimeren van een high-definition film naar een bestand met een lage resolutie om ruimte te besparen. Je verliest wat detail, maar de film is nog steeds bekijkbaar. Er is echter een addertje onder het gras: soms heeft de film een paar scènes die extreem licht of donker zijn (genaamd "outliers"). Wanneer je de hele film probeert te comprimeren om hem in de backpack te laten passen, wordt de rest van de film wazig en vervormd.

Lange tijd probeerden wetenschappers dit te repareren nadat de AI al was gebouwd, zoals het bewerken van een film nadat deze al is opgenomen. Ze keken naar de "lichte plekken" en probeerden deze glad te strijken met behulp van een kleine steekproef aan gegevens. Maar dit artikel introduceert een nieuw idee: wat als we de AI zouden leren om zijn eigen bibliotheek te organiseren terwijl deze wordt gebouwd, zodat hij van nature in de rugzak past zonder dat er later een rommelige schoonmaakactie nodig is? De onderzoekers stellen een methode voor die gebruikmaakt van de interne "flexibiliteit" van de AI om de gegevens te herschikken voordat ze worden samengeperst, waardoor de compressie veel schoner verloopt.

Het Papier: GaugeQuant

Het papier dat je leest, gaat over een slimme nieuwe techniek genaamd GaugeQuant. De auteurs, Miguel P. Bento en João F. Seabra, ontdekten dat de interne structuur van deze AI-modellen een verborgen superkracht heeft: symmetrie.

Om dit te begrijpen, stel je voor dat het brein van de AI bestaat uit duizenden draaiende tandwielen. Op veel plaatsen kunnen deze tandwielen perfect synchroon met elkaar draaien zonder het uiteindelijke antwoord dat de AI geeft te veranderen. Het is alsoam met een team dansers; als ze allemaal samen 90 graden draaien, ziet de choreografie er voor het publiek hetzelfde uit. De AI geeft niet om welke specifieke "hoek" de data binnenkomt, zolang de relaties tussen de tandwielen maar gelijk blijven.

Het probleem is dat wanneer we de AI proberen te comprimeren (kwantiseren), we een specifieke hoek moeten kiezen. Als we de verkeerde hoek kiezen, worden de "outliers" (de superheldere of superdonkere datapunten) uitgerekt, wat de compressie verpest. Normaal gesproken moeten wetenschappers wachten tot de AI klaar is met trainen om de beste hoek te bepalen, met behulp van een aparte dataset om te testen.

GaugeQuant verandert het spel door dit tijdens het trainen te doen. De auteurs voegden een speciale "straf" toe aan het huiswerk van de AI. Stel je voor dat de AI leert om verhalen te schrijven, en de leraar (de computer) zegt: "Goed verhaal! Maar als je woorden gebruikt die te extreem of vreemd zijn, krijg je puntenaftrek." Deze straf is gebaseerd op een wiskundige formule genaamd LogSumExp. Het duwt de AI voorzichtig om zijn interne tandwielen te herschikken (het roteren van zijn data) zodat geen enkel getal een extreme outlier wordt.

Hier is de magische kant: de AI moet dit herschikken zonder zijn vermogen om verhalen te schrijven te verstoren. De auteurs gebruikten een "stop-gradient"-truc. Denk aan een eenrichtingsspiegel. De AI leert betere verhalen te schrijven met zijn normale lessen, maar leert zijn data te organiseren voor compressie via een aparte, onzichtbare les. De twee interfereren niet met elkaar. De AI vindt automatisch de "perfecte hoek" voor zijn data, zodat alles bij de uiteindelijke compressie nauwsluitend past zonder kwaliteitsverlies.

Wat ze vonden

De onderzoekers testten dit op twee beroemde AI-modellen: Qwen-2.5 0.5B en LLaMA-2 7B. Ze simuleerden het comprimeren van de modellen naar een zeer lage precisie (waarbij slechts 4 bits worden gebruikt voor gewichten en activaties, wat een zeer krappe squeeze is).

De resultaten waren zeer veelbelovend:

Voor het LLaMA-2 7B model, toen ze zowel de gewichten als de activaties comprimeerden naar 4 bits (W4A4) met een groepsgrootte van 128, daalde de "perplexity" (een score waarbij lager beter is, wat betekent dat de AI minder verward is) van 8.22 naar 6.73.
Toen ze alleen de gewichten comprimeerden naar 4 bits maar de activaties op volledige precisie hielden (W4A16), verbeterde de score zelfs nog dramatischer, van 11.16 naar 5.45.
Voor het kleinere Qwen-2.5 0.5B model waren de verbeteringen ook aanzienlijk, met een W4A4-score die daalde van 187.8 naar 61.2.

De auteurs merken op dat deze methode geen speciale kalibratiedata vereist (geen aparte testset nodig) en bijna geen extra tijd toevoegt aan het trainingsproces. Het concurreert met methoden die meestal vereisen dat het model bevroren is en uitgebreid getest wordt na de training.

Wat het niet doet (en wat nog onbekend is)

Het is belangrijk om te weten wat deze methode niet oplost. De auteurs ontdekten dat als je probeert de activaties te comprimeren naar 4 bits met slechts één enkele schaal voor de hele token (een zeer strikte instelling genaamd "per-token"), de modellen nog steeds falen en onbruikbaar worden, ongeacht de rotatie. De methode werkt het best wanneer je enige vorm van groepering toestaat (zoals de groepsgrootte van 128).

Ook geven de auteurs toe dat hun methode vertrouwt op een "proxy" (een plaatsvervanger) voor de werkelijke compressiefout. Ze gebruiken de LogSumExp-formule om te raden waar de outliers zich bevinden, maar het is geen perfecte simulatie van de echte wereld compressie. Ze suggereren dat dit soms data kan gladstrijken die het model eigenlijk nodig heeft om onderscheid te maken tussen vergelijkbare zaken.

Ten slotte zijn deze resultaten gebaseerd op simulaties en trainingsruns op twee specifieke modellen (0.5B en 7B). De auteurs suggereren dat hoewel de wiskunde solide lijkt, we nog niet weten hoe dit zal presteren op veel grotere modellen of in andere real-world scenario's. Ze stellen voor dat dit een nieuw instrument is om tijdens het trainen te gebruiken, dat vervolgens gecombineerd kan worden met andere "post-training" fixes voor nog betere resultaten, maar ze hebben nog niet bewezen dat het voor elke mogelijke AI-architectuur werkt.

Kortom, GaugeQuant suggereert dat door een AI te leren om zijn eigen data op te ruimen terwijl hij leert, we hem in een veel kleinere rugzak kunnen pakken zonder de inhoud te morsen. Het is een speelse, efficiënte manier om de rommelige realiteit van het comprimeren van gigantische AI-hersenen aan te pakken.

Technische Samenvatting: GaugeQuant

Probleemstelling
Large Language Models (LLM's) vereisen enorme computationele middelen, wat kwantisatie noodzakelijk maakt om de geheugenvoetafdruk voor inferentie te verkleinen. Hoewel Post-Training Quantization (PTQ) computationeel goedkoop is, leidt dit vaak tot degradatie van de modelprestaties door "outliers" (uitschieters) in de distributie van gewichten en activaties. Deze uitschieters rekken het kwantiseringsbereik op, waardoor er minder bits overblijven om veelvoorkomende waarden te representeren. Bestaande PTQ-methoden, zoals SpinQuant, proberen dit te verzachten door optimale orthogonale rotaties te leren om uitschieters te onderdrukken, maar zij opereren op bevroren modellen met statische kalibratiedatasets. Dit artikel adresseert de behoefte aan een in-training mechanisme dat een kwantisatie-optimale basis leert zonder dat daarvoor kalibratiedata nodig is of het model bevroren hoeft te worden, waardoor de prestatieafbraak die geassocieerd wordt met standaard PTQ wordt vermeden.

Methodologie
GaugeQuant maakt gebruik van de continue symmetrieën die inherent zijn aan Transformer-architecturen. De auteurs observeren dat specifieke lineaire transformaties (rotaties) op de grenzen van attention-lagen en MLP-lagen de full-precision output invariant laten. Echter, uniforme kwantisatie is niet-lineair en commuteert niet met deze rotaties, wat betekent dat de keuze van de basis een significante impact heeft op de kwantiseringsfout.

De kernmethodologie houdt het introduceren van een differentieerbare proxy voor de kwantiseringsfout direct in de trainingsverliesfunctie in:

Symmetrie-exploitatie: De methode identificeert $SO(d)$ symmetrieën bij de Value-Output (V-O) grens van attention heads en de MLP-grens. Voor de MLP, waar de niet-lineariteit voorkomt dat rotaties volledig worden geabsorbeerd, wordt een blokdiagonaal rotatiestructuur gehanteerd.
Differentieerbare Proxy: In plaats van het simuleren van niet-differentieerbare kwantisatie, minimaliseren de auteurs de $L_\infty$ -norm van de geroteerde activaties, wat de kwantiseringsstapgrootte bepaalt. Dit wordt benaderd met een gladde, differentieerbare LogSumExp functie:
$L_{rot}(R) = \frac{1}{\beta} \log \left( \sum_i \exp(\beta |z_i|) \right), \quad z = \text{sg}(H) \cdot R$
Hier vertegenwoordigt $H$ de boundary-activaties, $R$ is de rotatiematrix, en $\text{sg}(\cdot)$ is een stop-gradient operator.
Verliesseparatie: Het totale verlies wordt gedefinieerd als $L_{total} = L_{CE} + \lambda L_{rot}$ . De stop-gradient operator zorgt ervoor dat de taalmodellering-objective ( $L_{CE}$ ) alleen de modelgewichten bijwerkt, terwijl de rotatieparameters ( $R$ ) uitsluitend door de LogSumExp-term worden bijgewerkt. Dit houdt de twee objectives orthogonaal.
Optimalisatie: Om orthogonaliteit tijdens gradiëntafdaling te behouden, worden de rotatiematrices geparametriseerd via de Cayley-transformatie van een scheef-symmetrische matrix, wat garandeert dat de parameters op het $SO(d)$ manifold blijven.

Belangrijkste Bijdragen

In-Training Basis-leren: In tegenstelling tot eerdere werken die rotaties post-training optimaliseren, leert GaugeQuant de kwantisatie-optimale basis dynamisch tijdens het trainingsproces.
Geen Kalibratiedata: De methode vereist geen statische kalibratiedatasets, aangezien de onderdrukking van uitschieters wordt gedreven door de trainingsverlies zelf.
Verwaarloosbare Overhead: De aanpak voegt minimale computationele kosten toe aan training en inferentie (beperkt tot de runtime toepassing van blokdiagonale rotaties voor MLP's).
Symmetrie-doorbreking: Het breekt expliciet de gauge-symmetrie van de transformer via een specifieke verliesterm om een unieke basis te selecteren die activatie-uitschieters minimaliseert.

Resultaten
De auteurs evalueerden GaugeQuant op Qwen-2.5 0.5B en LLaMA-2 7B modellen met de WikiText-2 dataset.

W4A16 (4-bit gewichten, 16-bit activaties): Op LLaMA-2 7B daalde de perplexiteit van 11.16 (baseline) naar 5.45, een reductie van 51% in kwantisatie-geïnduceerde degradatie.
W4A4 g128 (4-bit gewichten en activaties, groepsgrootte 128): Op LLaMA-2 7B verbeterde de perplexiteit van 8.22 naar 6.73. Op Qwen-2.5 0.5B daalde de perplexiteit van 187.8 naar 61.2.
Vergelijking: De methode concurreert met post-training benaderingen zoals SpinQuant, maar bereikt deze resultaten zonder een bevroren model of kalibratieset. Een controlegroep die werd gefinetuned zonder de gauge-loss vertoonde geen verbetering, wat bevestigt dat de winst voortkomt uit de geleerde rotaties.
Beperkingen: De methode faalt onder strikte per-token W4A4 kwantisatie, waarbij modellen instorten ongeacht de rotatie, wat aangeeft dat groeps-kwantisatie noodzakelijk blijft voor levensvatbare 4-bit inferentie.

Betekenis en Claims
Het artikel claimt dat GaugeQuant aantoont dat continue symmetrieën in transformer-architecturen online tijdens de training kunnen worden geëxploiteerd in plaats van enkel post-hoc. De auteurs positioneren de methode als complementair aan bestaande PTQ-technieken; een model getraind met GaugeQuant zou vervolgens verfijnd kunnen worden met post-training methoden zoals SpinQuant.

De betekenis ligt in het vermogen om direct vanuit het trainingsproces "kwantisatie-vriendelijke" modellen te produceren, waardoor aparte kalibratiestappen worden geëlimineerd. De auteurs merken op dat het gauge-framework generaliseerbaar is buiten kwantisatie naar elke hardware-restrictie die rotationele symmetrie doorbreekt (bijv. gestructureerde sparsity of mixed-precision formaten). De paper erkent echter ook bescheiden beperkingen, waaronder de afhankelijkheid van blokdiagonale rotaties voor MLP's (wat de herverdeling van uitschieters over blokgrenzen heen beperkt) en het potentieel van de LogSumExp-proxy om grote activaties indiscriminant te onderdrukken, wat mogelijk de codering van fijnmazige distincties beïnvloedt. Experimenten zijn momenteel beperkt tot 0.5B en 7B parameter modellen.

Het Papier: GaugeQuant

Wat ze vonden

Wat het niet doet (en wat nog onbekend is)

Meer zoals dit