Technische Samenvatting: Wanneer Bits Toevalligheid Breken: Counterfactueel-Getrouwe Quantisatie

1. Probleemstelling

Moderne machine learning-systemen vertrouwen steeds meer op quantisatie om het geheugengebruik en de inferentielatentie te verminderen, met name bij mobiele en edge-implementaties. Hoewel Quantization-Aware Training (QAT) en Post-Training Quantization (PTQ) grondig worden geëvalueerd op hun vermogen om de voorspellende nauwkeurigheid te behouden, identificeert dit artikel een kritieke mismatch bij implementatie: quantisatie kan de gemiddelde nauwkeurigheid behouden terwijl het algoritmen voor toevalligheid (recourse) stilzwijgend ondermijnt.

Algoritmen voor toevalligheid bieden uitvoerbare aanbevelingen (minimale wijzigingen in een invoer) die de beslissing van een model omkeren naar een gewenste uitkomst. Het artikel betoogt dat nauwkeurigheidsbeperkingen van toepassing zijn op de gegevensverdeling, terwijl toevalligheid afhankelijk is van de lokale geometrie van de beslissingsgrens in specifieke buurten rond individuele punten. Quantisatie verstoort gewichten en activeringen op een gestructureerde maar niet-uniforme manier, wat beslissingsmarges kan verschuiven en grenzen kan roteren, precies in de buurten die relevant zijn voor toevalligheid. Bijgevolg kan een toevalligheidsactie die geldig is voor een model met volledige precisie ongeldig worden of aanzienlijk duurder na quantisatie, zelfs als de testnauwkeurigheid van het model onveranderd blijft.

2. Methodologie: Counterfactueel-Getrouwe Quantisatie (CFQ)

De auteurs stellen Counterfactueel-Getrouwe Quantisatie (CFQ) voor, een quantisatiebewuste trainingsmethode die is ontworpen om counterfactueel gedrag als een gelijkwaardig doel te behouden naast voorspellende nauwkeurigheid.

Kernmechanisme

CFQ behandelt quantisatie als een gestructureerde modelverschuiving. Het maakt gebruik van een 'leraar'-model met volledige precisie ($f$) om toevalligheidsacties ($\delta_{fp}$) te genereren voor invoerinstanties. Deze acties worden berekend via een klein aantal ($K$) geprojecteerde gradiëntstappen op een differentieerbare counterfactuele verliesfunctie en worden behandeld als constanten (via stop-gradient) tijdens de optimalisatie van het gekwantiseerde model ($f_q$).

De trainingsdoelstelling voor CFQ combineert drie componenten:

1. Taakverlies ($L_{task}$): Standaard toezichtverlies (bijvoorbeeld cross-entropy) om de voorspellende nauwkeurigheid op feitelijke invoer te behouden.
2. Behoud van Geldigheid Verlies ($L_{valid}$): Een regularisator die het gekwantiseerde model dwingt om het doelresultaat te voorspellen op het toevalligheidspunt van de leraar ($x + \delta_{fp}$). Dit zorgt ervoor dat als een actie werkt voor het model met volledige precisie, deze ook geldig blijft voor het gekwantiseerde model.
3. Bitkostenboete ($\lambda \cdot \text{BitCost}$): Een beperking die een globaal bitbudget afdwingt, waardoor toewijzing met gemengde precisie mogelijk is.

Toewijzing van Bits met Gemengde Precisie

CFQ optimaliseert gezamenlijk quantisatieparameters (bijvoorbeeld stapgroottes, afsnijdrempels) en bitbreedtes per laag. Het maakt gebruik van een differentieerbare relaxatie met Gumbel-Softmax om bitbreedtes te selecteren uit een kandidaatset (bijvoorbeeld $\{2, 3, 4, 8\}$) voor elke laag. De optimalisatie wordt geleid door het counterfactuele doel, waarbij hogere precisie wordt toegewezen aan lagen die de meeste invloed hebben op de geldigheid van toevalligheidspunten, in plaats van uitsluitend te optimaliseren voor gemiddelde nauwkeurigheid.

Optionele Verbeteringen

• Richting/Kosten-Matching ($L_{match}$): Een optionele term die de toevalligheidsactie berekend door het gekwantiseerde model ($\delta_q$) afstemt op de leraar-actie ($\delta_{fp}$) wat betreft richting en kosten.
• Margin-Stabilisatie ($L_{hinge}$): Een hinge-verlies dat een positieve marge afdwingt op het toevalligheidspunt van de leraar, waardoor een veiligheidsbuffer wordt geboden tegen verstoringen door quantisatie.

Theoretische Grondslag

Het artikel biedt een voldoende voorwaarde voor overdracht van toevalligheid op basis van marge-robuustheid. Het stelt dat als de marge van het doel met volledige precisie op een toevalligheidspunt meer dan het dubbele is van de maximale logit-verstoring veroorzaakt door quantisatie ($\epsilon$), het gekwantiseerde model het doellabel zal behouden. CFQ's doelstelling adresseert dit direct door de marge op toevalligheidspunten te vergroten en effectieve verstoringen te verminderen door gerichte bittoewijzing.

3. Belangrijkste Bijdragen

1. Identificatie van een Implementatiekloof: De auteurs tonen aan dat quantisatie-benchmarks die de nauwkeurigheid behouden (uniforme QAT, QAT met gemengde precisie) de overdraagbaarheid van counterfacten aanzienlijk kunnen verslechteren, wat leidt tot falen van toevalligheid dat onzichtbaar is voor standaard nauwkeurigheidsmetrieken.
2. Nieuwe Metrieken: Er worden twee metrieken geïntroduceerd om deze faalmodus te kwantificeren:
   • Daling van Geldigheid (VD): De waarschijnlijkheid dat een toevalligheidsactie die geldig is voor het model met volledige precisie, faalt voor het gekwantiseerde model.
   • Counterfactuele Toevalligheidskloof (CRG): De relatieve toename in de minimale kosten die nodig zijn om het doelresultaat te bereiken na quantisatie.
3. CFQ-algoritme: Een nieuw trainingsproces dat toewijzing van bits met gemengde precisie koppelt aan een regularisator voor counterfactuele consistentie om de geldigheid van toevalligheid te behouden onder bitbudgetten.
4. Empirische Validatie: Uitgebreide experimenten op tabulaire benchmarks (ADULT, GERMAN CREDIT, COMPAS) en niet-tabulaire beelddatasets (MNIST, Fashion-MNIST, CelebA) tonen aan dat CFQ de nauwkeurigheid behoudt terwijl het VD en CRG aanzienlijk verbetert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op standaard tabulaire toevalligheids-benchmarks (ADULT, GERMAN CREDIT, COMPAS) en uitgebreid naar beelddatasets met behulp van gestructureerde latente of semantische actie-ruimten.

• Nauwkeurigheid versus Toevalligheid: Benchmarkmethoden (LSQ-QAT, PACT-QAT, nauwkeurigheidsgedreven Mixed-Precision) bereikten voorspellende nauwkeurigheid die vergelijkbaar was met modellen met volledige precisie (bijvoorbeeld ~85,7% op ADULT), maar leden onder een hoge daling van geldigheid (VD $\approx$ 0,12–0,18) en een hoge counterfactuele toevalligheidskloof (CRG $\approx$ 0,16–0,23).
• CFQ-prestaties: CFQ bereikte vergelijkbare nauwkeurigheid (bijvoorbeeld 85,7% op ADULT) terwijl het VD (tot ~0,06) en CRG (tot ~0,07) drastisch verminderde. Dit vertegenwoordigt ongeveer een 50% reductie in faalpercentages voor toevalligheid in vergelijking met de beste niet-CFQ-benchmarks.
• Robuustheid: De voordelen van CFQ waren consistent over verschillende bitbudgetten, met de grootste winsten waargenomen in regimes met lage bits (bijvoorbeeld 3-4 bits) waar quantisatieruis het sterkst is.
• Variant zonder Training (CF-PTQ): Er werd een variant na training geïntroduceerd die quantisatoren kalibreert op zowel feitelijke als leraar-counterfactuele punten zonder de ruggegraat-gewichten bij te werken. Deze variant verminderde VD en CRG aanzienlijk in vergelijking met standaard PTQ, en biedt een praktische tussenpositie tussen standaard PTQ en volledige QAT.
• Subgroepanalyse: CFQ verminderde de instabiliteit van toevalligheid over verschillende subgroepen (bijvoorbeeld geslacht, ras), hoewel subgroepverschillen in stabiliteit nog steeds konden bestaan, wat wijst op de noodzaak van toekomstige uitbreidingen met aandacht voor eerlijkheid.

5. Betekenis en Beweringen

Het artikel beweert dat voorspellende nauwkeurigheid onvoldoende is om de betrouwbaarheid van algoritmen voor toevalligheid in gecomprimeerde modellen te garanderen. Door quantisatie te behandelen als een modelverandering die de lokale beslissingsgeometrie verandert, betogen de auteurs dat implementatiepijplijnen expliciet moeten optimaliseren voor stabiliteit van toevalligheid.

De betekenis van CFQ ligt in het vermogen om:

• Gebroken Beloften te Voorkomen: Zorgen dat uitvoerbare aanbevelingen die tijdens de ontwikkeling worden gegenereerd (op modellen met volledige precisie) geldig en kosteneffectief blijven na implementatie (op gekwantiseerde modellen).
• Meetbare Stabiliteit Bieden: VD en CRG introduceren als standaardmetrieken om de robuustheid van toevalligheid onder compressie te evalueren, waardoor falen wordt blootgelegd dat door nauwkeurigheidsmetrieken wordt verborgen.
• Praktische Oplossingen Bieden: Zowel een op training gebaseerde (CFQ) als een training-vrije (CF-PTQ) aanpak bieden om deze stabiliteit te bereiken, waardoor het toepasbaar is op verschillende implementatiebeperkingen.

De auteurs houden een bescheiden standpunt, waarbij zij opmerken dat CFQ toevalligheid behoudt met betrekking tot het gespecificeerde voorspellende model en de actieset, maar geen causale effectiviteit in de echte wereld certificeert. Zij erkennen dat CFQ rekenkundige overhead introduceert (voornamelijk door berekening van leraar-toevalligheid) en dat de stabiliteit is gekalibreerd op de trainingsverdeling, wat mogelijk herkalibratie vereist onder ernstige verschuivingen in implementatie. De resultaten tonen echter aan dat het optimaliseren van quantisatie voor counterfactueel gedrag een onderscheiden en noodzakelijk doel is voor besluitvormingssystemen met hoge risico's.