Technische Samenvatting: Naar Multi-Domein en Long-Tailed Kwantisatie via Feature Alignment en Schaling

1. Probleemstelling

Kwantisatie van diepe neurale netwerken is essentieel voor het implementeren van modellen op middelenbeperkte apparaten, maar bestaande methoden gaan overwegend uit van single-domain, klasse-gebalanceerde data. Deze aanname faalt in praktische scenario's die worden gekenmerkt door:

• Multi-Domein Verschuivingen: Trainingsdata uit meerdere bronnen (bijv. verschillende apparaten of omgevingen) vertonen uiteenlopende distributies, wat leidt tot domeinspecifieke biases en inconsistente convergentiesnelheden tijdens kwantisatie.
• Long-Tailed Distributies: Real-world datasets hebben vaak sterk ongebalanceerde klassefrequenties. Kwantisatie verergert de prestatieverslechtering voor minderheidsklassen door heterogene feature-varianties en overmatige zelfverzekerdheid (overconfidence) in meerderheidsklassen.

Het artikel adresseert het gebrek aan robuuste kwantiseringsframeworks die gelijktijdig domeinverschuivingen en klasse-imbalans kunnen afhandelen terwijl ze theoretische convergentiegaranties bieden.

2. Methodologie

De auteurs stellen een verenigd framework voor bestaande uit Efficient Multi-Domain Alignment Quantization (EmaQ) en de uitbreiding daarvan voor long-tailed data, EmaQ-LT.

A. Efficient Multi-Domain Alignment Quantization (EmaQ)

EmaQ richt zich op multi-domein kwantisatie via twee primaire mechanismen:

1. Domain Alignment Quantization Training (DAQT):

   • CDF-gebaseerde Projectie: Om uiteenlopende domeindistributies te verenigen, projecteert DAQT features van elk brondomein op een gemeenschappelijke uniforme distributie met behulp van Cumulatieve Distributiefuncties (CDF). Uitgaande van het feit dat CNN-gewichten/activaties normale distributies volgen, brengt de methode floating-point gewichten $w$ naar een uniforme ruimte $[-\alpha, \alpha]$ via een normale CDF-transformatie.
   • Alignment Quantization Gradient Descent (AQGD): Omdat de kwantisatie-operator niet-differentieerbaar is, introduceren de auteurs een gladde surrogaatgradiënt. Ze benaderen de afgeleide van de kwantizer met de afgeleide van een sigmoidfunctie toegepast op de relatieve positie binnen kwantisatie-intervallen. Dit stabiliseert de training en vermindert oscillaties.
   • Theoretische Garantie: Het artikel biedt een convergentieanalyse gebaseerd op $\beta$-gevoeligheid (Lipschitz-continuïteit van gradiënten). Het bewijst dat DAQT convergeert onder milde condities en toont aan dat verschillende domeinen inherent verschillende convergentiesnelheden bezitten vanwege variërende gradiëntgevoeligheden.

2. Sensitivity-Aware Weight Aggregation (SWA):

   • Probleem: Standaard uniforme middeling van gewichten uit meerdere domeinen faalt wanneer domeinen verschillende sensitiviteiten ($\beta$) hebben. Hooggevoelige domeinen lijden onder grote fouten als ze uniform worden geaggregeerd met minder gevoelige domeinen.
   • Oplossing: SWA herweegt dynamisch de aggregatie van domeinspecifieke updates. Het berekent een sensitiecoëfficiënt $\beta_k$ voor elk domein (benaderd via lokale gradiëntverschillen) en aggregeert gewichten proportioneel. Dit voorkomt abrupte parameterverschuivingen in gevoelige domeinen terwijl minder gevoelige domeinen bredere multi-domein kennis kunnen absorberen.

B. Uitbreiding naar Long-Tailed Kwantisatie (EmaQ-LT)

EmaQ-LT past het framework aan om klasse-imbalans te behandelen door aandacht te besteden aan feature-variantie heterogeniteit en logit-confidence gaps:

1. Conditionele CDF-schaling: In plaats van globale alignment, past EmaQ-LT klasse-conditionele schaling toe. Het schaalt de standaarddeviatie van de feature-distributie van elke klasse op basis van de steekproefomvang ($n_c$) om de variantie-gaten tussen meerderheids- en minderheidsklassen te verkleinen.
2. Gehomogeniseerde Loss: Met behulp van de Levene's test voor variantie-homogeniteit, leidt de methode statistische grenzen af voor klassengroottes. Klassen die buiten deze grenzen vallen (minderheid of extreme meerderheid) worden in de loss-functie hergewogen om ervoor te zorgen dat hun representatie niet wordt gedomineerd door meerderheidsklassen.
3. Confidence-based Logit Adjustment (CLA): Om de neiging van modellen om excessieve zelfverzekerdheid aan meerderheidsklassen toe te kennen te mitigeren, past CLA de uiteindelijke logits aan. Het trekt een confidence-score (afgeleid van de log-sum-exp van de logits en de klassengrootte) af van de originele logits, wat effectief de dominantie van de meerderheidsklasse dempt en de voorspellingsscores van de minderheidsklasse verbetert.

3. Belangrijkste Bijdragen

• EmaQ Framework: Stelt een nieuwe kwantisatiemethode voor die multi-domein distributies uitlijnt via CDF-projectie en de training stabiliseert met behulp van AQGD.
• Theoretische Analyse: Vestigt convergentiegaranties voor multi-domein kwantisatie en bewijst dat convergentiesnelheden variëren per domeinsensitiviteit, wat het ontwerp van SWA motiveert.
• Sensitivity-Aware Aggregation: Introduceert SWA om gewichtsupdates over domeinen heen dynamisch te balanceren op basis van gradiëntsensitiviteit, waardoor degradatie van prestaties in gevoelige domeinen wordt voorkomen.
• EmaQ-LT Uitbreiding: Breidt het framework uit naar long-tailed settings door klasse-gewijze variantie-schaling, een gehomogeniseerde loss gebaseerd op de Levene's test en logit-aanpassing te integreren om logit-confidence imbalans aan te pakken.
• Empirische Validatie: Demonstreert consistente verbeteringen ten opzichte van state-of-the-art methoden over standaard (CIFAR-10, ImageNet), multi-domein (Office-31, Digits) en long-tailed (SynDigits-LT, CIFAR-LT) benchmarks, met name in low-bit (2-bit en 4-bit) settings.

4. Experimentele Resultaten

Het artikel evalueert EmaQ en EmaQ-LT op diverse datasets en architecturen (ResNet, MobileNet, DenseNet):

• Single-Domain: EmaQ komt overeen met of presteert beter dan bestaande Post-Training Quantization (PTQ) en Quantization-Aware Training (QAT) methoden op SVHN, CIFAR-10 en ImageNet, waarbij significante winsten in 2-bit nauwkeurigheid worden getoond.
• Multi-Domain: Op Office-31 en Digits presteert EmaQ significant beter dan baselines (bijv. tot 68% verbetering in nauwkeurigheid op het Webcam-domein in 2-bit settings), wat de effectiviteit van DAQT en SWA in het afhandelen van domeinverschuivingen valideert.
• Long-Tailed: In long-tailed scenario's (CIFAR-10/100-LT, SynDigits-LT) met hoge imbalansratio's ($\gamma=200$), behoudt EmaQ-LT een robuuste prestatie waar baselines falen. Bijvoorbeeld, op SynDigits-LT met 2-bit MobileNet-V2 bereikt EmaQ-LT 89,45% nauwkeurigheid vergeleken met 49,32% voor de beste baseline.
• Ablatie-studies: Bevestigen dat het verwijderen van DAQT, SWA, gehomogeniseerde loss of logit-aanpassing leidt tot significante prestatiedalingen, wat de noodzaak van elk onderdeel valideert.

5. Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het adresseren van de kloof tussen theoretische kwantisatiemethoden en praktische, complexe datasituaties (multi-domein en long-tailed). Door distributie-alignment en sensitiviteitsbewuste aggregatie te verenigen, biedt dit werk:

• Robuustheid: Een kwantisatiestrategie die effectief blijft onder distributieverschuivingen en klasse-imbalans zonder dat gegevensuitwisseling nodig is (compatibel met federated learning scenario's).
• Theoretische Onderbouwing: Bewijsbare convergentiegaranties en statistische inzichten (via de Levene's test) die klasse-imbalans verbinden met kwantisatie-geïnduceerde variantie-heterogeniteit.
• Praktische Toepasbaarheid: De mogelijkheid om low-bit modellen te implementeren op edge-apparaten waar data vaak gesiloed, non-IID en ongebalanceerd is, waarbij sterke prestaties worden behaald waar bestaande methoden significant degraderen.

De auteurs concluderen dat toekomstig werk zal onderzoeken hoe dit framework kan worden aangepast aan Vision Transformers en diffusiemodellen, evenals het valideren van de inferentie-efficiëntie op echte edge-hardware.