SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning

Probleemstelling

De paper adresseert het kritieke probleem van Zero-Shot Quantization (ZSQ). Quantisatie is essentieel voor het implementeren van zware neurale netwerken op hulpbronnenbeperkte randapparaten (edge devices) door de precisie van gewichten en activaties te verlagen (bijv. van 32-bit naar 4-bit of 3-bit).

Het specifieke probleem is dat ZSQ moet plaatsvinden zonder toegang tot de originele trainingsdata, vaak vanwege privacy- of veiligheidsredenen. Bestaande methoden genereren synthetische datasets om het gequantiseerde model te fine-tunen. De auteurs identificeren echter drie fundamentele beperkingen in huidige ZSQ-methoden die de prestaties beperken:

1. Ruis in synthetische datasets: Synthetische data, gegenereerd via ruisoptimalisatie, vertoont een overmaat aan hoogfrequente ruis (korreligheid) in vergelijking met echte beelden, die voornamelijk laagfrequente componenten bevatten. Dit leidt tot inefficiënt fine-tunen.
2. Voorspellingen op basis van verkeerde patronen: Gequantiseerde modellen die op synthetische data worden getraind, vertrouwen vaak op verkeerde beeldpatronen (off-target patterns) voor hun classificatie, in plaats van de relevante objectgebieden te identificeren zoals het oorspronkelijke model doet.
3. Misleiding door foutieve harde labels: Voor "moeilijke" samples (waar het oorspronkelijke model onzeker is) zijn de gegenereerde harde labels vaak incorrect. Het gebruik van deze foutieve labels tijdens het fine-tunen leidt tot degradatie van de modelprestaties.

Methodologie: SYNQ

De auteurs stellen SYNQ (Synthesis-aware Fine-tuning for Zero-shot Quantization) voor, een framework dat specifiek is ontworpen om bovenstaande drie uitdagingen aan te pakken. De methode bestaat uit drie kernideeën:

1. Laagdoorlaatfilter (Low-pass Filter) voor Ruisreductie:

   • Om de hoogfrequente ruis in de synthetische dataset te elimineren, past SYNQ een Gaussisch laagdoorlaatfilter toe op de gegenereerde samples in het frequentiedomein (via Fourier-transformatie).
   • Dit filter verwijdert de onnatuurlijke korreligheid en zorgt ervoor dat de amplitudeverdeling van de synthetische data meer overeenkomt met die van echte beelden (geconcentreerd op lage frequenties).

2. Alignering van Class Activation Maps (CAM):

   • Om ervoor te zorgen dat het gequantiseerde model kijkt naar de juiste beeldregio's, introduceert SYNQ een CAM-aligneringsverlies ($L_{CAM}$).
   • Het model wordt getraind om de saliency maps (gegenereerd via Grad-CAM) van het gequantiseerde model te laten overeenkomen met die van het oorspronkelijke, niet-gequantiseerde model.
   • Dit distilleert kennis over objectlocatie en zorgt ervoor dat het gequantiseerde model de juiste features gebruikt voor classificatie, in plaats van te vertrouwen op ruis of achtergrondpatronen.

3. Zachte Labels voor Moeilijke Samples:

   • De auteurs definiëren de "moeilijkheid" ($\delta$) van een sample op basis van de voorspelde waarschijnlijkheid van het oorspronkelijke model.
   • Voor makkelijke samples (lage moeilijkheid) wordt zowel cross-entropy verlies (met harde labels) als KL-divergentie (met zachte labels) gebruikt.
   • Voor moeilijke samples (hoge moeilijkheid, waar het oorspronkelijke model vaak fouten maakt) wordt het cross-entropy verlies met harde labels uitgesloten. In plaats daarvan wordt uitsluitend gebruikgemaakt van de zachte labels (voorspellingen) van het oorspronkelijke model via KL-divergentie. Dit voorkomt dat het model wordt "misleid" door foutieve harde labels.

De totale objectfunctie voor het fine-tunen combineert deze elementen:
$$L_{SYNQ} = \text{KL-divergentie} + \mathbb{1}_{\{\delta \leq \tau\}} \cdot \lambda_{CE} \cdot \text{Cross-Entropy} + \lambda_{CAM} \cdot L_{CAM}$$
Waarbij $\tau$ een drempelwaarde is voor de moeilijkheid.

Belangrijkste Bijdragen

• Observatie: De paper biedt een gedetailleerde analyse van drie specifieke beperkingen van bestaande ZSQ-methoden (ruis, verkeerde patronen, foutieve labels) en visualiseert deze empirisch.
• Algoritme: SYNQ is een plug-and-play framework dat compatibel is met bestaande ZSQ-methoden die synthetische data gebruiken. Het introduceert een effectieve combinatie van frequentiedomein-filtering, CAM-alignering en adaptief labelgebruik.
• Efficiëntie: De methode is computatie-efficiënt. De tijdcomplexiteit is lineair ($O(NLT_\theta)$) en vereist slechts 5.120 samples, wat aanzienlijk minder is dan generator-gebaseerde methoden die vaak miljoenen samples genereren.

Resultaten

De auteurs hebben SYNQ uitgebreid getest op diverse datasets (CIFAR-10, CIFAR-100, ImageNet) en modellen (ResNet, MobileNetV2, Vision Transformers zoals DeiT en Swin).

• State-of-the-Art Prestaties: SYNQ behaalt consistent de hoogste nauwkeurigheid vergeleken met bestaande SOTA-methoden zoals TexQ, PLF, HAST, en IntraQ.
• Verbetering: Er wordt een verbetering van de classificienauwkeurigheid van tot 1,74 procentpunten waargenomen ten opzichte van de beste bestaande methoden (bijvoorbeeld bij ResNet-18 op ImageNet met 3-bit quantisatie).
• Robuustheid: De methode werkt effectief over verschillende bit-breedtes (3-bit en 4-bit) en modelarchitecturen, inclusief Vision Transformers (ViT).
• Ablatiestudies: Experimenten bevestigen dat elk van de drie componenten (filter, CAM-alignering, zachte labels) bijdraagt aan de totale prestatieverbetering, waarbij het laagdoorlaatfilter de grootste individuele impact heeft.

Betekenis en Impact

SYNQ is een significante doorbraak in het veld van data-vrije modelcompressie. Het lost fundamentele problemen op die al jarenlang de prestaties van Zero-Shot Quantization beperken. Door synthetische data te "zuiveren" en de focus van het model te corrigeren naar de juiste beeldregio's, maakt SYNQ het mogelijk om modellen met zeer lage bit-breedtes (zoals 3-bit) in te zetten zonder dat er toegang is tot gevoelige trainingsdata. Dit opent nieuwe mogelijkheden voor privacy-bewuste toepassingen in de gezondheidszorg, financiën en op randapparatuur, waar data-uitwisseling vaak niet mogelijk is. De code en datasets zijn open source beschikbaar gesteld, wat de reproduceerbaarheid en verdere adoptie bevordert.