Selective Coupling of Decoupled Informative Regions: Masked Attention Alignment for Data-Free Quantization of Vision Transformers

Technische Samenvatting: Masked Attention Alignment voor Data-Free Quantization van Vision Transformers

Probleemstelling
Data-Free Quantization (DFQ) beoogt het comprimeren van vooraf getrainde full-precision Vision Transformers (ViTs) naar gekwantiseerde modellen zonder toegang tot de originele trainingsdata, wat kritieke zorgen rondom gegevensprivacy en beveiliging aanpakt. Hoewel DFQ succes heeft getoond bij Convolutional Neural Networks (CNN's) door gebruik te maken van Batch Normalization-statistieken, stuit de migratie naar ViTs op aanzienlijke uitdagingen. ViTs vertrouwen op Layer Normalization en self-attention mechanismen, die het gebrek hebben aan de stabiele distributieve priors die in CNN's worden gevonden. Als gevolg hiervan kampen bestaande DFQ-methoden voor ViTs vaak met synthetische samples die lijden aan semantische dispersie (waarbij semantiek verspreid is over de gehele afbeelding in plaats van coherente structuren te vormen) en attentionele dispariteit (waarbij het gekwantiseerde model $Q$ er niet in slaagt zijn attention maps af te stemmen op het full-precision model $P$, met name door het ontbreken van discriminerende regio's). Deze problemen leiden tot suboptimale kalibratie en prestatieverlies, vooral in ultra-lage precisie instellingen (bijv. 3-bit).

Methodologie: MaskAQ
De auteurs stellen MaskAQ voor, een nieuwe aanpak die DFQ voor ViTs herformuleert vanuit een Information Bottleneck (IB) perspectief. De kerninzicht is dat self-attention semantiek niet uniform verdeeld zijn, maar geconcentreerd zijn in een ijle subset van patches, de zogenaamde Informative Regions (IR). MaskAQ beoogt deze IR's te ontkoppelen van ruisige achtergronden en ze af te stemmen op het gekwantiseerde model $Q$. De methode bestaat uit drie primaire componenten:

1. Informative Region Decoupling:
   Om semantische dispersie aan te pakken, scheidt MaskAQ informatieve patches van de achtergrond. Het definieert IR's op basis van attention weights en maakt gebruik van een differential entropy maximization strategie over patch-gelijkenis. Door de entropie van de gelijkenisdistributie tussen attention vectoren te maximaliseren, stimuleert de methode diverse attention patronen, wat attention collapse voorkomt en zorgt voor een duidelijke scheiding tussen semantisch kritieke patches en ruisige achtergronden. Dit wordt geformuleerd als een regularisator ($L_{fb}$) die structurele coherentie in synthetische samples bevordert.

2. Masked Attention Coupling:
   Om attentionele dispariteit aan te pakken, introduceert MaskAQ een adaptief masking mechanisme. In plaats van volledige attention maps af te stemmen (wat irrelevante achtergronden mogelijk overmatig reguleert), construeert de methode een binaire mask om een strikte subset van informatieve patches te selecteren. Een masked attention alignment objective ($L_{align}$) wordt vervolgens gebruikt om het verschil tussen de attention maps van $P$ en $Q$ te minimaliseren alleen binnen deze geselecteerde regio's. Dit zorgt ervoor dat de synthetische samples zich concentreren op de specifieke semantische regio's die $Q$ moet leren, waardoor de kloof tussen de twee modellen wordt overbrugd zonder te worden misleid door kwantisatie-geïnduceerde ruis in niet-informatieve gebieden.

3. Periodic Sample Refreshing:
   Erkennend dat de staat van het gekwantiseerde model $Q$ evolueert tijdens het kalibratieproces, kunnen de initiële synthetische samples niet langer goed afgestemd zijn op de huidige capaciteiten van $Q$. MaskAQ hanteert een periodic refreshing strategy, waarbij synthetische samples op vaste intervallen gedurende de training worden geregenereerd. Dit stelt de methode in staat om continu aan te passen aan de evoluerende staat van $Q$, waardoor de gewenste wederzijdse informatie tussen de samples en de outputs van het model behouden blijft.

Belangrijkste Bijdragen

• Identificatie van Kritieke Bottlenecks: Het artikel identificeert expliciet semantische dispersie en attentionele dispariteit als de primaire redenen voor de prestatiekloof in bestaande ViT DFQ-methoden, met name onder ultra-lage precisie.
• Information Bottleneck Perspectief: De auteurs verschuiven het doel van DFQ van louter het benaderen van reële datadistributies naar het behouden van de cruciale wederzijdse informatie die nodig is voor de kalibratie van $Q$. Ze bieden theoretische garanties (Theorema 1 en 2) die aantonen dat het afstemmen van $P$ en $Q$ op informatieve regio's voldoende is om voorspellende kracht te behouden.
• Nieuwe Architectuur (MaskAQ): De integratie van differential entropy-gebaseerde regio-ontkoppeling, adaptieve gemaskeerde attention coupling en periodieke verversing creëert een robuuste pipeline voor hoogwaardige sample synthese.
• Omvattende Evaluatie: De methode wordt gevalideerd over meerdere backbones (ViT, DeiT, Swin Transformer) en downstream taken (classificatie, objectdetectie, semantische segmentatie).

Experimentele Resultaten
Uitgebreide experimenten op de ImageNet dataset tonen aan dat MaskAQ de state-of-the-art benaderingen (inclusief MimiQ, PSAQ-ViT V2 en CLAMP-ViT) overtreft over verschillende bit-breedtes.

• Classificatie: Onder 3-bit kwantisatie (3w3a) behaalt MaskAQ een tot 3,1% Top-1 nauwkeurigheidswinst ten opzien van MimiQ op DeiT-T. In 4-bit settings verbetert het consequent de nauwkeurigheid met marges variërend van 1,4% tot meer dan 7% vergeleken met concurrenten.
• Downstream Taken: De methode vertoont ook superieure prestaties op objectdetectie (COCO) en semantische segmentatie (ADE20K) taken, wat de generaliseerbaarheid buiten classificatie bevestigt.
• Ablatie-studies: Het verwijderen van een van de drie kerncomponenten (entropie regularisator, gemaskeerde alignment, of sample refreshing) leidt tot significante prestatiedalingen, wat de noodzaak van elke module valideert.

Betekenis
Het artikel beweert dat MaskAQ een significante vooruitgang vormt in het veld van Data-Free Quantization voor Vision Transformers. Door verder te gaan dan eenvoudige distributie-benadering en te focussen op de selectieve koppeling van ontkoppelde informatieve regio's, mitigeert de methode effectief de unieke uitdagingen die door ViT-architecturen worden gepresenteerd. Het vermogen om een hoge nauwkeurigheid te behouden in ultra-lage precisie scenario's (3-bit) zonder toegang tot echte data, wordt benadrukt als een cruciale stap naar de implementatie van veilige, efficiënte ViTs op hulpbronnenbeperkte edge-apparaten. Het werk onderstreept dat het behouden van de specifieke wederzijdse informatie tussen synthetische samples en de output van het gekwantiseerde model belangrijker is dan het genereren van visueel perfecte afbeeldingen.