Selective Coupling of Decoupled Informative Regions: Masked Attention Alignment for Data-Free Quantization of Vision Transformers

Sintesi Tecnica: Allineamento dell'Attenzione Mascherata per la Quantizzazione Data-Free dei Vision Transformer

Problematica
La Quantizzazione Data-Free (DFQ) mira a comprimere i Vision Transformer (ViT) pre-addestrati a precisione intera in modelli quantizzati senza l'accesso ai dati di addestramento originali, affrontando critiche problematiche di privacy e sicurezza dei dati. Sebbene la DFQ abbia dimostrato successo con le Reti Neurali Convoluzionali (CNN) sfruttando le statistiche della Batch Normalization, la sua migrazione ai ViT affronta sfide significative. I ViT si affidano alla Layer Normalization e ai meccanismi di self-attention, mancando dei priori distribuzionali stabili presenti nelle CNN. Di conseguenza, i metodi DFQ esistenti per i ViT generano spesso campioni sintetici che soffrono di dispersione semantica (dove la semantica è dispersa nell'intera immagine anziché formare strutture coerenti) e disparità attentiva (dove il modello quantizzato $Q$ non riesce ad allineare le proprie mappe di attenzione con il modello a precisione intera $P$, in particolare a causa dell'assenza di regioni discriminative). Questi problemi portano a un calibrazione subottimale e a una degradazione delle prestazioni, specialmente in configurazioni a precisione ultra-bassa (es. 3-bit).

Metodologia: MaskAQ
Gli autori propongono MaskAQ, un approccio innovativo che inquadra la DFQ per i ViT attraverso la prospettiva del Collo di Bottiglia dell'Informazione (Information Bottleneck - IB). L'intuizione fondamentale è che la semantica della self-attention non è distribuita uniformemente, ma è concentrata in un sottoinsieme sparso di patch denominato Regioni Informative (IR). MaskAQ mira a disaccoppiare queste IR dai background rumorosi e ad allinearle con il modello quantizzato $Q$. Il metodo consiste in tre componenti primari:

1. Disaccoppiamento delle Regioni Informative:
   Per affrontare la dispersione semantica, MaskAQ separa le patch informative dal background. Definisce le IR sulla base dei pesi di attenzione e impiega una strategia di massimizzazione dell'entropia differenziale sulla similarità tra le patch. Massimizzando l'entropia della distribuzione di similarità tra i vettori di attenzione, il metodo incoraggia pattern di attenzione diversificati, prevenendo il collasso dell'attenzione e garantendo una chiara separazione tra le patch semanticamente critiche e i background rumorosi. Questo è formulato come un regolarizzatore ($L_{fb}$) che promuove la coerenza strutturale nei campioni sintetici.

2. Accoppiamento dell'Attenzione Mascherata:
   Per affrontare la disparità attentiva, MaskAQ introduce un meccanismo di masking adattivo. Invece di allineare l'intera mappa di attenzione (che potrebbe sovra-regolarizzare il background irrilevante), il metodo costruisce una maschera binaria per selezionare un sottoinsieme rigoroso di patch informative. Un obiettivo di allineamento dell'attenzione mascherata ($L_{align}$) viene quindi utilizzato per minimizzare la differenza tra le mappe di attenzione di $P$ e $Q$ solo all'interno di queste regioni selezionate. Ciò assicura che i campioni sintetici si concentrino sulle specifiche regioni semantiche che $Q$ deve apprendere, colmando il divario tra i due modelli senza essere fraintesi dal rumore indotto dalla quantizzazione nelle aree non informative.

3. Rinfresco Periodico dei Campioni:
   Riconoscendo che lo stato del modello quantizzato $Q$ evolve durante il processo di calibrazione, i campioni sintetici iniziali possono diventare disallineati con le capacità attuali di $Q$. MaskAQ impiega una strategia di refreshing periodico, in cui i campioni sintetici vengono rigenerati a intervalli fissi durante l'addestramento. Ciò consente al metodo di adattarsi continuamente allo stato evolutivo di $Q$, preservando la desiderabile informazione mutua tra i campioni e gli output del modello.

Contributi Chiave

• Identificazione dei Colli di Bottiglia Critici: Il paper identifica esplicitamente la dispersione semantica e la disparità attentiva come le ragioni primarie del gap di prestazioni nei metodi DFQ esistenti per i ViT, particolarmente sotto precisione ultra-bassa.
• Prospettiva del Collo di Bottiglia dell'Informazione: Gli autori spostano l'obiettivo della DFQ dal semplice approssimare le distribuzioni dei dati reali al preservare l'informazione mutua cruciale necessaria per calibrare $Q$. Forniscono garanzie teoriche (Teoremi 1 e 2) dimostrando che l'allineamento di $P$ e $Q$ sulle regioni informative è sufficiente per mantenere il potere predittivo.
• Nuova Architettura (MaskAQ): L'integrazione del disaccoppiamento delle regioni basato sull'entropia differenziale, dell'accoppiamento dell'attenzione mascherata adattiva e del refreshing periodico crea una pipeline robusta per la sintesi di campioni di alta qualità.
• Valutazione Esaustiva: Il metodo è validato su molteplici backbone (ViT, DeiT, Swin Transformer) e task downstream (classificazione, rilevamento oggetti, segmentazione semantica).

Risultati Sperimentali
Esperimenti estesi sul dataset ImageNet dimostrano che MaskAQ supera gli approcci allo stato dell'arte (inclusi MimiQ, PSAQ-ViT V2 e CLAMP-ViT) attraverso varie larghezze di bit.

• Classificazione: Sotto quantizzazione a 3-bit (3w3a), MaskAQ ottiene un incremento di accuratezza Top-1 fino al 3.1% rispetto a MimiQ su DeiT-T. Nelle configurazioni a 4-bit, migliora costantemente l'accuratezza con margini che vanno dall'1.4% a oltre il 7% rispetto ai competitor.
• Task Downstream: Il metodo mostra prestazioni superiori anche nei compiti di rilevamento oggetti (COCO) e segmentazione semantica (ADE20K), confermando la sua generalizzabilità oltre la classificazione.
• Studi di Ablazione: Rimuovere uno qualsiasi dei tre componenti principali (regolarizzatore di entropia, allineamento mascherato o refreshing dei campioni) porta a cali significativi delle prestazioni, validando la necessità di ogni modulo.

Significatività
Il paper sostiene che MaskAQ rappresenti un avanzamento significativo nel campo della Quantizzazione Data-Free per i Vision Transformer. Passando dal semplice matching della distribuzione al focus sul collegamento selettivo di regioni informative disaccoppiate, il metodo mitiga efficacemente le sfide uniche poste dalle architetture ViT. La capacità di mantenere un'alta accuratezza in scenari a precisione ultra-bassa (3-bit) senza accesso a dati reali è evidenziata come un passo cruciale verso l'implementazione di ViT sicuri ed efficienti su dispositivi edge con risorse limitate. Il lavoro sottolinea che preservare l'informazione mutua specifica tra i campioni sintetici e l'output del modello quantizzato è più critico che generare immagini visivamente perfette.