SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning

1. Il Problema: Quantizzazione Zero-Shot (ZSQ)

La quantizzazione delle reti neurali è fondamentale per distribuire modelli su dispositivi edge con risorse limitate, riducendo la precisione dei pesi e delle attivazioni (es. da 32-bit a 4-bit o 3-bit). Tuttavia, in scenari reali legati alla privacy o alla sicurezza, i dati di addestramento originali potrebbero non essere accessibili.

La Quantizzazione Zero-Shot (ZSQ) affronta questo scenario permettendo la quantizzazione senza dati reali, generando invece un dataset sintetico per il fine-tuning del modello quantizzato. Nonostante i progressi, i metodi ZSQ esistenti soffrono di tre limitazioni critiche che ne degradano le prestazioni:

1. Rumore nel dataset sintetico: I campioni generati contengono rumore ad alta frequenza (spettro di frequenza distribuito uniformemente) che non rispecchia le immagini reali (concentrate sulle basse frequenze), rendendo il fine-tuning inefficiente.
2. Predizioni basate su pattern errati (Off-target): I modelli quantizzati tendono a focalizzarsi su regioni sbagliate dell'immagine (es. sfondi o texture irrilevanti) invece che sull'oggetto di interesse, a differenza del modello pre-addestrato.
3. Traviamento da etichette dure errate: Per i campioni difficili (dove il modello pre-addestrato ha bassa confidenza), le etichette dure (hard labels) assegnate casualmente o ottimizzate sono spesso errate. Utilizzarle per il fine-tuning introduce rumore e riduce l'accuratezza.

2. Metodologia: SYNQ

Gli autori propongono SYNQ (Synthesis-aware Fine-tuning for Zero-shot Quantization), un framework progettato per mitigare le tre sfide sopra elencate attraverso tre idee principali:

A. Filtro Passa-Basso (Low-Pass Filter)

Per affrontare il rumore nel dataset sintetico, SYNQ applica un filtro passa-basso Gaussiano nello spazio delle frequenze ai campioni generati.

• Meccanismo: Viene eseguita una trasformata di Fourier sui campioni sintetici, applicato un filtro Gaussiano per attenuare le alte frequenze (rumore), e poi una trasformata inversa.
• Risultato: Lo spettro di ampiezza dei campioni filtrati si allinea a quello delle immagini reali, concentrandosi sulle basse frequenze e migliorando la qualità dei dati per il fine-tuning.

B. Allineamento delle Mappe di Attivazione di Classe (CAM Alignment)

Per correggere la tendenza a predire basandosi su pattern errati, SYNQ introduce una funzione di perdita che allinea le Class Activation Maps (CAM) tra il modello pre-addestrato (teacher) e il modello quantizzato (student).

• Meccanismo: Utilizzando Grad-CAM, il metodo calcola le mappe di salienza (saliency maps) che indicano quali regioni dell'immagine contribuiscono alla predizione. Viene minimizzato l'errore quadratico medio (MSE) tra le mappe del teacher e dello student.
• Obiettivo: Forzare il modello quantizzato a "guardare" le stesse regioni critiche dell'immagine che il modello originale utilizza per la classificazione, garantendo una localizzazione corretta dell'oggetto.

C. Etichette Morbide per Campioni Difficili (Soft Labels for Difficult Samples)

Per evitare il traviamento causato da etichette errate sui campioni difficili, SYNQ adotta una strategia di etichettatura adattiva basata su una soglia di difficoltà ($\tau$).

• Definizione di Difficoltà: Un campione è considerato difficile se la probabilità predetta dal modello pre-addestrato per l'etichetta corretta è bassa (alta incertezza).
• Meccanismo:
  • Per i campioni facili (difficoltà $\le \tau$): Si utilizza sia la perdita di entropia incrociata (con etichette dure) che la divergenza KL (con etichette morbide).
  • Per i campioni difficili (difficoltà $> \tau$): Si utilizza esclusivamente la divergenza KL con le etichette morbide (probabilità del teacher), omettendo completamente la perdita con etichette dure.
• Obiettivo: Prevenire che il modello apprenda da etichette errate quando il teacher è incerto, affidandosi invece alla distribuzione di probabilità più informativa del teacher.

La funzione di perdita totale di SYNQ combina questi elementi:
$$L_{SYNQ} = \frac{1}{N} \sum_{i=1}^{N} \left( KL(q(x_i^F; \theta) || q(x_i^F; \theta_q)) + \mathbb{1}_{\{\delta \le \tau\}} \lambda_{CE} CE(q(x_i^F; \theta_q), y_i) + \lambda_{CAM} L_{CAM} \right)$$
Dove $x_i^F$ sono i campioni filtrati e $\delta$ è la difficoltà del campione.

3. Contributi Chiave

1. Osservazione Empirica: Identificazione e analisi dettagliata di tre limitazioni fondamentali nei metodi ZSQ esistenti (rumore in frequenza, allineamento CAM errato, etichette dure errate).
2. Algoritmo Innovativo: Sviluppo di SYNQ, che integra filtraggio in frequenza, distillazione di conoscenza spaziale (CAM) e gestione adattiva delle etichette.
3. Versatilità: SYNQ è un metodo "plug-and-play" che può essere integrato in qualsiasi pipeline ZSQ che utilizza dataset sintetici, indipendentemente dal tipo di modello (CNN o ViT), dal numero di bit o dal dataset.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10, CIFAR-100 e ImageNet con modelli come ResNet-20, ResNet-18, ResNet-50, MobileNetV2 e Vision Transformers (DeiT, Swin).

• Prestazioni SOTA: SYNQ ha raggiunto lo stato dell'arte (SOTA) in quasi tutte le configurazioni. Rispetto ai metodi migliori precedenti (es. TexQ, PLF), ha mostrato miglioramenti di accuratezza fino a 1.74 punti percentuali (es. su ResNet-18 a ImageNet con quantizzazione 3-bit).
• Robustezza ai Bit Bassi: Il metodo mostra un vantaggio crescente man mano che la larghezza dei bit diminuisce (es. 3-bit), dimostrando di superare efficacemente le sfide della quantizzazione estrema.
• Applicabilità ai ViT: SYNQ ha migliorato le prestazioni anche su Vision Transformers (ViT), ottenendo guadagni fino a 0.58 punti percentuali rispetto a PSAQ-ViT.
• Analisi Ablativa: Lo studio ha confermato che tutti e tre i componenti (filtro, allineamento CAM, etichette morbide) contribuiscono al miglioramento, con il filtro passa-basso che ha l'impatto maggiore (+5.80 punti percentuali da solo).
• Efficienza Computazionale: L'overhead computazionale introdotto da SYNQ è marginale (circa il 17.81% del tempo di fine-tuning totale), rendendolo pratico per l'uso reale.

5. Significato e Impatto

SYNQ rappresenta un passo avanti significativo nella quantizzazione senza dati. Dimostra che la qualità del dataset sintetico non dipende solo dalla generazione dei campioni, ma anche da come questi vengono puliti (filtraggio), interpretati (allineamento spaziale) e etichettati (gestione dell'incertezza).

La capacità di SYNQ di funzionare senza dati reali lo rende una soluzione ideale per scenari di deployment critici in termini di privacy (es. sanità, finanza) e sicurezza, permettendo di comprimere modelli complessi per l'edge computing senza compromettere l'accuratezza. Inoltre, la sua compatibilità con architetture moderne come i Transformer ne estende la rilevanza oltre le tradizionali CNN.