Sintesi Tecnica: Verso la Quantizzazione Multi-Dominio e Long-Tailed tramite Allineamento e Scalatura delle Caratteristiche

1. Definizione del Problema

La quantizzazione delle reti neurali profonde è essenziale per il dispiegamento di modelli su dispositivi con risorse limitate, eppure i metodi esistenti assumono prevalentemente dati a dominio singolo e bilanciati per classi. Questa ipotesi fallisce in scenari pratici caratterizzati da:

• Spostamenti Multi-Dominio (Multi-Domain Shifts): I dati di addestramento provenienti da molteplici fonti (ad esempio, diversi dispositivi o ambienti) esibiscono distribuzioni divergenti, portando a bias specifici del dominio e tassi di convergenza inconsistenti durante la quantizzazione.
• Distribuzioni Long-Tailed: I dataset del mondo reale presentano spesso frequenze di classe altamente sbilanciate. La quantizzazione esacerba il degrado delle prestazioni per le classi minoritarie a causa della eterogeneità delle varianze delle caratteristiche e dell'overconfidence nelle classi maggioritarie.

Il documento affronta la mancanza di framework di quantizzazione robusti che possano gestire simultaneamente gli spostamenti di dominio e lo squilibrio delle classi, fornendo al contempo garanzie teoriche di convergenza.

2. Metodologia

Gli autori propongono un framework unificato composto da Efficient Multi-Domain Alignment Quantization (EmaQ) e la sua estensione per dati long-tailed, EmaQ-LT.

A. Efficient Multi-Domain Alignment Quantization (EmaQ)

EmaQ mira alla quantizzazione multi-dominio attraverso due meccanismi primari:

1. Domain Alignment Quantization Training (DAQT):

   • Proiezione Basata su CDF: Per unificare le divergenti distribuzioni di dominio, DAQT proietta le caratteristiche di ogni dominio sorgente su una distribuzione uniforme comune utilizzando le Funzioni di Distribuzione Cumulativa (CDF). Assumendo che i pesi/attivazioni delle CNN seguano distribuzioni normali, il metodo mappa i pesi in virgola mobile $w$ in uno spazio uniforme $[-\alpha, \alpha]$ tramite una trasformazione CDF normale.
   • Alignment Quantization Gradient Descent (AQGD): Poiché l'operatore di quantizzazione non è differenziabile, gli autori introducono un gradiente surrogato fluido. Approssimano la derivata del quantizzatore utilizzando la derivata di una funzione sigmoide applicata alla posizione relativa all'interno degli intervalli di quantizzazione. Ciò stabilizza l'addestramento e riduce le oscillazioni.
   • Garanzia Teorica: Il documento fornisce un'analisi della convergenza basata sulla $\beta$-sensibilità (continuità di Lipschitz dei gradienti). Dimostra che DAQT converge sotto condizioni moderate e mostra che i diversi domini possiedono intrinsecamente diversi tassi di convergenza a causa delle variabili sensibilità dei gradienti.

2. Sensitivity-Aware Weight Aggregation (SWA):

   • Problema: La standard media uniforme dei pesi da più domini fallisce quando i domini hanno diverse sensibilità ($\beta$). I domini altamente sensibili soffrono di errori elevati se aggregati uniformemente con quelli meno sensibili.
   • Soluzione: SWA ricalcola dinamicamente la ponderazione dell'aggregazione degli aggiornamenti specifici del dominio. Calcola un coefficiente di sensibilità $\beta_k$ per ogni dominio (approssimato tramite differenze di gradiente locale) e aggrega i pesi proporzionalmente. Ciò evita spostamenti di parametri bruschi nei domini sensibili, permettendo al contempo ai domini meno sensibili di assorbire una conoscenza multi-dominio più ampia.

B. Estensione alla Quantizzazione Long-Tailed (EmaQ-LT)

EmaQ-LT adatta il framework per gestire lo squilibrio delle classi affrontando l'eterogeneità della varianza delle caratteristiche e i gap di confidenza dei logit:

1. Scalatura CDF Condizionale: Invece di un allineamento globale, EmaQ-LT applica una scalatura condizionata alla classe. Scala la deviazione standard della distribuzione delle caratteristiche di ogni classe in base alla sua dimensione del campione ($n_c$) per ridurre i gap di varianza tra classi maggioritarie e minoritarie.
2. Loss Omogeneizzata: Utilizzando il test di Levene per l'omogeneità della varianza, il metodo deriva limiti statistici per le dimensioni delle classi. Le classi che cadono al di fuori di questi limiti (minoritarie o estreme maggioritarie) vengono ricalibrate nella funzione di perdita per garantire che la loro rappresentazione non sia dominata dalle classi maggioritarie.
3. Confidence-based Logit Adjustment (CLA): Per mitigare la tendenza dei modelli ad assegnare un'eccessiva confidenza alle classi maggioritarie, CLA regola i logit finali. Sottrae un punteggio di confidenza (derivato dal log-sum-exp dei logit e della dimensione della classe) dai logit originali, attenuando efficacementamente il dominio delle classi maggioritarie e migliorando i punteggi di predizione delle classi minoritarie.

3. Contributi Chiave

• Framework EmaQ: Propone un nuovo metodo di quantizzazione che allinea le distribuzioni multi-dominio tramite proiezione CDF e stabilizza l'addestramento usando AQGD.
• Analisi Teorica: Stabilisce garanzie di convergenza per la quantizzazione multi-dominio e dimostra che i tassi di convergenza variano per sensibilità del dominio, motivando il design di SWA.
• Aggregazione Sensibile alla Sensibilità: Introduce SWA per bilanciare dinamicamente gli aggiornamenti dei pesi tra i domini in base alla sensibilità del gradiente, prevenendo il degrado delle prestazioni nei domini sensibili.
• Estensione EmaQ-LT: Estende il framework ai setting long-tailed integrando la scalatura della varianza per classe, una loss omogeneizzata basata sul test di Levene e l'aggiustamento dei logit per affrontare lo squilibrio logit-confidenza.
• Validazione Empirica: Dimostra miglioramenti costanti rispetto ai metodi allo stato dell'arte su benchmark standard (CIFAR-10, ImageNet), multi-dominio (Office-31, Digits) e long-tailed (SynDigits-LT, CIFAR-LT), particolarmente in configurazioni a basso bit (2-bit e 4-bit).

4. Risultati Sperimentali

Il documento valuta EmaQ ed EmaQ-LT su vari dataset e architetture (ResNet, MobileNet, DenseNet):

• Dominio Singolo: EmaQ eguaglia o supera i metodi esistenti di Post-Training Quantization (PTQ) e Quantization-Aware Training (QAT) su SVHN, CIFAR-10 e ImageNet, mostrando guadagni significativi nell'accuratezza a 2-bit.
• Multi-Dominio: Su Office-31 e Digits, EmaQ supera significativamente i baseline (ad esempio, fino al 68% di miglioramento dell'accuratezza sul dominio Webcam in configurazioni a 2-bit), validando l'efficacia di DAQT e SWA nel gestire gli spostamenti di dominio.
• Long-Tailed: Negli scenari long-tailed (CIFAR-10/100-LT, SynDigits-LT) con rapporti di squilibrio elevati ($\gamma=200$), EmaQ-LT mantiene prestazioni robuste dove i baseline falliscono. Ad esempio, su SynDigits-LT con MobileNet-V2 a 2-bit, EmaQ-LT raggiunge l'89,45% di accuratezza rispetto al 49,32% del miglior baseline.
• Studi di Ablazione: Confermano che la rimozione di DAQT, SWA, della loss omogeneizzata o dell'aggiustamento dei logit porta a cali significativi delle prestazioni, validando la necessità di ogni componente.

5. Significato e Rivendicazioni

Il documento rivendica che la sua importanza primaria risiede nel colmare il divario tra i metodi di quantizzazione teorici e i contesti di dati complessi e pratici (multi-dominio e long-tailed). Unificando l'allineamento della distribuzione e l'aggregazione sensibile alla sensibilità, il lavoro fornisce:

• Robustezza: Una strategia di quantizzazione che rimane efficace sotto spostamenti di distribuzione e squilibrio di classe senza richiedere lo scambio di dati (compatibile con scenari di federated learning).
• Fondamento Teorico: Garanzie di convergenza dimostrabili e intuizioni statistiche (tramite il test di Levene) che collegano lo squilibrio delle classi all'eterogeneità della varianza indotta dalla quantizzazione.
• Applicabilità Pratica: La capacità di distribuire modelli a basso bit su dispositivi edge dove i dati sono spesso isolati, non-IID e sbilanciati, ottenendo prestazioni elevate dove i metodi esistenti degradano significamente.

Gli autori concludono che il lavoro futuro esplorerà l'adattamento di questo framework ai Vision Transformer e ai modelli di diffusione, nonché la validazione dell'efficienza di inferenza su hardware edge reale.