Riepilogo Tecnico: ScalePredictor

Definizione del Problema

I Vision Transformer (ViT) hanno raggiunto prestazioni allo stato dell'arte nella computer vision, ma affrontano sfide significative di deployment su dispositivi edge con risorse limitate a causa della loro intensità computazionale. La Quantizzazione Post-Training (PTQ) offre una soluzione comprimendo i modelli in formati a basso bit (ad esempio, 8-bit o inferiori) senza riaddestramento. Tuttavia, gli esistenti metodi PTQ si affidano prevalentemente alla quantizzazione statica, dove un singolo set di parametri di quantizzazione (scale) viene applicato uniformemente a tutte le istanze di input.

Questo paradigma statico è intrinsecamente subottimale per i ViT perché le immagini naturali esibiscono una diversità sostanziale, portando a variazioni significative nelle distribuzioni delle attivazioni tra i diversi campioni. Questa eterogeneità è particolarmente dannosa nei setting a bit ultra-bassi (ad esempio, W3/A3), dove le scale fisse non riescono a catturare la dinamica specifica per ogni istanza. Al contrario, le strategie di quantizzazione dinamica che adattano i parametri per ogni campione spesso richiedono riduzioni di tensori completi a runtime (calcoli min/max) per ogni layer. Queste operazioni introducono gravi barriere di sincronizzazione e overhead legati alla memoria, compromettendo drasticamente la velocità di inferenza e annullando i benefici di efficienza della quantizzazione.

Metodologia: ScalePredictor

Gli autori propongono ScalePredictor, un framework di quantizzazione dinamica che raggiunge l'apprendimento di scale consapevole dell'istanza con un overhead computazionale minimo. L'intuizione centrale che guida il metodo è una correlazione scoperta: le scale di quantizzazione ottimali per i layer più profondi dipendono fortemente dall'ampiezza delle attivazioni osservata nei layer più superficiali.

Il framework consiste di tre componenti principali:

1. Estrazione del Range Robusto:
   Inve Instead di calcolare valori min/max globali (sensibili agli outlier) o eseguire costose ordinazioni percentili, ScalePredictor estrae un "range robusto" ($r(x)$) dall'output del Patch Embedding (il layer più superficiale).

   • Il tensore appiattito è partizionato in $K$ chunk non sovrapposti.
   • Vengono calcolati i valori min/max locali per ogni chunk.
   • Questi estremi locali vengono mediati per derivare un range robusto globale.
   • Questo approccio agisce come un'approssimazione percentile grossolana, sopprimendo efficacemente l'influenza degli outlier pur mantenendo una complessità $O(N \cdot C)$ ed evitando l'ordinamento.

2. Predittore Polinomiale Motivato da Taylor:
   Un modulo polinomiale apprendibile mappa l'estratto range robusto $r(x)$ alle scale di quantizzazione ottimali per tutti i successivi layer.

   • Basandosi sull'osservazione che la relazione tra le statistiche superficiali e le scale ottime profonde segue un trend non lineare e fluido, il metodo modella la scala $s_l(x)$ per il layer $l$ come una funzione polinomiale di $r(x)$:
     $$s_l(x) = \sum_{k=0}^{d} c_{l,k} \cdot (r(x))^k$$
   • I coefficienti $c_{l,k}$ sono appresi durante una fase di calibrazione utilizzando un piccolo set di calibrazione.
   • Ciò consente al modello di predire le scale specifiche per istanza per tutti i layer in un unico passaggio, senza accedere ai tensori di attivazione profondi.

3. Calibrazione e Inferenza:

   • Calibrazione: I coefficienti polinomiali sono ottimizzati utilizzando un piccolo set di calibrazione. Il termine costante ($c_{l,0}$) è inizializzato con la scala statica ottimale per garantire stabilità, mentre i termini di ordine superiore vengono appresi per catturare le variazioni dell'istanza.
   • Inferenza: Per un nuovo input, il range robusto viene calcolato una sola volta al livello di Patch Embedding. Tutte le scale dei successivi layer vengono generate tramite valutazione polinomiale ($O(1)$ FLOPs), eliminando la necessità di riduzioni per layer a runtime.

Contributi Chiave

1. PTQ Instance-Aware per ViT: ScalePredictor è presentato come il primo metodo di post-training quantization per i ViT che sfrutta la quantizzazione dinamica per affrontare l'eterogeneità della distribuzione a livello di istanza senza riaddestramento.
2. Meccanismo di Apprendimento delle Scale Efficiente: L'integrazione di un meccanismo di estrazione del range robusto (media min/max basata su chunk) con una proiezione polinomiale ispirata a Taylor consente una predizione accurata e immediata delle scale con un overhead di inferenza trascurabile.
3. Scoperta della Correlazione Shallow-Deep: Il lavoro rivela una dipendenza funzionale consistente in cui le statistiche delle attivazioni dei layer superficiali (specificamente dai Patch Embeddings) possono predire efficacemente le scale di quantizzazione ottimali per i blocchi transformer più profondi attraverso varie architetture (ViT, DeiT, Swin).

Risultati Sperimentali

Sono stati condotti estesi esperimenti sul dataset ImageNet su sette architetture ViT (ViT-S/B, DeiT-T/S/B, Swin-S/B) e quattro baseline PTQ (BRECQ, QDrop, AdaLog, I&S-ViT).

• Miglioramenti dell'Accuratezza: ScalePredictor supera costantemente le baseline PTQ statiche, particolarmente nei regimi a basso bit.
  • I guadagni degni di nota includono un miglioramento del 10,58% (dal 33,57% al 44,15%) su Swin-Small usando I&S-ViT a W2/A3.
  • Sono stati osservati miglioramenti significativi anche a W3/A3, come un guadagno dell'8,71% su ViT-Small usando BRECQ.
  • Anche nei casi in cui le baseline statiche sono crollate (ad esempio, BRECQ su ViT-Small a W2/A3 con l'1,10% di accuratezza), ScalePredictor ha recuperato le prestazioni portandole al 4,15%.
• Confronto con la Quantizzazione Dinamica JIT: A differenza dei metodi di quantizzazione dinamica Just-In-Time (JIT) (ad esempio, JIT Min/Max), che degradano severamente l'accuratezza rompendo la relazione calibrata tra pesi e attivazioni, ScalePredictor preserva la coerenza della calibrazione consentendo al contempo l'adattività.
• Efficienza:
  • Latenza: Su una NVIDIA RTX 3090, ScalePredictor introduce solo lo 0,6% di overhead di latenza end-to-end rispetto alla PTQ statica.
  • Calcolo delle Scale: Il metodo è 40–52 volte più veloce di JIT Min/Max e 507–1025 volte più veloce di JIT Percentile per il calcolo delle scale di quantizzazione, poiché evita le riduzioni dei tensori per ogni layer.

Significato e Claim

Il paper sostiene che ScalePredictor colma con successo il divario tra l'accuratezza della quantizzazione dinamica e l'efficienza della quantizzazione statica. Sfruttando la correlazione nascosta tra le distribuzioni dei layer superficiali e le scale ottime dei layer profondi, il metodo evita la costosa calibrazione "just-in-time" richiesta dai tradizionali approcci dinamici.

Gli autori sottolineano che ScalePredictor offre un favorevole trade-off accuratezza-efficienza, rendendolo una soluzione valida per il deployment di Vision Transformer a basso bit su dispositivi edge. Il metodo è progettato per essere integrato senza problemi nei framework PTQ esistenti, richiedendo solo l'aggiunta di un modulo predittore leggero e un passaggio di estrazione del range robusto, senza alterare l'architettura di rete sottostante o richiedere un riaddestramento completo.