Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

Sintesi Tecnica: L'Entropia Rivela l'Importanza dei Blocchi nei Transformer Visivi Auto-Supervisionati Mascherati

Problematica
I transformer visivi auto-supervisionati con mascheramento (ad es. MAE, VideoMAE) hanno stabilito un paradigma dominante per il pretraining, apprendendo rappresentazioni visive ricche da dati non etichettati. Tuttavia, la loro sostanziale dimensione del modello crea barriere significative per l'implementazione in ambienti con risorse limitate (ad es. dispositivi edge) e per l'apprendimento per trasferimento efficiente. Una domanda fondamentale rimane: sono tutti i blocchi del transformer ugualmente importanti per le prestazioni a valle?

Le soluzioni esistenti affrontano critiche limitazioni. Il pruning basato sulla sensibilità, pur essendo efficace, richiede la rimozione iterativa dei blocchi e un fine-tuning completo, comportando un overhead computazionale proibitivo. I metodi di pruning basati sui dati dipendono dai dati a valle o dalle statistiche delle attivazioni, introducendo un bias del dataset e limitando l'applicabilità quando i dati sono assenti o ristretti. Il pruning non strutturato spesso produce pattern di sparsità irregolari che sono difficili da implementare efficientemente sull'hardware moderno. Di conseguenza, è necessario un metodo basato su principi, privo di dati e computazionalmente efficiente per stimare l'importanza dei blocchi e identificare la ridondanza senza accesso ai dati di addestramento o ai gradienti.

Metodologia: Gardener e l'Entropia Numero-Peso
Gli autori propongono Gardener, un algoritmo di pruning a livello di blocco, one-shot e privo di dati, per i transformer visivi auto-supervisionati mascherati. L'intuizione centrale è che l'importanza del blocco è codificata all'interno dei parametri pre-addestrati stessi, specificamente nella distribuzione strutturale dei pesi.

Il metodo si basa su una nuova metrica chiamata entropia numero-peso. A differenza delle convenzionali definizioni di entropia che operano sulle magnitudo dei pesi o sulle attivazioni, questa formulazione caratterizza la distribuzione dei conteggi dei parametri attraverso intervalli di valore all'interno di un blocco transformer.

1. Formulazione: Per un blocco $B_l$ con $N_l$ pesi scalari, l'intervallo dei valori dei pesi viene partizionato in $K$ intervalli disgiunti. La probabilità empirica della massa $p_l(i)$ è calcolata come il rapporto tra i pesi che cadono nell'intervallo $i$ rispetto al numero totale di pesi nel blocco.
2. Calcolo dell'Entropia: L'entropia numero-peso $H(B_l)$ è calcolata come $-\sum p_l(i) \log p_l(i)$. Questa metrica cattura la diversità strutturale dei pesi all'interno di un blocco rimanendo invariante rispetto alla scala dei pesi.
3. Strategia di Pruning: Gardener calcola questa entropia per ogni blocco in un singolo passaggio sui parametri pre-addestrati. I blocchi sono classificati in ordine crescente di entropia. Un'entropia inferiore indica una distribuzione di parametri più concentrata, il che gli autori ipotizzano corrisponda a una minore importanza per il transfer learning. L'algoritmo rimuove i blocchi con il ranking più basso in base a un target di rapporto di pruning in un unico passaggio, senza richiedere propagazione forward/backward, accesso ai dati o fine-tuning iterativo.

Contributi Chiave

• Formulazione del Problema: Il paper definisce la sfida della stima dell'importanza dei blocchi priva di dati per i transformer visivi auto-supervisionati mascherati in contesti con risorse limitate.
• Intuizione Teorica: Introduce l'entropia numero-peso come un criterio informativo-teoretico calcolato esclusivamente dai parametri pre-addestrati, dimostrando una forte correlazione con la sensibilità oracle (derivata dalla rimozione iterativa dei blocchi e dal fine-tuning).
• Proposta dell'Algoritmo: Gli autori propongono l'algoritmo Gardener, un algoritmo di pruning one-shot a complessità lineare, con un overhead di memoria trascurabile, che opera interamente senza dati.
• Validazione Empirica: Esperimenti estesi su VideoMAE-B attraverso molteplici rapporti di pruning e benchmark di riconoscimento video a valle (UCF101) mostrano che Gardener eguaglia o supera costantemente i baseline data-free esistenti e si avvicina strettamente alle prestazioni del pruning basato sulla sensibilità (oracle).
• Analisi Strutturale: Il lavoro fornisce prove empiriche di un'eterogeneità strutturale sistematica nei modelli auto-supervisionati mascherati, rivelando che i blocchi precoci e intermedi tendono ad avere un'entropia più alta (catturando pattern diversificati di basso/medio livello), mentre i blocchi profondi mostrano un'entropia inferiore (specializzandosi nell'astrazione semantica).

Risultati
Gli esperimenti condotti su VideoMAE-B (pre-addestrato su Kinetics-400) e fine-tuned su UCF101 producono le seguenti conclusioni:

• Eterogeneità dei Blocchi: Rimuovere diversi blocchi transformer porta a differenze drastiche nelle prestazioni a valle, confermando che i blocchi non sono ugualmente importanti. Ad esempio, rimuovere il Blocco 1 ha causato un calo massiccio del Weighted Average Recall (WAR) al 46,73%, mentre rimuovere il Blocco 12 ha prodotto un WAR del 91,29% (rispetto all'originale 91,78%).
• Correlazione con l'Oracle: La classificazione dei blocchi tramite l'entropia numero-peso si allinea fortemente con la classificazione oracle basata sulla sensibilità. I blocchi con maggiore entropia corrispondono costantemente a cali di prestazioni maggiori quando rimossi.
• Prestazioni di Pruning: Gardener supera altri criteri data-free (inclusi quelli basati sulla magnitudo, sulla varianza e la selezione casuale) in tutti i rapporti di pruning. Notevolmente, anche dopo aver effettuato il pruning fino al 91,7% dei blocchi, il modello potato mantiene prestazioni di transfer competitive (WAR di 68,81%), avvicinandosi strettamente al risultato del pruning basato sulla sensibilità allo stesso rapporto.
• Efficienza: Il metodo comporta un overhead computazionale trascurabile, operando in un singolo passaggio sui parametri, rendendolo ordini di grandezza più efficiente dei metodi basati sulla sensibilità iterativa.

Significato e Rivendicazioni
Il paper sostiene che l'analisi informativo-teoretica dei pesi pre-addestrati offre una via fondata ed efficiente per la compressione del modello e l'apprendimento per trasferimento a risorse efficienti. Dimostrando che l'importanza dei blocchi può essere stimata accuratamente senza alcun accesso ai dati, gli autori mettono in discussione la necessità di un pruning basato sui dati o iterativo per i transformer visivi auto-supervisionati mascherati.

Il lavoro evidenzia che esiste una sostanziale ridondanza a livello di blocco in questi modelli e che l'entropia numero-peso cattura le proprietà rappresentazionali intrinseche apprese durante il pre-addestramento. Ciò consente l'identificazione di blocchi ridondanti attraverso misurazioni semplici, consentendo un rapido adattamento del modello. Gli autori posizionano Gardener non come un sostituto perfetto per tutti gli scenari di pruning, ma come un surrogato robusto e a basso costo che approssima il comportamento oracle sotto rigorosi vincoli di zero-dati, facilitando l'implementazione di modelli foundation su larga scala in ambienti dove dati e calcolo sono limitati.

Limitazioni
Gli autori riconoscono che l'entropia numero-peso è una misura grossolana e statica che non tiene conto del comportamento dipendente dall'input o dei pattern di attivazione specifici del task, il che potrebbe limitare l'adattabilità a task a valle altamente specializzati. Inoltre, lo studio attuale si concentra sul pruning a livello di blocco nei modelli de l'autoencoder mascherato basati su ViT; estendere questi criteri a strutture più fini (ad es. teste di attenzione) rimane una questione aperta. Infine, sebbene la correlazione con la sensibilità sia forte, non è garantito che sia perfetta in tutte le architetture o regimi di addestramento.