🤖 AI

Rethinking Depth Pruning for Vision Transformers: A Heterogeneity-Aware Perspective

Questo articolo introduce HetDPT, un metodo di pruning della profondità consapevole dell'eterogeneità che supera le sfide del recupero dell'accuratezza degli approcci esistenti affrontando l'eterogeneità inter-layer, ottenendo così incrementi significativi di velocità con una perdita di accuratezza minima sui Vision Transformer attraverso molteplici benchmark.

Autori originali: Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

Pubblicato 2026-07-07

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Vision Transformer (ViT) come una fabbrica altamente sofisticata e multipiano progettata per riconoscere immagini. Ogni piano di questa fabbrica rappresenta un "livello" (layer) dove l'immagine viene elaborata. Alcuni piani sono dedicati all'Attenzione (scansionare l'intera immagine per vedere come le diverse parti si relazionano tra loro), mentre altri sono dedicati all'Attivazione (applicare un filtro specifico o una "non-linearità" per affilare i dettagli).

Per anni, gli ingegneri che cercavano di rendere queste fabbriche più veloci su dispositivi più piccoli si sono concentrati principalmente sul Width Pruning (potatura della larghezza). Questo è come assumere meno lavoratori in ogni piano. Ottieni una fabbrica più piccola, ma ha ancora lo stesso numero di piani, quindi il prodotto deve ancora viaggiare attraverso ogni singolo livello.

L'articolo sostiene che un modo migliore per velocizzare le cose sia il Depth Pruning (potatura della profondità): semplicemente rimuovere interi piani. Se rimuovi il 50% dei piani, il prodotto arriva alla fine due volte più velocemente. Tuttavia, i tentativi precedenti di farlo sono falliti miseramente. La fabbrica crollava e la qualità dell'output (il riconoscimento dell'immagine) precipitava.

Gli autori di questo articolo, HetDPT, hanno scoperto perché la fabbrica crollava e hanno costruito un nuovo metodo per risolvere il problema. Ecco la suddivisione in termini semplici:

Il Problema: Il "Mismatch" e le "Personalità Diverse"

L'articolo identifica due ragioni principali per cui rimuovere semplicemente i piani non funziona:

Il Mismatch Dimensionale (Il Nastro Trasportatore Rotto):
Immagina che la fabbrica abbia un sistema di nastri trasportatori. I piani di "Attenzione" e i piani di "Attivazione" sono collegati in un modo specifico. Se rimuovi casualmente un piano di Attivazione, il nastro trasportatore del piano precedente arriva a una macchina che non esiste più, oppure la macchina che esiste si aspetta un pacchetto di dimensioni diverse. L'articolo chiama questo un "mismatch dimensionale". È come cercare di inserire un perno quadrato in un buco rotondo perché hai rimosso l'adattatore nel mezzo.
- La Soluzione: Gli autori si sono resi conto che potevano rimuovere interamente i piani di "Attivazione" e semplicemente fondere i due piani "Lineari" (macchine) che si trovavano ai lati di esso. Questo crea una nuova macchina fluida e senza interruzioni che si adatta perfettamente al nastro trasportatore, mantenendo la fabbrica operativa anche con meno piani.
L'Eterogeneità (Le Personalità Diverse):
Questo è l'intuizione principale dell'articolo. Gli autori si sono resi conto che i piani di Attenzione e i piani di Attivazione non sono la stessa cosa; hanno "personalità" diverse.
- I Piani di Attenzione sono come i Senior Manager. Se licenzi alcuni manager, la fabbrica rallenta un po' all'inizio, ma ci vuole molto tempo per addestrarne di nuovi per tornare alla piena velocità. Sono difficili da sostituire rapidamente.
- I Piani di Attivazione sono come i Junior Intern (stagisti). Se li licenzi, la fabbrica crolla immediatamente (l'accuratezza scende quasi a zero). Tuttavia, se dai loro una rapida sessione di formazione di 10 minuti (fine-tuning), tornano quasi istantaneamente alle prestazioni piene.
- L'Errore dei Vecchi Metodi: I metodi precedenti trattavano tutti i piani allo stesso modo. Guardavano i "gradienti" (una misura di quanto un piano contribuisce) e licenziavano quelli con i numeri più bassi. Poiché i Senior Manager (Attenzione) hanno naturalmente una "tensione" diversa dagli Intern (Attivazione), i vecchi metodi continuavano a licenziare le persone sbagliate, portando al collasso.

La Soluzione: HetDPT (Il Gestore di Fabbrica Intelligente)

Gli autori hanno creato un processo in due fasi chiamato HetDPT (Heterogeneity-Aware Depth Pruning) per gestire questa fabbrica:

Passaggio 1: L'Allocazione del Budget (La Strategia)
Prima di licenziare chiunque, il manager usa un "Predictor di Accuratezza del Modello" (un calcolatore intelligente). Inveve di chiedere "Qual è il piano peggiore?", chiede: "Se licenziamo 3 Senior Manager e 5 Intern, la fabbrica funzionerà ancora?".

Testa diverse combinazioni di licenziamento di Manager rispetto agli Intern.
Trova l'equilibrio perfetto (ad esempio, "Possiamo licenziare 10 piani in totale, ma dobbiamo licenziare 6 Intern e solo 4 Manager per mantenere alta la qualità").
Questo evita l'errore di confrontare direttamente i Manager e gli Intern, che è come confrontare mele con arance.

Passaggio 2: L'Esecuzione (La Pulizia)
Una volta stabilito il budget (ad esempio, "Licenzia 6 Intern"), il metodo procede separatamente per ogni gruppo.

Guarda tutti gli Intern e licenzia quelli che sono meno necessari.
Guarda tutti i Manager e licenzia quelli che sono meno necessari.
Fondamentale: Fonde le macchine Lineari attorno agli Intern licenziati in modo che il nastro trasportatore si adatti perfettamente (risolvendo il mismatch).
Infine, dà al personale rimanente un rapido "corso di aggiornamento" (fine-tuning) per riportarli al 100% delle prestazioni.

I Risultaggi: Più Veloci Senza Perdere Qualità

Gli autori hanno testato questo metodo su diversi dataset di immagini standard (come ImageNet, che è come un enorme album fotografico di 1 milione di immagini).

Velocità: Hanno ottenuto un'elaborazione 1.58x più veloce per un modello standard (DeiT-B) mantenendo l'accuratezza esattamente uguale all'originale.
Compressione Estrema: Quando hanno combinato questo metodo con altre tecniche (width pruning), hanno creato un modello super-leggero che è 5.19x più veloce dell'originale, con quasi nessuna perdita di accuratezza.
Versatilità: Ha funzionato non solo sui modelli standard, ma anche su modelli più complessi (Swin Transformers) e persino su modelli massicci con miliardi di parametri (DINO-V2-Giant).

Analogia Riassuntiva

Pensa a una lunga linea di montaggio che produce auto.

Vecchio Modo: Cerchi di velocizzarla facendo lavorare i lavoratori della linea più velocemente (Width Pruning), o licenziando casualmente lavoratori da diverse stazioni, causando la caduta del telaio dell'auto dalla linea perché la stazione successiva non è pronta (Fallimento del Depth Pruning).
Metodo HetDPT: Ti rendi conto che alcune stazioni (Intern) possono essere rimosse interamente se saldi insieme le due macchine ai loro lati. Ti rendi anche conto che licenziare i Capistazione (Attenzione) danneggia la linea per molto tempo, mentre licenziare gli Intern danneggia la linea brevemente ma si riprendono velocemente. Quindi, calcoli attentamente quanti di ciascuno licenziare, saldi le macchine insieme e dai alla squadra rimanente un rapido incoraggiamento. Il risultato? L'auto esce dalla fine della linea due volte più velocemente ed è ancora un'auto perfetta.

L'articolo conclude che, rispettando le diverse "personalità" dei livelli e risolvendo il mismatch meccanico, possiamo rendere questi potenti modelli di IA molto più veloci sui dispositivi quotidiani senza perdere la loro intelligenza.

Riepilogo Tecnico: Ripensare il Pruning della Profondità per i Vision Transformer: Una Prospettiva Consapevole dell'Eterogeneità

1. Definizione del Problema

I Vision Transformer (ViT) hanno raggiunto prestazioni allo stato dell'arte in vari domini, ma soffrono di elevati costi computazionali e grandi conteggi di parametri, portando a una latenza di inferenza prolungata. Sebbene il pruning strutturato sia una strategia di compressione efficace, i metodi esistenti affrontano limitazioni significative:

Pruning della Larghezza (Width Pruning): Riduce i canali o le teste di attenzione all'interno dei layer, ma spesso produce accelerazioni limitate sull'hardware mainstream.
Pruning della Profondità (Depth Pruning): Rimuove interi layer, offrendo un potenziale di accelerazione significativamente maggiore (come mostrato nella Figura 2a). Tuttavia, è notoriamente difficile recuperare l'accuratezza, specialmente con una rimozione aggressiva dei layer.
Il Collo di Bottiglia Centrale: Il paper sostiene che il fallimento dei metodi esistenti di depth pruning derivi da due problemi trascurati:
1. Negligenza dell'Eterogeneità: I ViT contengono tipi di layer distinti (ad esempio, layer di Attenzione rispetto ai layer di Funzione di Attivazione all'interno delle reti Feed-Forward). I metodi esistenti trattano spesso questi layer in modo uniforme o si affidano a metriche basate sul gradiente che falliscono a causa della significativa disparità nelle scale dei gradienti tra questi tipi.
2. Discrepanza Dimensionale: Il pruning simultaneo dei layer di Attenzione e dei layer Lineari nella FFN crea incompatibilità strutturali. Poiché le FFN utilizzano un meccanismo di espansione-contrazione (ad esempio, $D \to 4D \to D$ ), la rimozione di un layer Lineare interrompe la continuità della forma del tensore richiesta dai layer successivi (illustrato nella Figura 3).

2. Metodologia: HetDPT

Gli autori propongono HetDPT (Heterogeneity-aware DePTh pruning), un framework in due fasi progettato per affrontare l'eterogeneità ed evitare la discrepanza dimensionale.

Insight Chiave

Il metodo si basa su due osservazioni critiche riguardanti l'eterogeneità dei layer:

Disparità del Gradiente: I layer di Attenzione e i layer di Attivazione esibiscono magnitudo di gradiente molto diverse durante la backpropagation. L'uso di metriche di importanza standard basate sul gradiente porta a decisioni di pruning distorte, favorendo costantemente il pruning di un tipo rispetto all'altro.
Asimmetria del Recupero:
- Il pruning dei layer di Attenzione causa cali iniziali moderati dell'accuratezza ma richiede un fine-tuning esteso per il recupero.
- Il pruning dei layer di Attivazione causa una degradazione iniziale severa (spesso $\ge 90\%$ di perdita di accuratezza) ma consente un recupero rapido durante il fine-tuning.
- Implicazione: Le metriche miopi che valutano l'accuratezza immediata post-pruning sono inefficaci.

La Pipeline in Due Fasi

Fase 1: Identificazione dei Layer Ridondanti
Questa fase determina quanti e quali specifici layer rimuovere senza confrontare direttamente i tipi di layer eterogenei.

Step 1: Allocazione del Budget di Pruning (Model Accuracy Predictor - MAP): Inveia di confrontare i layer direttamente, il metodo utilizza un processo di raccolta dati leggero (pruning iterativo $\to$ fast fine-tune $\to$ valutazione) per costruire un dataset. Una funzione polinomiale approssima il Model Accuracy Predictor (MAP), che predice l'accuratezza finale di un modello prunato dato i rapporti di pruning dei layer di Attenzione ( $\tilde{m}_a$ ) e di Attivazione ( $\tilde{m}_g$ ). Ciò consente al sistema di trovare l'allocazione ottimale del budget di pruning tra i due tipi di layer.
Step 2: Rimozione dei Specifici Layer Ridondanti: Una volta allocato il budget, il metodo identifica i layer specifici da rimuovere all'interno di ciascun gruppo omogeneo (ad esempio, solo tra i layer di Attenzione). Utilizza parametri di importanza apprendibili e la propagazione del gradiente per classificare i layer, garantendo che non avvenga alcun confronto tra tipi diversi.

Fase 2: Ottimizzazione del Modello Prunato

Fine-tuning: Il modello prunato viene sottoposto a fine-tuning, opzionalmente utilizzando l'auto-distillazione guidata dal ViT originale non prunato per ripristinare l'accuratezza.
Merging (Fusione): Per risolvere la discrepanza dimensionale e accelerare l'inferenza, i layer Lineari adiacenti che sono stati separati da un layer di Attivazione prunato vengono fusi. Ad esempio, se un layer di Attivazione viene rimosso, $L_{l,1}$ e $L_{l,2}$ vengono fusi in un singolo layer lineare $L_l$ . Ciò riduce la profondità del modello mantenendo un rigoroso allineamento dimensionale.

HetDPT+: Gli autori integrano ulteriormente HetDPT con i metodi stabiliti di width pruning per creare HetDPT+, una pipeline per l'estrema compressione dei ViT che affronta sia le dimensioni di profondità che di larghezza.

3. Contributi Chiave

Pruning delle Funzioni di Attivazione: Il paper propone la prima strategia per rimuovere i layer di Funzione di Attivazione (GELU) nei ViT. Rimuovendo queste non-linearità, i layer Lineari adiacenti possono essere naturalmente fusi, risolvendo il problema della discrepanza dimensionale inerente al depth pruning eterogeneo.
Analisi dell'Eterogeneità e Soluzione: Gli autori rivelano e affrontano la disparità del gradiente e l'asimmetria del recupero. Introducono un framework in due fasi (HetDPT) dotato di un Model Accuracy Predictor (MAP) per gestire queste eterogeneità, supportato da un'analisi teorica che garantisce l'esistenza di una configurazione ottimale e la coerenza del predittore sotto fast-finetuning rumoroso.
Record dello Stato dell'Arte:
- Depth Pruning: HetDPT ottiene un'accelerazione di 1.58 $\times$ per DeiT-B e 1.39 $\times$ per DeiT-S con un'accuratezza quasi lossless, superando gli esistenti lavori di depth pruning.
- Compressione Estrema: HetDPT+ stabilisce un nuovo benchmark per l'estrema compressione dei ViT. Per la configurazione Isomorphic-Pruning-2.6G, aumenta il rapporto di accelerazione da 4.24 $\times$ a 5.19 $\times$ mantenendo un'accuratezza quasi lossless.

4. Risultati Sperimentali

Il metodo è stato valutato su ImageNet-1K, CIFAR-100, COCO e ADE20K.

Trade-off Accuratezza-Velocità: Su ImageNet-1K, HetDPT supera costantemente il pruning isolato dei layer di attenzione o di attivazione. Per DeiT-B, raggiunge l'81.8% di accuratezza Top-1 (eguagliando il baseline) con un'accelerazione di 1.58 $\times$ .
Confronto con SOTA: HetDPT+ supera i metodi di compressione estrema esistenti (ad esempio, Isomorphic Pruning, NViT). A circa l'81% di accuratezza, HetDPT+ raggiunge un'accelerazione di 5.19 $\times$ rispetto al 4.24 $\times$ di Isomorphic Pruning. In scenari ultra-estremi (1.1G MACs), raggiunge un'accelerazione di 9.19 $\times$ .
Trasferibilità: Il metodo dimostra una robusta capacità di transfer learning su CIFAR-100 e mantiene le prestazioni nei compiti di predizione densa (object detection su COCO e segmentazione semantica su ADE20K) con una degradazione minima dell'accuratezza.
Scalabilità: L'approccio scala a modelli con miliardi di parametri, come dimostrato su DINO-V2-Giant, dove rimuove 15 layer con solo uno 0.06% di calo dell'accuratezza.
Ortogonalità: HetDPT è ortogonale ai metodi di token pruning (ad esempio, GTP-ViT, ToMe), fornendo ulteriori accelerazioni quando combinato.

5. Significato e Rivendicazioni

Il paper afferma che il contributo primario è rendere più efficiente l'implementazione dei Vision Transformer affrontando le sfide strutturali e dinamiche specifiche del depth pruning.

Democratizzazione: Riducendo sostanzialmente i requisiti computazionali (fino a 9.19 $\times$ di accelerazione), il metodo rende i modelli di visione allo stato dell'arte accessibili a ricercatori e professionisti con risorse limitate.
Sostenibilità: La riduzione del consumo energetico nei modelli compressi contribuisce a uno sviluppo dell'IA più sostenibile dal punto di vista ambientale.
Implementazione su Edge: I guadagni di efficienza facilitano l'implementazione in tempo reale su dispositivi edge per applicazioni che richiedono bassa latenza, come la diagnostica medica e i sistemi autonomi.

Gli autori notano un limite: il Model Accuracy Predictor (MAP) è attualmente riadattato per ogni famiglia di architetture, e l'estensione del metodo ai modelli linguistici o ad altre modalità rimane un lavoro futuro. Tuttavia, il lavoro stabilisce una nuova base teorica e pratica per il depth pruning eterogeneo, andando oltre gli approcci "one-size-fits-all" della letteratura precedente.