Sintesi Tecnica: LEAP - Efficienza nel salto dei layer tramite progressione adattiva per la distillazione di Vision Transformer

Definizione del Problema

I modelli fondativi per la visione (VFM) basati su Vision Transformer (ViT), come DINOv2, hanno raggiunto prestazioni allo stato dell'arte ma possiedono un numero massiccio di parametri (ad esempio, ViT-Giant con 2 miliardi di parametri) che li rende impraticabili per l'implementazione su dispositivi edge. La Distillazione della Conoscenza (KD) è la soluzione standard per comprimere questi modelli "insegnante" in modelli "studente" compatti. Tuttavia, la KD basata sulle feature affronta un fondamentale gap insegnante-studente: la capacità rappresentativa limitata dello studente e il suo spazio di feature a basso rango faticano a imitare le complesse mappe di feature ad alta dimensionalità di un insegnante profondo (ad esempio, un ViT-G a 40 layer) in un unico passaggio.

Le strategie esistenti per colmare questo gap, come il matching dei layer intermedi (ad esempio, PKD) o i proiettori di feature (ad esempio, ViTKD), si affidano spesso a programmazi di mappatura statici. Questi approcci costringono lo studente ad allinearsi con le complesse feature dei layer profondi sin dall'inizio dell'addestramento o richiedono una selezione manuale arbitraria dei layer. Questo approccio "tutto in una volta" non tiene conto della capacità in evoluzione dello studente, portando a un addestramento instabile e a una convergenza lenta, particolarmente quando vi è un significativo disallineamento dimensionale tra insegnante e studente.

Metodologia: LEAP

Gli autori propongono LEAP (Layer-skipping Efficiency via Adaptive Progression), un curriculum di addestramento progettato per mitigare il gap insegnante-studente introducendo una progressione "dal facile al difficile".

Insight Centrale: Similitudine Spostata

Attraverso un'analisi della similitudine per layer utilizzando l'Allineamento Kernel Centrato (CKA), gli autori hanno osservato uno spostamento temporale durante l'addestramento di base:

• Nelle prime epoche di addestramento, la mappa di feature finale dello studente esibisce una maggiore similitudine con i layer intermedi superficiali dell'insegnante.
• Man mano che l'addestramento procede, il picco di similitudine si sposta gradualmente verso i layer più profondi dell'insegnante.
  Ciò suggerisce che i layer superficiali sono target "più facili" per lo studente inizialmente, mentre i layer profondi rappresentano astrazioni semantiche più complesse che richiedono una rappresentazione fondamentale per essere apprese.

Il Curriculum Adattivo

Inveve di un target fisso, LEAP tratta le mappe di feature intermedie dell'insegnante come una sequenza di target progressivamente più difficili. Il curriculum avanza sulla base di una soglia di similitudine CKA online ($\tau$):

1. Inizializzazione: Lo studente inizia imitando il primo blocco ViT dell'insegnante.
2. Progressione Adattiva: Il sistema monitora la similitudine CKA tra la feature terminale dello studente e l'attuale blocco target dell'insegnante ($T_m$).
3. Transizione: Il curriculum avanza al blocco successivo dell'insegnante ($T_{m+1}$) solo quando il punteggio di similitudine raggiunge la soglia prestabilita $\tau$ (o viene raggiunto un limite di pazienza).
4. Efficienza: Questo meccanismo consente l'arresto anticipato dell'inferenza dell'insegnante nelle fasi iniziali, poiché i layer più profondi dell'insegnante non vengono computati finché lo studente non è pronto a impararli.

La funzione di perdita minimizza l'Errore Quadratico Medio (MSE) tra le feature finali dello studente e l'attuale target dell'insegnante, allineate tramite un singolo proiettore lineare.

Contributi Chiave

1. Curriculum LEAP: Un nuovo curriculum di salto dei layer per la distillazione di ViT basata sulle feature che elimina la necessità di assegnazione manuale dei layer o selezione delle feature intermedie. Seleziona dinamicamente il target "pi più facile" in ogni fase basandosi su metriche di similitudine.
2. Robustezza e Analisi: Un'analisi approfondita della robustezza del curriculum attraverso diverse capacità dello studente (ViT-Small, ViT-Tiny) e scale di dataset (ImageNet-100, ImageNet-1K). Gli autori verificano che i modelli distillati mantengono la versatilità in compiti di livello immagine, livello istanza e livello pixel.
3. Guadagni di Efficienza: La progressione adattiva consente risparmi significativi nel costo computazionale (FLOPs) e nel tempo di addestramento (wall-clock time) ritardando l'inferenza dei layer profondi dell'insegnante.

Risultati Sperimentali

ImageNet-100 (Ablation e Tuning)

• Accuratezza: Il ViT-S distillato con LEAP ha raggiunto il 90,1% di accuratezza di linear probing, un miglioramento di +12,24% rispetto al baseline. Il ViT-Tiny è passato dal 75,90% all'81,76%.
• Efficienza: Il curriculum ha ridotto i FLOP di addestramento del 25,1% (ViT-S) e del 28,8% (ViT-Tiny), e ha ridotto il tempo di addestramento rispettivamente del 21% e del 22,5%, tramite l'arresto anticipato dell'inferenza dell'insegnante.
• Robustezza: I miglioramenti nell'accuratezza "clean" si sono tradotti in robustezza out-of-distribution su mini-ImageNet-C.

Compiti Downstream (ImageNet-100)

• Retrieval di Istanze: Sui dataset Oxford e Paris, il ViT-S distillato con LEAP ha mostrato guadagni sostanziali nella mean Average Precision (mAP), migliorando del 7,75% su Paris e del 3,84% su Oxford rispetto ai baseline.
• Segmentazione Semantica: Su ADE20K, LEAP ha migliorato significativamente la mIoU in tutti i protocolli (Linear Segmentation, EOMT, Multi-Scale). Per ViT-S, la mIoU è aumentata dal 12,15% al 20,53% nella Linear Segmentation e dal 24,49% al 38,10% nella EOMT.

ImageNet-1K (Scalabilità)

• Retrieval: LEAP ha mantenuto prestazioni forti, ottenendo un miglioramento del mAP del 7,75% sul dataset Paris e del 3,84% su Oxford.
• Classificazione e Segmentazione: Sulla classificazione su larga scala (linear probing) e sulla segmentazione, LEAP ha ottenuto risultati competitivi, riducendo il divario con i baseline. Gli autori attribuiscono la mancanza di guadagni massicci nella classificazione globale al "tetto della capacità architettonica" dei modelli studenti compatti su questo dataset.
• Efficienza: Sebbene i risparmi siano stati più modesti a questa scala (riduzione FLOP dell'11,51% per ViT-Tiny), il metodo ha preservato l'integrità delle feature, come dimostrato dai guadagni nel retrieval.

Studi di Ablazione

• Progressivo vs. Statico: LEAP ha superato tutte le strategie di supervisione statica a singolo layer, confermando che il beneficio deriva dalla progressione strutturata piuttosto che da un singolo layer "ottimale".
• vs. Allineamento Denso: Quando confrontato con un allineamento denso uno-a-uno (utilizzando 12 proiettori), LEAP (utilizzando un solo proiettore) ha ottenuto prestazioni quasi identiche (83,36% vs. 83,38% di linear probing), dimostrando un'alta efficienza strutturale.

Significato e Rivendicazioni

Il paper sostiene che LEAP fornisce un percorso di apprendimento strutturato che accelera la convergenza e migliora l'allineamento finale delle feature rispettando la capacità in evoluzione dello studente. Trattando lo spazio rappresentativo dell'insegnante come un curriculum piuttosto che come un target statico, LEAP:

1. Accelera la Convergenza: Gli studenti stabiliscono una base stabile prima di affrontare astrazioni di alto livello.
2. Riduce il Costo Computazionale: L'arresto anticipato dell'inferenza dell'insegnante riduce significativamente i FLOP di addestramento e il tempo.
3. Migliora la Versatilità: I modelli distillati mantengono la capacità di adattarsi a diversi compiti downstream (segmentazione, retrieval, classificazione) senza fine-tuning specifico del compito durante il processo di distillazione.

Gli autori riconoscono i limiti, specificamente la necessità di un insegnante "white-box" con feature intermedie accessibili e il potenziale di un tuning sub-ottimale degli iperparametri (soglia CKA) su dataset di grandi dimensioni. Il lavoro futuro è suggerito per la distillazione cross-architettura (ad esempio, da Transformer a CNN) e scenari multimodali.