Riepilogo Tecnico: ConvNeXt Slimmable

Enunciato del Problema

Il dispiegamento di modelli di visione su dispositivi con vincoli di risorse eterogenei, o su un singolo dispositivo dove la disponibilità computazionale fluttua a causa dello stato della batteria, del thermal throttling o di scadenze di latenza, richiede tipicamente l'addestramento e il mantenimento di modelli separati per ciascuna piattaforma target. Questo approccio è costoso e poco pratico per ambienti dinamici. Sebbene l'inferenza adattiva alla larghezza offra una soluzione addestrando un unico insieme di pesi condivisi contenente molteplici sottoreti nidificate, gli approcci precedenti affrontano limitazioni architetturali specifiche:

• CNN Classiche: Metodi come Slimmable Networks e US-Nets richiedono una normalizzazione di batch commutabile per mantenere statistiche di esecuzione separate per diverse larghezze di canale, aggiungendo complessità e parametri.
• Vision Transformers (ViT): Metodi scalabili recenti (ad es. HydraViT, MatFormer) si basano su meccanismi di attenzione che impongono vincoli strutturali su come le sottoreti possono essere estratte (ad es. eliminando le testate di attenzione in multipli della dimensione della testata o mantenendo intere le dimensioni di embedding), limitando la granularità e l'ambito della scalabilità.

Metodologia

Il documento propone Slimmable ConvNeXt, la prima applicazione del ridimensionamento della larghezza dei canali alla famiglia di architetture ConvNeXt. Il metodo sfrutta scelte progettuali specifiche intrinseche a ConvNeXt per semplificare la pipeline di addestramento e migliorare l'efficienza.

Progettazione Architetturale

Ogni blocco ConvNeXt è assegnato a un rapporto di ridimensionamento $p \in (0, 1]$, che determina la frazione di canali attivi.

• Taglio dei Canali: Tutti i tensori di pesi all'interno di un blocco (convoluzione depthwise, convoluzioni pointwise e parametri LayerNorm) vengono tagliati per mantenere solo i primi $\lfloor p \cdot C \rfloor$ canali.
• Colli di Bottiglia Invertiti: Il livello di espansione intermedio (espansione 4$\times$) viene anch'esso tagliato a $4 \cdot \lfloor p \cdot C \rfloor$, preservando il rapporto di espansione.
• Gestione delle Residui: Quando un blocco ridimensionato produce meno canali rispetto al suo input, l'output viene riempito di zeri (zero-padded) per corrispondere alla dimensione originale prima di aggiungere la connessione residua. Questo evita di introdurre parametri di proiezione aggiuntivi.
• Normalizzazione: A differenza delle CNN slimmable classiche, ConvNeXt utilizza LayerNorm invece della normalizzazione di batch. LayerNorm calcola le statistiche per campione e slice di canale, permettendogli di adattarsi naturalmente a qualsiasi numero di canali senza richiedere livelli di normalizzazione commutabili o statistiche di esecuzione separate.

Procedura di Addestramento

Il modello viene addestrato utilizzando una procedura di addestramento congiunto con larghezze alternanti:

1. Selezione Stocastica: Viene definito un insieme di liste $p$ (che definiscono il rapporto di ridimensionamento per ogni blocco). Durante l'addestramento, una lista $p$ viene selezionata casualmente per ogni batch.
2. Pesi Condivisi: Tutte le sottoreti condividono gli stessi pesi. Una sottorete con rapporto $p < 1$ utilizza un sottoinsieme stretto dei parametri utilizzati a $p=1$.
3. Ottimizzazione: Il modello subisce passaggi forward-backward standard attraverso la sottorete selezionata. Questa alternanza stocastica è analoga all'addestramento tail-drop in HydraViT ma applicato alle dimensioni dei canali.
4. AutoSlim (Opzionale): Per ottimizzare larghezze non uniformi per blocco, il documento indaga AutoSlim. Questa ricerca greedy inizia con larghezze uniformi e riduce iterativamente il rapporto del blocco meno importante (basato sul calo di accuratezza sulla convalida) fino a raggiungere un rapporto medio target. Questo preserva tipicamente fasi iniziali e finali più ampie mentre ridimensiona aggressivamente le fasi intermedie.

Contributi Chiave

1. Idoneità dell'Architettura: Gli autori dimostrano che la progettazione di ConvNeXt, in particolare l'uso di LayerNorm e colli di bottiglia invertiti, lo rende un candidato ideale per il ridimensionamento adattivo alla larghezza. Questo elimina il sovraccarico della normalizzazione di batch commutabile richiesto dagli approcci CNN precedenti ed evita i vincoli strutturali dei metodi ViT basati su attenzione.
2. Pipeline Semplificata: L'approccio produce una pipeline di addestramento più semplice rispetto ai metodi slimmable CNN e ViT precedenti, non richiedendo normalizzazione commutabile, distillazione della conoscenza o regole di addestramento "sandwich".
3. Prestazioni: Il metodo raggiunge un'accuratezza allo stato dell'arte su un'ampia gamma di budget computazionali su ImageNet-1k, superando sia i baseline basati su ViT che le CNN classiche.

Risultati Sperimentali

Gli autori hanno valutato Slimmable ConvNeXt su ImageNet-1k su tre dimensioni di modello: ConvNeXt-Tiny (T), Small (S) e Base (B). Tutti i modelli sono stati addestrati da zero per 600 epoche.

ConvNeXt-Tiny (3 Sottoreti)

• Capacità Piena (4.5 GMACs): 80.8% di accuratezza top-1.
• Metà Capacità (1.2 GMACs): 77.4% di accuratezza top-1.
• Confronto: Supera la sottorete a 6 testate di HydraViT (78.4% a 4.6 GMACs) di 2.4 punti percentuali e la sua configurazione a 3 testate (73.0% a 1.3 GMACs) di 4.4 punti percentuali. Supera anche MatFormer-S e SortedNet-S a GMACs comparabili.

ConvNeXt-Base (4 Sottoreti)

• Capacità Piena (15.4 GMACs): 82.8% di accuratezza top-1.
• Metà Capacità (4.0 GMACs): 81.6% di accuratezza top-1.
• Confronto: A metà capacità, raggiunge l'81.6% con 4.0 GMACs, superando l'80.2% di HydraViT a 4.6 GMACs (13% in meno di operazioni). Copre un intervallo computazionale da 1.1 a 15.4 GMACs da un unico insieme di pesi, mentre MatFormer è limitato a circa metà-capacità piena.

Scalabilità e Robustezza

• Degradazione Elegante: I modelli più grandi (ConvNeXt-B) mostrano una degradazione più elegante sotto ridimensionamento rispetto ai modelli più piccoli (ConvNeXt-T), mantenendo il 98.7% della loro accuratezza a capacità piena a metà capacità.
• Numero di Sottoreti: Aumentare il numero di sottoreti (ad es. da 3 a 5) porta generalmente a rendimenti decrescenti o lievi cali di accuratezza per i modelli più piccoli, ma ConvNeXt-B rimane robusto, con 4 sottoreti che migliorano effettivamente l'accuratezza di picco.
• AutoSlim: AutoSlim fornisce miglioramenti modesti a basse capacità (ad es. +1.0% a un quarto di capacità per ConvNeXt-T) ma offre benefici marginali o leggermente negativi a capacità piena, probabilmente a causa della strategia di zero-padding nelle connessioni residue.

Significato e Affermazioni

Il documento afferma che Slimmable ConvNeXt fornisce un modello unico ed elastico capace di adattare dinamicamente il proprio costo computazionale al momento dell'inferenza per corrispondere a budget di risorse variabili. Questo abilita scenari di dispiegamento in cui un unico modello può servire una flotta eterogenea di dispositivi o adattarsi a vincoli di runtime (batteria, termici, latenza) senza ricaricare i pesi.

Gli autori sottolineano che la combinazione di LayerNorm (eliminando la normalizzazione commutabile) e colli di bottiglia invertiti (facilitando il taglio diretto dei parametri) permette a ConvNeXt di raggiungere un'accuratezza superiore rispetto ai baseline allo stato dell'arte in quasi ogni punto operativo, mantenendo al contempo la semplicità e la compatibilità hardware delle architetture convoluzionali. Il lavoro suggerisce che per scenari di dispiegamento che richiedono capacità ridotta, iniziare da un modello base più grande e ridimensionare aggressivamente può produrre risultati migliori rispetto all'addestramento di un modello più piccolo a larghezza piena.