Riepilogo Tecnico: Sulla Stabilità della Crescita nella Plasticità Strutturale

Enunciato del Problema

Le pipeline standard di deep learning fissano tipicamente l'architettura della rete prima dell'addestramento. Al contrario, la plasticità strutturale consente la modifica delle architetture di rete durante l'addestramento, principalmente attraverso due operatori: potatura (rimozione di capacità) e crescita (aggiunta di capacità). Mentre la potatura è ben consolidata e spesso collegata all'Ipotesi del Biglietto Vincente (LTH), la crescita è meno compresa. Il documento ipotizza che la crescita non sia semplicemente l'inverso della potatura. La potatura seleziona tra unità che hanno partecipato all'addestramento fin dall'inizializzazione, whereas la crescita inserisce nuove unità in una traiettoria di ottimizzazione già specializzata. Il problema centrale indagato è se le unità appena inserite possano integrarsi in modo stabile e sufficientemente rapido da supportare l'apprendimento adattivo e continuo, o se il processo di inserimento stesso introduca instabilità che ostacoli le prestazioni.

Metodologia

Gli autori valutano la plasticità strutturale sotto flussi di dati, ottimizzatori e obiettivi di compattezza corrispondenti, confrontando tre famiglie di modelli:

1. Dense: Nessuna sparsificazione.
2. Prune: Potatura iterativa per magnitudine (IMP) applicata a livelli mascherati, con i pesi sopravvissuti riportati a un checkpoint precedente (seguendo il protocollo LTH).
3. Grow: Parte da un seme sparso e attiva iterativamente unità basandosi su un euristica di punteggio (frequenza di attivazione o magnitudine del gradiente) fino al raggiungimento di una compattezza target. Crucialmente, Grow non riporta i pesi; studia l'inserimento tardivo di unità in una traiettoria matura.

La valutazione impiega due metriche distinte per separare la qualità del processo di modifica dalla qualità dell'architettura finale:

• Prestazioni del Ciclo: Accuratezza misurata durante la procedura online di modifica strutturale.
• Prestazioni del Biglietto Vincente (WT): Accuratezza misurata dopo aver congelato la maschera scoperta, reinizializzato i pesi e riaddestrato da zero.

Gli esperimenti coprono benchmark minimi di Multi-Layer Perceptron (MLP) (MNIST, Fashion-MNIST) e configurazioni più complesse di Reti Neurali Convoluzionali (ConvNet) (CIFAR-10, CIFAR-100). Lo studio indaga anche scenari di apprendimento continuo che coinvolgono l'accumulo sequenziale di classi e ripetuti spostamenti distribuzionali.

Per isolare i meccanismi del fallimento della crescita, gli autori introducono diverse interventi:

• Stato dell'Ottimizzatore: "Two-Speed" (scalare gli aggiornamenti per i parametri neonati) e "Moment Transplant" (copiare i buffer dell'ottimizzatore dalle unità incumbent).
• Inserimento: "Net2Wider" (allargamento che preserva la funzione).
• Selezione: "GradMax" (selezione delle unità basata sulla magnitudine del gradiente).
• Addestrabilità: "Rand. Smooth-Leaky" (una funzione di attivazione randomizzata e liscia progettata per preservare il flusso di gradiente non nullo).

Contributi e Risultati Chiave

1. L'Asimmetria tra Grow e Prune

Il documento dimostra che il divario di prestazioni tra crescita e potatura non è monolitico; dipende fortemente dalla complessità del regime di apprendimento delle rappresentazioni:

• Piccoli MLP: In contesti semplici (es. MNIST), Grow e Prune producono maschere riaddestrabili simili, senza un ordinamento coerente nell'accuratezza finale o nell'accuratezza media della traiettoria.
• Regimi Convoluzionali: In contesti più difficili (CIFAR-100), emerge una chiara asimmetria. Grow raggiunge un'accuratezza finale più elevata durante il ciclo di modifica strutturale (Prestazioni del Ciclo), ma produce maschere che, quando riaddestrate da zero, sono comparabili o leggermente peggiori di Prune. Al contrario, Prune spesso mantiene prestazioni medie della traiettoria più forti durante il processo di modifica e produce sottoreti che si riaddestrano in modo robusto.

2. Il Fenomeno "Attivo in Avanti, Affamato all'Indietro"

Una scoperta meccanicistica fondamentale è che le unità neonate negli scenari di crescita soffrono di un collo di bottiglia specifico di integrazione:

• Partecipazione in Avanti: Le unità neonate sono attive immediatamente dopo l'inserimento; partecipano al calcolo in avanti e non sono unità "morte".
• Svantaggio all'Indietro: Nonostante siano attive in avanti, le unità neonate ricevono segnali di gradiente (credito all'indietro) significativamente più deboli rispetto alle unità incumbent. Questa "affamamento all'indietro" persiste per tutto il ciclo di addestramento, impedendo alle nuove unità di integrarsi efficacemente nella traiettoria di ottimizzazione.
• Implicazione: Lo svantaggio della crescita è un problema a livello di processo relativo a quando e come le unità vengono inserite, piuttosto che a un'incapacità fondamentale di scoprire architetture sparse utili.

3. Interventi e Integrazione

Lo studio testa vari interventi per alleviare il collo di bottiglia dell'integrazione:

• Stato dell'Ottimizzatore: "Moment Transplant" (copiare gli stati dell'ottimizzatore) mostra qualche promessa, mentre "Two-Speed" (accelerare gli aggiornamenti) è meno affidabile.
• Funzioni di Attivazione: La funzione di attivazione Rand. Smooth-Leaky si rivela la più efficace. Migliora l'addestrabilità delle unità neonate garantendo un migliore flusso di gradiente, potenziando significativamente le Prestazioni del Ciclo dei metodi Grow, in particolare negli scenari di apprendimento continuo.
• Selezione e Inserimento: Cambiare l'euristica di selezione (GradMax) o utilizzare un inserimento che preserva la funzione (Net2Wider) non elimina il problema dell'affamamento all'indietro.

4. Apprendimento Continuo e Sensibilità Temporale

Nei benchmark di apprendimento continuo che stressano la perdita di plasticità (es. MNIST Permutato, compiti con Etichette Casuali):

• Prune rimane la baseline più affidabile perché preserva la capacità matura.
• Grow è competitivo solo quando alle nuove unità viene dato tempo sufficiente per integrarsi prima del successivo spostamento distribuzionale.
• La combinazione di Grow + Rand. Smooth-Leaky diventa la variante di crescita più robusta, riducendo il divario con Prune e superandolo in contesti con finestre di integrazione più lunghe (es. Split-CIFAR100).

Significato e Affermazioni

Il documento sostiene che la crescita strutturale non dovrebbe essere valutata esclusivamente come un operatore di ricerca architetturale (cioè, trova una buona maschera finale?), ma come un processo di ottimizzazione sensibile al tempo. Il successo della crescita dipende criticamente dalla stabilità dell'inserimento—la capacità delle unità neonate di integrarsi rapidamente in una traiettoria di ottimizzazione matura.

Gli autori affermano che il limite principale della crescita non è la scoperta di architetture sparse, ma gli "svantaggi al momento della nascita" affrontati dalle nuove unità:

1. Shock Funzionale: Perturbazione della mappatura appresa.
2. Avvio a Freddo: Mancanza di stato accumulato dell'ottimizzatore.
3. Segnale di Apprendimento Debole: Credito di gradiente sproporzionatamente basso rispetto agli incumbent.

Il documento conclude che migliorare l'addestrabilità e l'integrazione precoce delle unità neonate (ad esempio, attraverso la progettazione della funzione di attivazione) può rendere la crescita un'alternativa valida alla potatura, in particolare nei sistemi di apprendimento adattivo e continuo. Tuttavia, ciò richiede di riconoscere che il "processo adattivo" e l'"architettura finale riaddestrabile" sono oggetti di valutazione distinti, e che la crescita spesso eccelle nel primo mentre rimane indietro nel secondo, a meno che non vengano impiegati meccanismi specifici di integrazione.