Sintesi Tecnica: Generalizzazione dell'Architettura con MetaNCA

Definizione del Problema

Gli attuali paradigmi di deep learning si affidano pesantemente alla backpropagation e all'ottimizzazione basata sul gradiente, il che presenta limitazioni significative riguardanti il consumo di memoria, la rigidità architettonica e l'efficienza dei dati. I sistemi biologici, al contrario, sviluppano una complessa circuitazione neurale attraverso interazioni locali e auto-organizzazione, governate da regole generalizzate codificate in un genoma che è ordini di grandezza più piccolo della circuitazione risultante.

Gli approoli esistenti tentano di colmare questo divario ma affrontano vincoli specifici:

• Hypernetworks: generano tipicamente pesi globalmente per architetture target fisse, mancando di una vera interazione locale.
• Metodi basati sulla plasticità: offrono aggiornamenti locali ma spesso faticano a generalizzare su architetture non viste.
• Neural Cellular Automata (NCA) e programmi di sviluppo (es. HyperNCA) possono generare parametri tramite regole locali ma operano spesso su griglie fisse o crescono la topologia da zero, piuttosto che generare pesi per una distribuzione di architetture pre-specificate e diverse.

Esiste una mancanza di metodi che combinino aggiornamenti dei pesi puramente locali su un grafo computazionale con un addestramento end-to-end su una distribuzione di architetture.

Metodologia: MetaNCA

Gli autori introducono Meta Neural Cellular Automata (MetaNCA), un framework che apprende una singola regola locale per auto-organizzare i pesi di reti neurali artificiali.

Meccanismo Core

MetaNCA tratta i pesi di una rete di task come "pixel" su una "griglia" basata su grafi. Una separata rete di regola locale $R$ aggiorna iterativamente i pesi ($w$) e gli stati nascosti associati ($\vec{h}$) di una rete di task utilizzando solo informazioni locali dal grafo computazionale.

• Vicinato Locale: Per ogni peso $w$, l'input per la rete di regola consiste nei suoi vicini forward (pesi post-sinaptici) e nei suoi vicini backward (pesi pre-sinaptici), insieme ai loro corrispondenti stati nascosti.
• Processo Iterativo: Il sistema aggiorna i pesi per $T=10$ timestep. La rete di task è aggiornata esclusivamente dagli output della regola locale, mentre la rete di regola stessa è addestrata tramite backpropagation through time (BPTT).

Architettura: Weight Transformer

Per aggregare i segnali dai vicini, gli autori propongono una nuova architettura Weight Transformer per la rete di regola locale:

1. Attenzione Lineare: La rete utilizza l'attenzione lineare con una mappa di caratteristiche basata su ELU ($\psi(x) = \text{ELU}(x) + 1$) per aggregare pesi e stati nascosti dai vicinati forward e backward. Ciò evita la materializzazione della matrice di attenzione completa, garantendo una scalabilità lineare con il numero di vicini.
2. Codifica Posizionale Rotatoria: Matrici di rotazione dipendenti dalla posizione sono applicate a query e chiavi per codificare l'informazione strutturale (indice del layer, indici dei neuroni, posizioni dei kernel).
3. Vettore di Percezione: L'output del meccanismo di attenzione (segnale forward $a_f$ e segnale backward $a_b$) viene concatenato con il peso corrente e lo stato nascosto per formare un vettore di percezione: $v_{perception} = [w, \vec{h}, a_f, a_b]$.
4. Regola di Aggiornamento: Una rete feedforward (MLP) elabora questo vettore per produrre aggiornamenti $\Delta w$ e $\Delta \vec{h}$.

Strategia di Addestramento

• Meta-Training: La rete di regola locale è addestrata su un piccolo set di architetture di task network (2–5 configurazioni).
• Obiettivo di Generalizzazione: La regola deve generare parametri validi per diverse architetture (variabilità di larghezza dei layer, dimensioni dei kernel e conteggio dei canali) simultaneamente. Questo forza la regola a imparare strategie di sviluppo generalizzate piuttosto che memorizzare configurazioni specifiche.
• Aggiornamenti Stocastici: Per simulare gli aggiornamenti biologici asincroni, la regola viene applicata stocasticamente all'80% dei pesi per step.

Contributi Chiave

1. Prima Regola Locale Cross-Architettura: MetaNCA è il primo metodo capace di apprendere una singola regola locale in grado di auto-organizzare i pesi attraverso una distribuzione di architetture non viste con milioni di parametri.
2. Weight Transformer: L'introduzione di un meccanismo di attenzione lineare progettato specificamente per aggregare i segnali di vicinato su un grafo computazionale per la generazione dei pesi.
3. Generalizzazione dell'Architettura: Dimostrata capacità di generare pesi per MLP Feedforward, CNN e ResNet senza backpropagation sulla rete di task stessa.
4. Compressione: Il framework funge da metodo di distillazione dell'architettura-flessibile, comprimendo il processo di addestramento di molteplici reti grandi in un singolo, piccolo network di regola (es. compressione di 16x per reti da 2M di parametri).

Risultati Sperimentali

Gli autori hanno valutato MetaNCA su MNIST e CIFAR-100 attraverso tre famiglie di architetture:

• Dense MLPs (MNIST): Addestrata su 3–5 architetture, la regola si è generalizzata a larghezze di layer non viste. Con 5 architetture di addestramento, ha raggiunto un'accuratezza $\ge 90\%$ nella maggior parte delle configurazioni, incluse quelle con layer piccoli che precedentemente performavano male.
• Reti Convoluzionali (MNIST): Addestrata su sole due architetture (kernel size 3 e 5), la regola ha raggiunto fino al 97% di accuratezza su dimensioni di kernel non viste (es. dimensione 4), con una degradazione delle prestazioni che avviene in modo grazioso man mano che le configurazioni si allontanano dai dati di addestramento.
• ResNets (CIFAR-100): Addestrata su due larghezze di base dei canali ($c=16, 20$), la regola si è generalizzata ad architetture vicine, raggiungendo il 29,9% di accuratezza. Le prestazioni sono scese significativamente per architetture con capacità minore ($c \le 14$), indicando che la regola ha appreso dinamiche specifiche per un certo intervallo di capacità.
• Confronto con i Baseline: Su MNIST, le reti generate da MetaNCA eguagliano i baseline addestrati con Adam (97% vs 96,9%). Su CIFAR-100, MetaNCA (29,9%) resta indietro rispetto ai baseline addestrati con Adam (41–42%), sebbene gli autori notino che questo divario potrebbe essere ridotto con più architetture di addestramento o ottimizzazione degli iperparametri.
• Struttura dei Pesi: I pesi generati da MetaNCA hanno mostrato simmetria e una maggiore sparsità rispetto ai pesi addestrati con Adam, nonostante il raggiungimento di un'accuratezza simile.

Significato e Rivendicazioni

Il paper sostiene che MetaNCA dimostra che le regole di auto-organizzazione locale possono effettivamente generare parametri di reti neurali attraverso diverse architetture senza coordinazione globale. Spostando il focus dalla scalabilità dei dettagli specifici del modello all'apprendimento delle regole che li generano, MetaNA offre una via verso modelli più flessibili, comprimibili e adattabili.

Gli autori sottolineano che:

• La regola locale apprende un attrattore verso configurazioni di pesi ad alte prestazioni partendo da un'inizializzazione casuale.
• La rete di regola funge da descrizione compressa del processo di generazione, capace di decomprimersi in reti di varie dimensioni.
• La diversità architettonica nella fase di addestramento è critica; aumentare il numero di architetture di addestramento migliora la copertura della generalizzazione.

Limitazioni e Lavori Futuri

Gli autori notano con modestia che la generalizzazione è più forte nell'intervallo di capacità coperto dalle architetture di addestramento e degrada per reti significativamente più piccole o più grandi. Inoltre, sebbene la definizione di vicinato sia generale, l'istanza per nuove famiglie di architetture (es. specifiche topologie convoluzionali) richiede comunque la mappatura della definizione a tale famiglia.

I lavori futuri mirano a:

• Condizionare la regola locale direttamente sui segnali dei dati (attivazioni e valori di perdita) per migliorare la generalizzazione a nuovi task.
• Esplorare il MetaNCA multi-task, dove una singola regola genera reti per più task simultaneamente (una capacità già dimostrata in test preliminari).
• Addestrare una singola regola attraverso più famiglie di architetture distinte anziché una regola per ogni famiglia.