Preserving Plasticity in Continual Learning via Dynamical Isometry

Sintesi Tecnica: Preservare la Plasticità nel Continual Learning tramite l'Isometria Dinamica

1. Definizione del Problema

Il continual learning nelle reti neurali profonde in condizioni non stazionarie soffre spesso di una progressiva perdita di plasticità. Questo fenomeno si manifesta come la diminuita capacità della rete di adattarsi a nuovi task, portando a una degradazione delle prestazioni su distribuzioni di dati successive. Sebbene esistano diversi modi di fallimento ben documentati — come i "ReLU morti", il primacy bias nell'apprendimento per rinforzo (RL) e la crescita delle norme dei pesi che causa paesaggi di perdita (loss landscapes) troppo ripidi — questi vengono spesso studiati isolatamente. Gli autori sostengono che il denominatore comune tra questi modi di fallimento sia un deterioramento dell'efficienza della discesa del gradiente nel aggiornare la rete in tutte le direzioni rilevanti dello spazio di output. Ciò è espresso matematicamente come un aumento dell'anisotropia (numero di condizionamento) del Neural Tangent Kernel (NTK) empirico.

2. Quadro Teorico

Il documento stabilisce una definizione funzionale di plasticità e la collega alla geometria della mappa parametro-funzione:

• Definzione di Plasticità: La plasticità è definita non solo come la capacità di minimizzare la perdita, ma come l'efficienza nell'eliminare l' "eccesso di perdita raggiungibile" (il divario tra la prestazione attuale e la perdita ottimale per la classe di funzioni) entro un budget di risorse fisso (es. passi di ottimizzazione).
• NTK e Anisotropia: Sotto la discesa del gradiente del primo ordine, il progresso locale è governato dal coefficiente di Rayleigh dell'NTK empirico. La plasticità task-agnostic richiede che l'NTK sia isotropo (proporzionale alla matrice identità) affinché la discesa del gradiente possa compiere progressi comparabili in tutte le direzioni dello spazio di output.
• L'Isometria Dinamica come Surrogato: L'isotropia esatta dell'NTK è irragagiungibile per reti finite. Tuttavia, gli autori propongono l'isometria dinamica come un surrogato trattabile e task-agnostic. Una rete è dinamicamente isometrica se i valori singolari dei Jacobiani input-output per livello rimangono concentrati vicino a uno. Ciò assicura che le perturbazioni si propaghino attraverso la rete senza espansione o contrazione sistematica, mantenendo lo spettro dell'NTK ben condizionato in attesa di un input isotropo.

3. Metodologia

Gli autori propongono un approccio multifasico per preservare l'isometria dinamica e, di conseguenza, la plasticità:

• Dimostrazione di Esistenza Architetturale: Il documento rivisita le reti GroupSort (specificamente le attivazioni MaxMin) combinate con strati lineari ortonormali. Queste reti sono dimostrate essere quasi ovunque (a.e.) isometriche. Nonostante siano isometriche, rimangono approssimatori universali di funzioni Lipschitziane, dimostrando che i vincoli di isometria stretta sono compatibili con rappresentazioni non lineari espressive.
• Regolarizzazione per Architetture Standard: Per le reti standard che utilizzano attivazioni elemento per elemento (es. ReLU) dove l'isometria esatta è impossibile, gli autori introducono un regolarizzatore promotore dell'isometria efficiente. Questa penalità spinge i valori singolari delle matrici di peso verso l'unità minimizzando la deviazione della norma di Frobenius della matrice di Gram ($W^\top W - I$ o $WW^\top - I$).
• Meccanismo di Rivitalizzazione dei ReLU: Un contributo originale è l'identificazione di un meccanismo attraverso il quale questo regolarizzatore riattiva le unità ReLU "morte". Poiché il regolarizzatore accoppia le righe delle matrici di peso per mantenere l'ortogonalità, il movimento dei neuroni attivi sotto la perdita del task induce una rotazione dei vettori di peso inattivi. Questo può spingere le unità precedentemente dormienti verso regioni di pre-attivazione positiva, rivitalizzandole efficacemente senza gradienti espliciti guidati dal task.
• Ottimizzatore AdamO: Per evitare la miscelazione dei gradienti del task e dei gradienti del regolarizzatore all'interno delle stime dei momenti adattivi (il che può portare a una ricalibrazione instabile), gli autori introducono AdamO. Analogamente a AdamW che decopplia il weight decay, AdamO decoppia il passo di regolarizzazione dell'isometria dall'aggiornamento del gradiente adattivo. Esso aggiorna i momenti di Adam utilizzando solo il gradiente del task, per poi applicare un passo separato per la penalità di isometria.

4. Risultati Sperimentali

I metodi proposti sono stati valutati attraverso benchmark di continual learning supervisionato e di apprendimento per rinforzo progettati per indurre la perdita di plasticità:

• Apprendimento Supervisionato: Su benchmark che includono la memorizzazione di etichette casuali (per testare la pura capacità di ottimizzazione), Permuted MNIST/CIFAR e Label-Shuffled CIFAR, i metodi degli autori (specificamente AdamO con ReLU o MaxMin) hanno costantemente eguagliato o superato i baseline esistenti come Normalize-and-Project (NaP), la regolarizzazione della norma spettrale e ReDo. I metodi hanno dimostrato una capacità superiore di mantenere l'accuratezza di addestramento e la generalizzazione su lunghe sequenze di task.
• Apprendimento per Rinforzo: In ambienti continui di MinAtar e Octax con permutazioni casuali dei canali e switch di task, gli approcci basati su AdamO hanno mantenuto prestazioni costanti su 20 cicli (1,2 miliardi di passi totali). Al contrario, i baseline standard di PPO hanno mostrato un significativo degrado delle prestazioni nel tempo.
• Diagnostica: Gli esperimenti hanno confermato che i metodi proposti mantengono con successo numeri di condizionamento più bassi, un rango effettivo dell'NTK più elevato e un'attività ReLU sostenuta rispetto ai baseline, validando il legame teorico tra isometria e plasticità.

5. Contributi Chiave

1. Definizione Funzionale di Plasticità: Una formalizzazione della plasticità in termini di geometria dell'NTK e dell'efficienza nell'eliminare l'eccesso di perdita raggiungibile.
2. L'Isometria Dinamica come Obiettivo: Identificazione dell'isometria dinamica per livello come un meccanismo task-agnostic e principi per preservare la plasticità.
3. Compatibilità con l'Espressività: Dimostrazione che le architetture quasi ovunque isometriche (GroupSort) sono approssimatori universali, risolvendo i dubbi sul fatto che i vincoli di isometria limitino la capacità del modello.
4. Strumenti Pratici di Addestramento:
   • Un regolarizzatore di isometria efficiente per architetture generali.
   • Un meccanismo che spiega e sfrutta la rivitalizzazione delle unità ReLU morte tramite vincoli di ortogonalità.
   • AdamO, un ottimizzatore decoppiato progettato specificamente per gestire la regolarizzazione dell'isometria senza corrompere le statistiche del gradiente adattivo.

6. Significato e Rivendicazioni

Il documento sostiene che preservare l'isometria dinamica fornisca una spiegazione geometrica unificata per vari fenomeni di perdita di plasticità e offra una soluzione robusta per il continual learning. Mantenendo la rete vicina al manifold isometrico, il sistema conserva la capacità di compiere progressi non triviali partendo dai parametri attuali, indipendentemente dall'obiettivo corrente.

Gli autori posizionano il loro lavoro come un ponte tra la teoria dell'inizializzazione (dove l'isometria è nota per favorire la propagazione del segnale) e il continual learning (dove la preservazione dell'isometria previene la perdita di plasticità). Notano con modestia che, sebbene i loro metodi superino gli approcci esistenti, non pretendono di risolvere tutti gli aspetti del continual learning (come il catastrophic forgetting, che distinguono dalla perdita di plasticità). Le direzioni future suggerite includono l'applicazione di questi principi ad agenti di deep reinforcement learning e modelli linguistici di grandi dimensioni, dove mantenere l'isometria potrebbe stabilizzare l'addestramento in architetture più profonde e migliorare l'adattamento continuo.