Riepilogo Tecnico: Reti Grow-Prune-Freeze per la Navigazione Olfattiva

Enunciato del Problema

Il documento affronta la sfida di addestrare agenti robotici per la navigazione olfattiva, un compito caratterizzato da segnali sparsi e intermittenti, ambienti non stazionari e una mancanza di dataset standardizzati su larga scala (a differenza della visione o del linguaggio). Le architetture tradizionali di deep learning sono statiche e si basano su dataset massicci pre-raccolti, rendendole inadatte alla robotica del "mondo reale", dove gli agenti devono adattarsi in tempo reale a pattern molecolari in evoluzione e a pennacchi turbolenti. Inoltre, gli approcci standard di apprendimento continuo soffrono spesso di dimenticanza catastrofica (perdita di conoscenze pregresse) o di perdita di plasticità (incapacità di apprendere nuovi compiti), specialmente in ambienti parzialmente osservabili dove l'agente deve inferire il contesto da una storia sensoriale limitata.

Metodologia: Framework Grow-Prune-Freeze (GPF)

Gli autori propongono le reti Grow-Prune-Freeze (GPF), un framework adattivo che modifica dinamicamente l'architettura di una rete neurale durante l'esecuzione in base alla complessità ambientale e alle prestazioni di apprendimento. Il framework integra tre meccanismi fondamentali:

1. Crescita (Growing): La rete inizia con un singolo strato nascosto. Nuovi strati vengono aggiunti solo quando la perdita di validazione stagna (supera una soglia di pazienza $\rho_k$ senza miglioramento), permettendo al modello di aumentare la capacità man mano che la complessità del compito (ad esempio, la turbolenza del pennacchio) lo richiede.
2. Potatura (Pruning): Per mantenere l'efficienza e prevenire la sovrapparametrizzazione, la rete pota i neuroni "morbidi". Viene assegnato un valore di credenza ($h \in [0, 1)$) a ogni neurone, che incrementa quando la sua magnitudine dei pesi o la sua attivazione rimangono costantemente elevate. I neuroni con bassi valori di credenza e pesi ridotti vengono rimossi. Questo si basa sulla potatura basata sulla magnitudine (LeCun et al., 1989) ma è potenziato dai valori di credenza per proteggere pattern sparsi ma rilevanti.
3. Congelamento (Freezing): Per prevenire la dimenticanza catastrofica, gli strati che si stabilizzano (i pesi cambiano minimamente durante un periodo di pazienza $\rho_f$) vengono congelati. Questo preserva le dinamiche temporali apprese dai primi incontri, permettendo agli strati più recenti di rimanere plastici.

Fondamenti Teorici

La metodologia si basa sulla Teoria delle Matrici Casuali Non Lineari (RMT). Gli autori estendono il lavoro di Pennington & Worah (2017), che ha stabilito l'invarianza spettrale per reti a singolo strato nascosto, ai modelli di apprendimento continuo a $n$ strati.

• Dimostrano che, man mano che gli strati vengono aggiunti, la composizione degli autovalori dei pesi della rete viene preservata.
• Congelando gli strati stabili, il framework garantisce che la distribuzione spettrale della matrice di Gram mantenga la sua forma ideale (distribuzione di Marchenko-Pastur), assicurando isometria dinamica e una propagazione stabile del gradiente anche all'aumentare della profondità della rete.
• L'analisi teorica (Teorema 1) dimostra che, sotto ipotesi di omogeneità degli strati, la trasformata di Stieltjes della distribuzione spettrale empirica converge a un punto fisso unico, garantendo stabilità durante un adattamento indefinito.

Politica e Addestramento

Il framework GPF viene valutato utilizzando Expected SARSA, un algoritmo di apprendimento a differenza temporale scelto per la sua robustezza in ambienti parzialmente osservabili con ricompense sparse (rispetto al Q-learning greedy). L'agente opera in un pennacchio odoroso turbolento simulato utilizzando un modello a filamenti di Farrell–Murlis. Lo spazio degli stati è discretizzato in 392 stati unici basati su bin di concentrazione bilaterale delle antenne e ottanti della direzione del vento.

Contributi Chiave

1. Framework Adattivo: Un nuovo framework basato sulla RMT per agenti di apprendimento per rinforzo adattivi in ambienti parzialmente osservabili e non stazionari. Combina crescita, potatura e congelamento per bilanciare plasticità e stabilità.
2. Estensione Teorica: Un'estensione del lavoro di Pennington & Worah (2017) e Martin & Mahoney (2021) per dimostrare che l'invarianza spettrale degli autovalori vale per reti multistrato che crescono indefinitamente, fornendo una base teorica per l'apprendimento continuo efficiente in termini di risorse.
3. Criteri di Sintonizzazione: Criteri specifici per stabilizzare l'apprendimento continuo, inclusi variabili di pazienza per la crescita degli strati ($\rho_k$), la potatura ($\rho_p$) e il congelamento ($\rho_f$), insieme a un meccanismo di valore di credenza per l'indurimento dei neuroni.
4. Validazione Empirica: Dimostrazione che le GPF raggiungono alti tassi di successo nella navigazione olfattiva e prove di generalizzazione ad altri domini (Atari, CIFAR-10, GPT-2).

Risultati Sperimentali

Navigazione Olfattiva (Compito Primario)

• Prestazioni: L'agente GPF ha raggiunto un tasso di successo del 98% sulla distribuzione di addestramento e del 94% sui trial trattenuti attraverso diverse inizializzazioni casuali.
• Evoluzione dell'Architettura: La rete è iniziata con uno strato ed è cresciuta fino a quattro strati attraverso tre eventi di crescita.
  • Dopo il primo passaggio di crescita-potatura, la rete ha mantenuto il 47,9% dei pesi.
  • I passaggi successivi sono stati più aggressivi, mantenendo rispettivamente il 19,6% e il 9,9% dei pesi, risultando in un'architettura a quattro strati altamente sparsa.
• Confronto: L'agente GPF ha superato significativamente una linea di base statica (singolo strato nascosto) e ha mostrato una stabilità superiore rispetto agli agenti Q-learning, che hanno faticato con ricompense sparse e pennacchi non stazionari.

Esperimenti di Generalizzazione

Gli autori hanno testato le GPF su tre compiti aggiuntivi per dimostrare la generalizzabilità, sebbene dichiarino esplicitamente di non rivendicare prestazioni all'avanguardia su tutti i benchmark:

• Classificazione di Immagini (CIFAR-10): I modelli GPF hanno mostrato una convergenza della perdita di validazione più stabile rispetto alle linee di base statiche, con spettri di autovalori aderenti alla distribuzione di Marchenko-Pastur.
• Apprendimento per Rinforzo (Atari - Ms. Pacman): Gli agenti GPF hanno mostrato una minore volatilità nelle ricompense di validazione rispetto alle politiche statiche.
• Modellazione del Linguaggio (GPT-2 su TinyShakespeare): La variante GPF ha raggiunto una convergenza costante e ha smesso di crescere dopo aver raggiunto un numero massimo di strati, mentre la linea di base statica ha mostrato una perdita volatile.

Significato e Affermazioni

Il documento afferma che le reti GPF offrono una soluzione pratica per l'apprendimento robotico deployabile al bordo (edge-deployable), dove i dati sono scarsi e gli ambienti sono dinamici. Fondando l'architettura sulla RMT, gli autori forniscono un meccanismo affinché gli agenti allocino la capacità rappresentativa solo dove i segnali ambientali sono complessi, preservando al contempo le conoscenze apprese attraverso il congelamento.

Gli autori sono modesti nelle loro affermazioni, notando che:

• La motivazione primaria e la validazione riguardano la robotica olfattiva, una modalità priva di benchmark standardizzati.
• I risultati di generalizzazione (Atari, CIFAR, GPT-2) sono presentati come prove a supporto del potenziale del framework, non come benchmark definitivi all'avanguardia.
• È necessario un lavoro futuro per validare le GPF su una gamma più ampia di compiti e per integrarle con l'apprendimento federato e simulatori di fluidodinamica computazionale (CFD) più complessi.

Il lavoro conclude che le GPF affrontano con successo la "perdita di plasticità" identificata nella letteratura recente (Dohare et al., 2024) permettendo agli agenti di crescere, potare e congelarsi in risposta ai dati in tempo reale, offrendo una via verso sistemi di apprendimento continuo veramente adattivi per la robotica.