Sintesi Tecnica: Neuroevoluzione a Due Scale Temporali Provabilmente Sublineare con Plasticità Online

Definizione del Problema

La Neuroevoluzione (NE), in particolare algoritmi come il NeuroEvolution of Augmenting Topologies (NEAT), è un metodo consolidato per ottimizzare le architetture e i pesi delle reti neurali senza l'uso del gradiente discendente. Tuttavia, gli approcci NE standard affrontano due limitazioni primarie nei compiti di controllo continuo complessi:

1. Scalabilità in Alta Dimensione: La pura NE si affida alle perturbazioni basate sulla mutazione per l'ottimizzazione dei pesi in spazi ad alta dimensione. Ciò spesso porta a assegnazioni di fitness deboli, dinamiche di ottimizzazione instabili e convergenza prematura.
2. Mancanza di Adattamento Online: La maggior parte degli algoritmi NE è "offline", ovvero evolvono una popolazione su un compito e fissano la policy al momento del deployment. Questo è inadeguato per ambienti che richiedono un adattamento in tempo reale a interazioni sequenziali e condizioni non stazionarie.

Sebbene esistano metodi ibridi che combinano la neuroevoluzione con l'apprendimento online, le loro proprietà teoriche, specificamente riguardo ai limiti di regret (regret bounds), rimangono ampiamente inesplorate. Le analisi teoriche esistenti si concentrano sull'ottimizzazione discreta o sull'analisi del runtime della ricerca dell'architettura, ma non affrontano la neuroevoluzione con apprendimento online in spazi di ricerca continui.

Metodologia: Il Framework NEOL

Il documento introduce la NeuroEvolutionary Online Learning (NEOL), un framework generale che decouple l'apprendimento in due distinte scale temporali:

1. Ciclo Esterno (Ricerca dell'Architettura): Un processo evolutivo ricerca le topologie di rete ottimali (genomi). Questo ciclo opera su una scala temporale più lenta, selezionando le architetture in base alla fitness.
2. Ciclo Interno (Adattamento dei Pesi Online): All'interno di un singolo episodio (rollout), l'architettura selezionata adatta i propri pesi online tramite plasticità modulata dal reward. Questo ciclo opera su una scala temporale più veloce, permettendo all'agente di apprendere dai feedback immediati dell'interazione senza retropropagare i gradienti attraverso il tempo.

Componenti Chiave

• Regole di Plasticità: Il ciclo interno utilizza regole di apprendimento locali, motivate biologicamente e regolate da segnali di reward:
  • Ebbiano Modulata dal Reward: Rafforza le sinapsi basandosi sull'attività correlata pre- e post-sinaptica scalata dal reward.
  • Oja Modulata dal Reward: Aggiunge un feedback negativo dipendente dall'attività per prevenire la divergenza, offrendo un'interpretazione basata sulle componenti principali.
  • BCM Modulata dal Reward: Introduce una soglia mobile per separare la depressione dalla potenziamento, supportando selettività e omeostasi.
• Meccanismo di Selezione: Per la trattabilità teorica, la selezione del ciclo esterno è modellata come un aggiornamento a pesi esponenziali (simile all'algoritmo Hedge) su un insieme finito di architetture candidate, piuttosto che su meccanismi specifici di NEAT come la speciazione o l'explicit fitness sharing.
• Decoupling (Disaccoppiamento): A differenza della NEAT standard, che muta sia la topologia che i pesi offline, NEOL mantiene i pesi fissi durante la variazione evolutiva, ma permette loro di adattarsi durante il rollout di valutazione tramite plasticità. Il reward cumulativo di questi rollout adattati determina la fitness per la generazione successiva.

Contributi Chiave

1. Primo Analisi del Regret per NEOL: Il documento fornisce la prima analisi formale del regret per un framework generale di NeuroEvolutionary Online Learning. Sotto deboli assunzioni (spazio delle architetture finito, reward limitati e aggiornamenti sinaptici locali limitati), gli autori dimostrano che NEOL raggiunge un regret sublineare di $O(\sqrt{T})$. Ciò implica che la performance media dell'algoritmo converge asintoticamente alla policy ottimale all'interno dell'insieme dei candidati.
2. Implementazione NEAT-NEOL: Viene proposta un'implementazione pratica che integra NEAT per l'evoluzione strutturale con le suddette regole di plasticità per l'adattamento dei pesi online.
3. Validazione Empirica: Sono stati condotti estesi esperimenti su quattro benchmark di controllo standard (CartPole, Lunar Lander, Hopper e Bipedal Walker) sotto budget di interazione fissi.

Risultati Sperimentali

L'implementazione NEAT-NEOL è stata confrontata con la NEAT standard e con forti baseline di Reinforcement Learning (RL) (PPO e SAC).

• vs. NEAT Standard: NEAT-NEOL ha costantemente raggiunto una fitness finale più elevata e una varianza minore nei compiti di controllo continuo più complessi (Lunar Lander, Hopper, Bipedal Walker). La significatività statistica è stata confermata tramite test di Wilcoxon rank-sum ($p < 0.05$).
• vs. Baseline RL:
  • Su CartPole e Lunar Lander, NEAT-NEOL ha superato PPO e SAC, ottenendo una fitness superiore con una varianza minore sotto lo stesso budget di interazione ($10^7$ step).
  • Su Hopper e Bipedal Walker, PPO e SAC sono rimasti superiori, sebbene NEAT-NEOL sia stato più competitivo rispetto a PPO rispetto a quanto lo fosse la NEAT standard.
• Studi di Ablazione: Disabilitare la componente di plasticità online (creando "NEAT w/o") ha portato a una performance mediana significativamente inferiore e a una varianza più alta nei compiti continui, confermando che il miglioramento deriva specificamente dall'adattamento dei pesi online.

Significato e Rivendicazioni

Il documento sostiene che l'integrazione della plasticità online nella neuroevoluzione offre un meccanismo robusto per migliorare l'efficienza campionaria e la stabilità in ambienti interattivi.

• Significato Teorico: Il limite di regret sublineare ($O(\sqrt{T})$) fornisce una base teorica rigorosa per i metodi ibridi di apprendimento evolutivo-online, dimostrando che la combinazione di ricerca strutturale e adattamento locale dei pesi è teoricamente solida.
• Significato Pratico: I risultati suggeriscono che la plasticità online consente agli agenti neuroevolutivi di adattarsi durante la loro "vita" (durante un rollout), portando a dinamiche di apprendimento più affidabili e a una migliore performance in compiti che richiedono un rapido adattamento.
• Limitazioni: Gli autori riconoscono che l'analisi teorica si basa su specifiche assunzioni, come la selezione a pesi esponenziali per il ciclo esterno e specifiche regole di plasticità locale (Hebb, Oja, BCM). L'analisi non si estende ancora a classi più ampie di algoritmi di selezione o a regole di plasticità non locali più complesse. Inoltre, la robustezza empirica in ambienti altamente complessi e non stazionari oltre i benchmark testati rimane una questione aperta.

In sintesi, il documento stabilisce che la neuroevoluzione a due scale temporali, quando aumentata con la plasticità modulata dal reward, è un approccio teoricamente fondato ed empiricamente efficace per il controllo continuo, colmando il divario tra la ricerca evolutiva e l'apprendimento online.