Sintesi Tecnica: Plasticità Sensibile al Contesto e Regolata dall'Evidenza per l'Apprendimento Multi-Obiettivo in Reti Neurali Spiking

Definizione del Problema

Le reti neurali spiking (SNN) di ispirazione biologica offrono un quadro per modellare il comportamento adattivo, tuttavia faticano con l'apprendimento continuo multi-obiettivo. Nelle architetture di rete condivise, gli aggiornamenti sinaptici guidati da diversi obiettivi di navigazione possono interferire tra loro. Nello specifico, quando una rete impara a navigare verso più obiettivi utilizzando la standard plasticità spike-timing dependent (STDP/RL) online mediata dal reward, gli aggiornamenti associati a un target spesso degradano le politiche precedentemente apprese per altri target. Questa interferenza si manifesta come "attrazione verso il target errato", dove un agente naviga verso obiettivi incorretti dopo l'addestramento, e le prestazioni crollano quando la plasticità online viene disabilitata. La sfida centrale è sviluppare un meccanismo di apprendimento che permetta a una SNN di acquisire e mantenere molteplici politiche di navigazione distinte all'interno di un substrato sinaptico condiviso senza interferenze catastrofiche.

Metodologia

Architettura del Modello

Gli autori hanno sviluppato un modello di navigazione spiking a ciclo chiuso ispirato alla circolazione entorinale-ippocampale, implementato in Python utilizzando l'ambiente di simulazione NEURON/NetPyNE. L'architettura include:

• Rappresentazione Spaziale: Popolazioni simili a cellule grid ($E_{Grid}$) e cellule di luogo ($E_{Place}$) che codificano la posizione attuale dell'agente.
• Rappresentazione del Target: Popolazioni analoghe ($EV_{Grid}$, $EV_{Place}$) che codificano la posizione del goal attivo.
• Strato di Associazione: Popolazioni eccitatorie specifiche per l'azione ($E_{AN}, E_{AS}, E_{AE}, E_{AW}$) che integrano il contesto spaziale e del target.
• Output Motore: Popolazioni ($E_{MN}, E_{MS}, E_{ME}, E_{MW}$) che guidano il movimento nelle quattro direzioni cardinali.
• Inibizione: Popolazioni inibitorie a scarica rapida (fast-spiking) e a bassa soglia per regolare l'eccitabilità.
• Plasticità: Limitata alle proiezioni eccitatorie dallo strato di associazione allo strato motorio ($E_A \to E_M$).

Regole di Apprendimento

Lo studio ha confrontato tre regimi di apprendimento:

1. STDP/RL Standard Mediata dal Reward: Una regola di apprendimento online in cui le tracce di eleggibilità (generate dal timing pre-post spike entro 100ms) vengono immediatamente convertite in cambiamenti di peso sinaptico basati su un segnale di reward scalare.
2. Plasticità Globale Sensibile all'Evidenza (EGP): Un meccanismo a due fasi che separa la generazione rapida di candidati dal consolidamento più lento.
   • FASE DI TRAIN: Le modifiche sinaptiche candidate si accumulano in un deposito transitorio di proposte ($P$) ma non alterano immediatamente la matrice dei pesi duratura ($W$).
   • FASE DI TEST: La rete valuta il comportamento utilizzando i pesi proposti. Il consolidamento avviene solo se il reward del TEST supera il reward del TRAIN, quantificato tramite un segnale di miglioramento del reward normalizzato ($x$).
   • Una funzione sigmoide rettificata controlla l'evidenza, assicurando che solo l'evidenza positiva rafforzi i pesi.
3. EGP Sensibile al Contesto del Target: Una variante di EGP progettata per prevenire l'interferenza tra gli obiettivi.
   • Invece di un singolo deposito di proposte globale, vengono mantenuti buffer di proposta separati ($P^{(k)}$) e stime del reward per ogni contesto di target attivo ($k$).
   • Gli aggiornamenti candidati vengono accumulati e valutati indipendentemente per ogni target prima di essere consolidati nella matrice dei pesi duratura condivisa.
   • Un meccanismo di ponderazione basato sul "bisogno" aumenta la pressione di consolidamento per i target con prestazioni inferiori.

Protocolli Sperimentali

• Ambiente: Un'arena quadrata 2D (100x100 pixel) con posizioni di partenza randomizzate.
• Task:
  • Single-Target: Imparare a raggiungere un target centrale (50,50).
  • Multi-Target: Imparare sequenzialmente a raggiungere cinque target (quattro quadranti e uno centrale) per 800 episodi per target.
  • Valutazione: Le prestazioni sono state misurate tramite hit del target, reward cumulativo e matrici di confusione del tempo di permanenza (analizzando il tempo trascorso vicino ai target corretti rispetto a quelli errati). Le simulazioni includono una valutazione post-apprendimento con la plasticità disabilitata per testare la ritenzione.

Contributi Chiave

1. Dimostrazione dell'Interferenza: Il paper dimostra empiricamente che la STDP/RL online standard, pur essendo capace di apprendere politiche di navigazione a target singolo, fallisce nel mantenere robustamente molteplici politiche in una SNN condivisa, portando a una significativa interferenza tra i target e alla degradazione delle prestazioni quando la plasticità viene disabilitata.
2. Plasticità Sensibile all'Evidenza (EGP): Gli autori introducono una regola di apprendimento a tempi multipli che scinde la generazione di candidati sinaptici dal loro consolidamento. Accumulando le proposte e valutandole rispetto all'evidenza comportamentale successiva, l'EGP filtra gli aggiornamenti destabilizzanti.
3. Gating del Contesto del Target: Il contributo innovativo della Target-Context EGP è il mantenimento di separati depositi di proposte e dell'assegnazione del credito per diversi obiettivi. Questo meccanismo previene esplicitamente la miscelazione degli aggiornamenti candidati da contesti di navigazione conflittuali prima del consolidamento.
4. Plausibilità Biologica: Il framework astrae meccanismi biologici come il tagging e la cattura sinaptica (synaptic tagging and capture), il replay e il gating dipendente dal contesto in un modello computazionale adatto alle SNN, collegando le regole di plasticità locale ai processi di consolidamento più lenti.

Risultati

Apprendimento a Target Singolo

La STDP/RL standard ha appreso con successo una politica di navigazione a target singolo. La rete ha acquisito un comportamento orientato all'obiettivo e le prestazioni sono rimaste stabili dopo la disabilitazione della plasticità, confermando che la politica era memorizzata nei pesi sinaptici.

Apprendimento Multi-Target con STDP/RL

Quando addestrata su più target, la STDP/RL standard ha mostrato un apprendimento iniziale ma ha sofferto di una grave interferenza:

• Le prestazioni variavano significativamente tra i target.
• Dopo la disabilitazione della plasticità, le prestazioni sono declinate e gli agenti hanno mostrato attrazione verso i target errati (presenza di valori fuori diagonale nelle matrici di confusione).
• Il substrato sinaptico condiviso non riusciva a separare chiaramente le politiche.

Prestazioni delle Varianti EGP

• Global EGP vs. Target-Context EGP: Attraverso 10 seed di connettività, la Target-Context EGP ha superato significativamente la Global EGP.
  • Reward di Fase Tarda: La Target-Context EGP ha raggiunto un reward cumulativo più elevato nelle fasi finali dell'apprendimento.
  • Prestazioni del Target più Debole: Il reward minimo tra i target è migliorato significativamente, indicando un apprendimento più bilanciato.
  • Tasso di Successo: La frazione di target che raggiunge un reward positivo è aumentata da circa il 50% (Global) a circa l'82% (Target-Context).
• Riduzione dell'Interferenza: Le matrici di confusione del tempo di permanenza hanno rivelato che la Target-Context EGP ha drasticamente ridotto l' "attrazione verso il target errato". Il rapporto tra il tempo di permanenza sul target corretto e quello sul target errato è aumentato da circa 12 (STDP/RL) a circa 31 (Target-Context EGP).
• Dinamiche a Lungo Termine: In simulazioni estese (2000 episodi), la Target-Context EGP ha mostrato aumenti progressivi del reward per tutti i target. L'entità delle proposte sinaptiche accumulate è cresciuta nel tempo e il sistema ha consolidato con successo politiche stabili e selettive per il target, che generalizzano attraverso posizioni di partenza casuali.

Significato e Rivendicazioni

Il paper sostiene che, sebbene le SNN di ispirazione biologica possano apprendere comportamenti orientati agli obiettivi usando la plasticità locale, l'apprendimento robusto multi-obiettivo richiede meccanismi che preservino l'assegnazione del credito specifica per il contesto durante il consolidamento.

Gli autori argomentano che:

1. L'interferenza è il collo di bottiglia primario: La plasticità online standard fallisce nelle impostazioni multi-obiettivo perché gli aggiornamenti per un obiettivo sovrascrivono o confliggono con quelli per un altro.
2. La separazione delle scale temporali è critica: Separando la rapida generazione di candidati (TRAIN) dal consolidamento basato sull'evidenza (TEST), la rete può valutare l'utilità dei cambiamenti sinaptici prima di impegnarli, imitando la stabilizzazione della memoria biologica.
3. Il contesto è essenziale: Mantenere separati i depositi di proposta per diversi obiettivi (Target-Context EGP) è necessario per ridurre l'interferenza, permettendo a una rete condivisa di apprendere politiche distinte senza un dimenticanza catastrofica.
4. Rilevanza Biologica: I risultati supportano l'ipotesi che la plasticità a tempi multipli e con gating del contesto sia un componente fondamentale dell'apprendimento continuo nei sistemi biologici, astrando concetti come il tagging e la cattura sinaptica in un algoritmo di apprendimento funzionale per le reti spiking.

Lo studio conclude che la Target-Context EGP fornisce un meccanismo biologicamente motivato per ridurre l'interferenza nell'apprendimento per rinforzo continuo, consentendo ai circuiti di navigazione spiking di apprendere e mantenere efficacemente molteplici obiettivi.