Cortex and subcortex play distinct roles over learning when cortical memory is limited

Sintesi Tecnica: Ruoli Corticali e Subcorticali nell'Apprendimento sotto Vincoli di Memoria

Problema
Il documento affronta il compromesso computazionale tra l'elaborazione corticale ad alta potenza e ad alto consumo di risorse (associata al ragionamento flessibile, basato su modelli o model-based) e i processi subcorticali, meno costosi e automatici (associati all'apprendimento model-free). Sebbene si ipotizzi che il cervello integri questi sistemi per l'efficienza delle risorse, gli attuali framework teorici spesso non vincolano esplicitamente le risorse di memoria del modulo model-based (MB). In molti ambienti complessi, il numero di probabilità di transizione tra stati supera la capacità di memoria delle funzioni di pensiero di ordine superiore. Gli autori investigano come un apprendente MB, esplicitamente vincolato da una capacità di memoria limitata, debba allocare le proprie risorse quando apprende insieme a un apprendente model-free (MF). Nello specifico, indagano se il sistema MB debba dare priorità al tracciamento delle transizioni direttamente associate alle ricompense correnti o a strutture ambientali più ampie.

Metodologia
Gli autori propongono un framework teorico utilizzando un ambiente strutturato ad albero con transizioni nondeterministiche.

• Ambiente: Un albero regolare con profondità $d$, dove un agente parte da uno stato radice $s_0$ e si muove verso stati foglia. I premi (ricompense) sono assegnati solo agli stati foglia. L'ambiente è diviso in due fasi: Fase 1 (schema di ricompensa fisso) e Fase 2 (schema di ricompensa spostato).
• Apprendenti:
  • Model-Free (MF): Utilizza una regola stile SARSA(0) con un aggiornamento di propagazione all'indietro, consentendo la propagazione immediata della ricompensa attraverso l'albero senza parametri aggiuntivi come $\lambda$.
  • Model-Based (MB): Utilizza la programmazione dinamica per calcolare i valori Q basati sulle probabilità di transizione stimate $\hat{P}$. Fondamentalmente, l'apprendente MB è vincolato da una capacità di memoria $m$, che limita il numero di archi (transizioni) che può tracciare e stimare.
• Strategie di Allocazione della Memoria: Lo studio valuta due distinte strategie per selezionare quali archi tracciare entro il limite di memoria $m$:
  1. MAXREWARD: Prioritizza gli archi associati alla ricompensa (quelli sulle traiettorie che portano a un valore positivo), utilizzando la prossimità alla radice come criterio di parità (tie-breaker).
  2. MAXREACH: Prioritizza gli archi più vicini allo stato radice ($s_0$), indipendentemente dall'associazione immediata con la ricompensa, per massimizzare la capacità di navigare verso stati obiettivo arbitrari.
• Valutazione: La performance è misurata tramite la ricompensa media ricevuta durante gli episodi. Lo studio introduce inoltre una metrica di "coerenza" per confrontare le strategie ipotizzate con i dati generati, permettendo un'analisi fine delle scelte d'azione a specifici livelli dell'albero.

Risultati Chiave

• Compromesso tra Ambienti Statici e Dinamici:
  • Nella Fase 1 (ricompensa stabile), MAXREWARD generalmente supera o eguaglia MAXREACH perché si concentra sulle risorse per sfruttare l'attuale struttura di ricompensa.
  • Nella Fase 2 (dopo lo spostamento della posizione della ricompensa), MAXREACH dimostra un vantaggio significativo. Poiché traccia la struttura generale vicino alla radice, conserva la conoscenza delle probabilità di transizione che diventano rilevanti quando la ricompensa si sposta. MAXREWARD, avendo scartato gli archi non legati alla ricompensa nella Fase 1, deve riapprendere queste transizioni, con conseguente calo temporaneo delle prestazioni.
• Effetti della Capacità di Memoria: Quando la capacità di memoria $m$ è sufficientemente alta, entrambe le strategie convergono nelle prestazioni. Tuttavia, sotto vincoli rigorosi, la scelta della strategia determina l'adattabilità dell'agente agli ambienti non stazionari.
• Firme di Coerenza: L'analisi della coerenza della strategia rivela una distinta firma temporale. Confrontando i dati di un agente MAXREACH contro l'ipotesi MAXREWARD (e viceversa), la coerenza dell'azione del primo stadio (livello radice) scende drasticamente immediatamente dopo lo spostamento della ricompensa nella Fase 2, per poi recuperare gradualmente. Ciò fornisce una firma specifica e testabile per distinguere tra i due modi di apprendimento.

Significatività e Rivendicazioni
Il documento rivendica di fornire una base teorica per una dissociazione funzionale tra i sistemi corticali e subcorticali durante l'apprendimento:

1. Specializzazione Funzionale: Gli autori propongono che la corteccia (MB) supporti l'apprendimento della struttura ambientale generale (MAXREACH), mentre i circuiti subcorticali (MF) si specializzano nell'apprendimento basato sulla ricompensa.
2. Plausibilità Neurobiologica: Questo framework offre una spiegazione del perché le aree corticali ricevano proiezioni dopaminergiche più sparse rispetto allo striato. Se la corteccia si concentra sull'apprendimento strutturale indipendente dalla ricompensa immediata, richiede meno segnalazione diretta della ricompensa rispetto al sistema MF, che si affida a esperienze di ricompensa ripetute per aggiornare i valori.
3. Testabilità Sperimentale: Gli autori dettagliano un metodo per testare queste ipotesi utilizzando dati sperimentali. Misurando la coerenza delle azioni di un animale con le strategie MAXREWARD o MAXREACH, i ricercatori possono identificare se il soggetto sta dando priorità allo sfruttamento della ricompensa o all'apprendimento strutturale, osservando in particolare il "calo" specifico di coerenza al livello della radice a seguito dei cambiamenti ambientali.
4. Implicazioni per l'IA: Il lavoro suggerisce che sistemi di IA efficienti potrebbero beneficiare di architetture simili, vincolate dalle risorse, dove un modulo di pianificazione ad alto costo si concentra sulla struttura generale mentre un modulo a basso costo gestisce l'ottimizzazione della ricompensa immediata.

Gli autori rimangono modesti, riconoscendo che il loro modello attuale utilizza un ambiente semplificato (toy environment) e metodi tabulari. Notano che i lavori futuri dovrebbero esplorare modelli parametrici, l'integrazione di segnali più complessi e i meccanismi per il passaggio del controllo dal MB al MF man mano che i compiti vengono padroneggiati.