Riepilogo Tecnico: Condizionamento Vicario Intrinseco per l'Apprendimento per Rinforzo Profondo

Enunciato del Problema

L'Apprendimento per Rinforzo (RL) ha fatto progressi significativi grazie alla modellazione delle ricompense e ai metodi di apprendimento dalla dimostrazione (LfD). Tuttavia, questi approcci condividono una limitazione critica: richiedono tipicamente l'accesso alle rappresentazioni interne di un dimostratore esperto, alle traiettorie a livello di azione o alla conoscenza della loro funzione di ricompensa. Questa dipendenza diventa problematica in ambienti caratterizzati da ricompense estrinseche sparse e condizioni terminali catastrofiche (ad esempio, la morte dell'agente) che non forniscono alcun segnale di feedback. In tali scenari di "vita singola", gli agenti biologici imparano ad evitare il pericolo e a perseguire stati desiderabili osservando gli altri senza esperienza diretta, un processo noto come condizionamento vicario. I metodi RL attuali faticano a emulare questa capacità senza richiedere la politica o la funzione di ricompensa del dimostratore, costringendo gli agenti a fare affidamento su costose auto-esplorazioni o su dataset estesi.

Metodologia

Gli autori propongono il Condizionamento Vicario (VC) come meccanismo di ricompensa intrinseca che permette a un agente di imparare da poche dimostrazioni osservate senza accesso alla politica ($\pi_d$) o alla funzione di ricompensa ($r_d$) del dimostratore. Il metodo si fonda sul modello a quattro fasi dell'apprendimento osservativo di Bandura: Attenzione, Ritenzione, Riproduzione e Rinforzo.

1. Formulazione del Problema

L'ambiente è modellato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP). L'agente riceve una ricompensa composita $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$, dove $r_{ext}$ è la ricompensa ambientale sparsa e $r_{vic}$ è la ricompensa vicaria intrinseca.
L'agente osserva una traiettoria del dimostratore $\tau = (o^d_1, \dots, o^d_T, v_\tau)$, dove $v_\tau \in \mathbb{R}$ è un valore comunicato che indica la valenza dell'esito (positiva per l'avvicinamento, negativa per l'evitamento) e l'intensità. Crucialmente, l'agente non vede le azioni o gli stati interni del dimostratore.

2. Le Quattro Fasi dell'Implementazione

Gli autori implementano queste fasi utilizzando un'architettura di Rete Neurale con Memoria Potenziata Siamese (MANN).

• Attenzione: Un Codificatore Controllore (CE) condiviso, implementato come una rete Siamese Long Short-Term Memory (LSTM), mappa le sequenze di osservazioni (sia dal dimostratore che dall'agente) in embedding a dimensionalità fissa ($e_\tau$ ed $e_t$). Ciò garantisce che sequenze comportamentalmente simili producano embedding comparabili, indipendentemente dal fatto che originino dal dimostratore o dall'agente.
• Ritenzione: L'agente memorizza gli embedding del dimostratore insieme a un valore comunicato. Il valore vicario $V^{vic}$ è calcolato tramite sconto all'indietro dall'utilità dell'esito, modulato da un coefficiente di fiducia $k$. Questi embedding e valori vengono scritti in una matrice di memoria esterna $M_t$ utilizzando l'indirizzamento basato sul contenuto (accesso al meno recentemente usato). La MANN è addestrata tramite perdita di entropia incrociata per classificare la valenza (positiva/negativa) delle traiettorie memorizzate.
• Riproduzione: L'agente genera una ricompensa intrinseca confrontando il proprio embedding comportamentale corrente ($e_t$) con la memoria archiviata. Un Nucleo di Generalizzazione calcola la similarità (similarità del coseno) tra lo stato corrente e le memorie archiviate. Un livello di classificazione restituisce punteggi di confidenza ($p_t$) per ciascuna classe comportamentale. La ricompensa intrinseca $r_{vic}$ è aggregata da questi punteggi, filtrata da una soglia di inibizione ($\theta_{thr}$) per impedire che corrispondenze a bassa confidenza attivino ricompense.
  • Condizionamento Negativo: Se lo stato dell'agente assomiglia a una traiettoria di "evitamento" archiviata, riceve una ricompensa intrinseca negativa.
  • Condizionamento Positivo: Se lo stato dell'agente assomiglia a una traiettoria di "avvicinamento" archiviata, riceve una ricompensa intrinseca positiva.
• Rinforzo: La ricompensa intrinseca è combinata con la ricompensa estrinseca. L'agente ottimizza la politica per massimizzare il rendimento atteso di questo segnale composito. La ricompensa estrinseca prevale eventualmente se sorgono contraddizioni, garantendo che la politica rimanga ottimale per l'ambiente specifico.

Contributi Chiave

1. Formulazione Generale: Il documento fornisce un quadro formale RL per il condizionamento vicario, mappando esplicitamente le fasi biologiche di attenzione, ritenzione, riproduzione e rinforzo sui componenti della rete neurale.
2. Architettura Siamese con Memoria Potenziata: Gli autori progettano una MANN Siamese che abilita l'apprendimento a pochi colpi (low-shot). Condividendo il codificatore tra dimostratore e agente, il sistema garantisce che comportamenti simili producano embedding simili, permettendo all'agente di riconoscere e reagire alle proprie esperienze basandosi su poche dimostrazioni archiviate.
3. Meccanismi Specifici per Valenza: Il metodo introduce meccanismi distinti per il condizionamento negativo (evitamento) e positivo (avvicinamento), permettendo all'agente di imparare cosa evitare e cosa perseguire basandosi esclusivamente sui valori degli esiti comunicati.

Risultati Sperimentali

L'approccio è stato valutato in due ambienti: MiniWorld Sidewalk (test del condizionamento negativo/evitamento) e Box2D CarRacing (test del condizionamento positivo/avvicinamento e del condizionamento composito).

• MiniWorld Sidewalk: In un ambiente con una condizione terminale non descrittiva (la morte non genera ricompensa), il PPO standard ha raggiunto circa 117 passi. Il metodo VC con una soglia ottimale ($\theta_{thr} = 0.60$) ha superato significativamente la linea di base, raggiungendo 142,16 passi (ricompensa composita) e 139,96 passi (solo intrinseca). I risultati hanno dimostrato che il VC ha scoraggiato con successo l'agente dagli stati pericolosi (bordi del marciapiede) senza richiedere segnali di ricompensa espliciti per la morte.
• CarRacing:
  • VC Positivo: L'agente ha imparato a rimanere nella corsia centrale (comportamento dimostrato), raggiungendo quasi tre volte la lunghezza dell'episodio del PPO base (88,45 passi contro 33,27 passi). Sebbene ciò abbia portato a una ricompensa estrinseca inferiore (a causa di una guida conservativa rispetto alla visita aggressiva delle tessere), la ricompensa composita è stata significativamente più alta.
  • VC Negativo: Quando applicato a un compito di avvicinamento (evitare il bordo della pista), il condizionamento negativo ha performato peggio della linea di base, confermando la sensibilità del metodo alla valenza; i segnali di evitamento sono dannosi quando il compito richiede avvicinamento.
  • VC Composito: La combinazione di segnali positivi e negativi ha mostrato risultati misti, con alta varianza a soglie strette, suggerendo la necessità di una calibrazione attenta dei segnali di valenza.

Significato e Affermazioni

Gli autori affermano che questo lavoro colma il divario tra le capacità di apprendimento biologico e le attuali limitazioni del RL. Consentendo agli agenti di imparare da poche dimostrazioni osservate senza accesso a politiche, grandi dataset o funzioni di ricompensa, il condizionamento vicario offre un'alternativa cognitivamente plausibile per l'apprendimento in vita singola e l'apprendimento continuo.

Il documento sottolinea che questo paradigma è particolarmente adatto per ambienti reali vasti, parzialmente osservabili e pericolosi, dove un fallimento catastrofico non può essere appreso attraverso il diretto tentativo ed errore. Il metodo emula con successo il processo biologico in cui un agente apprende dagli esiti comunicati degli altri, permettendogli di evitare condizioni terminali catastrofiche e perseguire stati desiderabili con dati minimi. Gli autori riconoscono le limitazioni, come l'incapacità di distinguere comportamenti indistinguibili nello spazio delle caratteristiche e la mancanza di estinzione della memoria (una volta archiviato, un valore vicario persiste), ma sostengono che la fase di rinforzo permette eventualmente alle ricompense estrinseche di sovrascrivere il condizionamento intrinseco se necessario.