Riepilogo Tecnico: Indagine sulle Codifiche delle Azioni nelle Reti Neurali Ricorrenti nell'Apprendimento per Rinforzo

Enunciato del Problema

Il dispiegamento di agenti di apprendimento per rinforzo (RL) in ambienti reali, parzialmente osservabili, richiede la capacità di costruire e mantenere una rappresentazione dello stato che funga da statistica sufficiente del passato. Sebbene le Reti Neurali Ricorrenti (RNN) siano uno strumento standard per la modellazione delle dipendenze temporali, la loro applicazione nel RL comporta scelte progettuali critiche spesso trascurate nella letteratura. Nello specifico, il documento affronta la strategia utilizzata per incorporare le informazioni sulle azioni nella funzione di aggiornamento dello stato della RNN. Gli autori osservano che, sebbene l'azione svolga un ruolo fondamentale nella percezione e nella costruzione dello stato (citando Noë, 2004; Prinz, 1990; Clark, 2013), molte implementazioni RL esistenti omettono gli input relativi alle azioni o li incorporano tramite semplice concatenazione senza un'analisi rigorosa delle ramificazioni. Il problema centrale consiste nel determinare come il meccanismo di codifica dell'azione (additivo vs. moltiplicativo) influisca sulla capacità di un agente di prevedere le funzioni di valore e apprendere politiche di controllo nei Processi Decisionali di Markov Parzialmente Osservabili (POMDP).

Metodologia

Gli autori formalizzano l'interazione agente-ambiente come un POMDP e valutano varie architetture RNN progettate per aggiornare lo stato nascosto $s_t$ basandosi sull'osservazione $o_t$, sull'azione precedente $a_{t-1}$ e sullo stato precedente $s_{t-1}$. Lo studio si concentra su due categorie principali di incorporazione delle azioni:

1. Codifiche Additive:

   • Additiva Standard: L'embedding dell'azione viene concatenato al vettore di osservazione prima di essere elaborato dalla cella ricorrente (ad esempio, $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$).
   • Additiva Profonda: L'azione viene passata attraverso una rete neurale feed-forward ($f_a$) per creare un embedding prima della concatenazione con l'osservazione.

2. Codifiche Moltiplicative:

   • Moltiplicativa (Secondo Ordine): Ispirata alle RNN del secondo ordine, questo approccio utilizza un prodotto tensoriale per integrare l'osservazione, lo stato e l'azione. La regola di aggiornamento coinvolge un tensore di pesi $W$ e prodotti n-modali: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$.
   • Moltiplicativa Fattorizzata: Per mitigare l'alto numero di parametri degli aggiornamenti moltiplicativi a rango pieno, gli autori impiegano un'approssimazione a basso rango utilizzando la decomposizione Canonica Poliedrica (CP). Questo fattorizza il tensore in una somma di componenti di rango 1, riducendo i parametri pur cercando di mantenere i benefici dell'interazione moltiplicativa.

Gli esperimenti utilizzano sia RNN standard che Unità Ricorrenti Gate (GRU). Gli autori impiegano il TD(0) semi-gradiente off-policy per la previsione (utilizzando Funzioni di Valore Generali) e Q-learning con esplorazione $\epsilon$-greedy per il controllo. Per migliorare l'efficienza del campione, incorporano la Ripetizione dell'Esperienza (ER), memorizzando gli stati nascosti nel buffer di replay per inizializzare le sequenze durante il campionamento.

Configurazione Sperimentale

Gli autori valutano queste architetture in diversi domini illustrativi con tipi di osservazione e dinamiche variabili:

• Ring World: Un ambiente ciclico in cui l'agente deve tracciare la distanza da un bit attivo. Utilizzato per testare le capacità di previsione e la sensibilità alle lunghezze di truncamento.
• TMaze: Un classico ambiente a corridoio con un incrocio a T. Utilizzato per testare le capacità di controllo in cui la rilevanza dell'azione è bassa (solo le azioni Est/Ovest influenzano significativamente la posizione).
• TMaze Direzionale: Un TMaze modificato in cui l'orientamento dell'agente fa parte dello stato, rendendo l'azione critica per l'interpretazione delle osservazioni.
• TMaze Direzionale a Immagini: Un'estensione che utilizza osservazioni basate su pixel (cifre MNIST) per testare le prestazioni con estrattori di caratteristiche profondi.
• Lunar Lander: Una versione parzialmente osservabile dell'ambiente OpenAI Gym per testare le prestazioni in un contesto di controllo continuo con rumore dei sensori.

Risultati Chiave

La valutazione empirica produce diverse scoperte distinte riguardo all'efficacia delle codifiche delle azioni:

• Superiorità degli Aggiornamenti Moltiplicativi: In domini in cui le azioni influenzano criticamente le dinamiche sottostanti dello stato (ad esempio, Ring World, TMaze Direzionale, Lunar Lander), l'aggiornamento moltiplicativo supera costantemente le varianti additive e quelle senza azione. L'architettura moltiplicativa ottiene un Errore Quadratico Medio del Valore (RMSVE) inferiore nei compiti di previsione e tassi di successo più elevati nei compiti di controllo, richiedendo spesso lunghezze di truncamento ($\tau$) più brevi per apprendere efficacemente.
• Prestazioni Dipendenti dal Contesto: Nel TMaze standard, in cui la rilevanza dell'azione è limitata a transizioni specifiche, la variante moltiplicativa non supera rigorosamente gli altri metodi; in alcuni casi, le GRU standard senza input di azione hanno prestazioni comparabili o migliori. Ciò suggerisce che il beneficio della codifica complessa delle azioni è legato alla specifica dipendenza tra azioni e transizioni di stato.
• Efficienza dei Parametri: Sebbene gli aggiornamenti moltiplicativi a rango pieno abbiano significativamente più parametri rispetto a quelli additivi, le varianti moltiplicative fattorizzate (a basso rango) spesso raggiungono prestazioni comparabili con meno parametri, sebbene generalmente siano inferiori alla versione moltiplicativa a rango pieno.
• Analisi della Rappresentazione dello Stato: Le visualizzazioni T-SNE degli stati nascosti appresi rivelano che le celle moltiplicative raggruppano gli stati nascosti in base allo stato sottostante dell'ambiente in modo più efficace rispetto alle celle additive. Le celle additive tendono a segregare eccessivamente gli stati in base all'azione precedente, mentre le celle moltiplicative mantengono una rappresentazione più coerente dello stato dell'ambiente nonostante le variazioni di azione.
• Limiti dell'Additiva Profonda: La variante "Additiva Profonda", che apprende un embedding dell'azione, ha generalmente prestazioni simili o peggiori rispetto all'approccio additivo standard, suggerendo che l'apprendimento dell'embedding da zero non ha superato i limiti strutturali dell'aggiornamento additivo.

Significato e Affermazioni

Il documento afferma che la scelta di come incorporare l'azione nella funzione di aggiornamento dello stato è una decisione progettuale critica, spesso trascurata, che influisce significativamente sulle prestazioni degli agenti RL. Gli autori sostengono che:

1. Le Assunzioni dell'Apprendimento Supervisionato Potrebbero Non Trasferirsi: Architetture e scelte progettuali di successo nell'apprendimento supervisionato (come la semplice concatenazione) potrebbero non essere ottimali per l'impostazione RL, dove l'agente deve modellare la propria agency sul flusso di dati.
2. Le Interazioni Moltiplicative sono Benefiche: Per compiti che richiedono all'agente di tracciare come le azioni alterano lo stato (comune nel controllo parzialmente osservabile), gli aggiornamenti moltiplicativi forniscono un pregiudizio induttivo strutturale che facilita una migliore costruzione dello stato e un apprendimento più rapido.
3. Necessità di Architetture RL Specializzate: I risultati evidenziano un divario nella ricerca RL attuale, suggerendo che le RNN "chiavi in mano" provenienti da domini supervisionati sono insufficienti. Il documento invita a futuri lavori nello sviluppo di celle ricorrenti progettate specificamente per le sfide uniche della raccolta di dati online e attiva nel RL, come la gestione di lunghe dipendenze temporali senza affidarsi esclusivamente alla retropropagazione attraverso il tempo tronca (BPTT).

Gli autori concludono che, sebbene gli aggiornamenti moltiplicativi appaiano il "vincitore chiaro" nei domini testati, l'architettura ottimale è dipendente dal dominio, e i futuri sistemi potrebbero beneficiare di meccanismi in grado di apprendere o selezionare dinamicamente il pregiudizio strutturale appropriato.