Riepilogo Tecnico: Apprendimento per Rinforzo in Streaming sotto Parziale Osservabilità con Apprendimento Ricorrente in Tempo Reale

Enunciato del Problema

L'Apprendimento per Rinforzo (RL) in Streaming è un paradigma di apprendimento online in cui un agente aggiorna la propria politica o funzione valore da ciascun campione in arrivo immediatamente, senza mantenere un buffer di replay o utilizzare aggiornamenti in batch. Sebbene lavori recenti abbiano scalato con successo l'RL in streaming all'approssimazione di funzioni profonde in ambienti completamente osservabili utilizzando tracce di eleggibilità, estendere ciò a ambienti parzialmente osservabili (POMDP) è rimasto una sfida aperta.

Negli ambienti parzialmente osservabili, gli agenti devono fare affidamento su architetture ricorrenti per mantenere uno stato nascosto che catturi il contesto storico. Tuttavia, i metodi standard di apprendimento ricorrente affrontano un compromesso nell'impostazione in streaming:

1. Backpropagation Through Time Troncata (TBPTT): In un'impostazione di aggiornamento su singolo campione, la TBPTT collassa in un orizzonte di un passo (TBPTT(1)). Ciò fornisce solo un gradiente di un passo, che è insufficiente per l'assegnazione del credito su dipendenze temporali lunghe.
2. Apprendimento Ricorrente in Tempo Reale (RTRL): L'RTRL mantiene i gradienti in modalità forward in modo incrementale, rendendolo teoricamente ideale per lo streaming. Tuttavia, per architetture ricorrenti generali (come GRU o LSTM), l'RTRL ha una complessità computazionale proibitiva, che scala quarticamente ($O(n^4)$) con la dimensione nascosta $n$.

Il documento affronta il divario tra la necessità di un'assegnazione del credito a lungo orizzonte nei POMDP e i vincoli computazionali degli aggiornamenti in streaming.

Metodologia

Il metodo proposto integra Unità di Traccia Ricorrente (RTU) con RTRL esatto negli algoritmi di RL in streaming esistenti.

Architettura Principale: Unità di Traccia Ricorrente (RTU)

Le RTU sono un'architettura ricorrente diagonale a valori complessi. A differenza delle unità ricorrenti generali, un livello RTU è definito da:
$$h_t = \Lambda h_{t-1} + W x_t$$
dove $\Lambda$ è una matrice diagonale con voci complesse $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$. Poiché ogni unità nascosta si connette solo a se stessa (ricorrenza diagonale), il calcolo del gradiente si semplifica significativamente. Questa struttura permette di calcolare l'RTRL esatto con complessità temporale e di memoria lineare rispetto al numero di parametri, evitando il collo di bottiglia $O(n^4)$ dell'RTRL standard.

Integrazione con RL in Streaming

Gli autori inseriscono un singolo livello RTU tra l'encoder di osservazione e la testa feedforward (valore o politica) degli algoritmi standard in streaming (nello specifico QRC($\lambda$) per il controllo basato sul valore e stream AC($\lambda$) per il controllo basato sulla politica).

Il meccanismo di aggiornamento coinvolge due tracce distinte che si compongono naturalmente:

1. Tracce di Eleggibilità: Tracce standard di assegnazione del credito temporale ($z_t$) utilizzate nell'RL in streaming per accumulare gradienti nel tempo ($z_t = \gamma\lambda z_{t-1} + g_t$).
2. Tracce RTRL: Matrici di sensibilità in modalità forward ($S_t = \partial h_t / \partial \psi$) mantenute dal livello RTU per propagare i gradienti attraverso lo stato ricorrente.

Strategia di Calcolo del Gradiente:

• Parametri Ricorrenti ($\psi$): I gradienti sono calmati utilizzando la traccia RTRL esatta $S_t$, aggiornata in avanti ad ogni passo.
• Parametri della Testa ($w$): Viene utilizzata la backpropagation standard poiché non vi è dipendenza temporale.
• Parametri dell'Encoder ($\theta$): Per evitare il costo proibitivo di mantenere tracce esatte attraverso un encoder profondo, gli autori utilizzano un'approssimazione di un passo. L'encoder riceve credito solo per il suo effetto immediato sullo stato nascosto corrente, ignorando la sua influenza attraverso stati passati. Questa è un'approssimazione necessaria per encoder profondi nel regime di streaming.

Analisi e Correzione della "Staleness" (Obsolescenza)

Il documento riconosce che, sotto aggiornamenti in streaming, i parametri $\psi$ cambiano ad ogni passo. Di conseguenza, la matrice di sensibilità RTRL $S_t$ accumula Jacobiani valutati su parametri obsoleti, portando a "staleness".

• Gli autori derivano un limite teorico su questo errore di staleness, mostrando che scala linearmente con la dimensione del passo e l'orizzonte di assegnazione del credito.
• Propongono una correzione di Taylor del primo ordine all'aggiornamento della sensibilità. Approssimando la variazione nel Jacobiano immediato basandosi sull'aggiornamento dei parametri $\Delta \psi$, riducono l'errore di staleness da $O(\eta)$ a $O(\eta^2)$.

Contributi Chiave

1. Algoritmo: Un algoritmo di RL profondo in streaming per ambienti parzialmente osservabili che utilizza RTU addestrate con RTRL esatto. Non richiede buffer di replay né aggiornamenti in batch.
2. Validazione Diagnostica: Un esperimento MemoryChain che dimostra come questa combinazione sostenga l'assegnazione del credito su lunghezze di catena (fino a 64 passi) dove le baseline in streaming che utilizzano reti feedforward, GRU o RTU con TBPTT(1) collassano.
3. Prestazioni Empiriche: Evidenza su cinque compiti di memoria POPGym e compiti di controllo continuo MuJoCo parzialmente osservabili che mostra come l'approccio in streaming sia competitivo con PPO in batch, risolvendo tutti i compiti POPGym e recuperando una frazione sostanziale delle prestazioni in batch su MuJoCo.
4. Analisi della Staleness: Un'analisi quantitativa della staleness della sensibilità RTRL sotto aggiornamenti in streaming, fornendo un limite di errore allo stato stazionario e dimostrando l'efficacia di una correzione di Taylor del primo ordine nel restringere tale limite.

Risultati Sperimentali

MemoryChain (Orizzonte di Assegnazione del Credito)

Su un compito diagnostico che richiede all'agente di ricordare un segnale binario dopo $L$ passi:

• Baseline: Reti feedforward, GRU con TBPTT(1) e RTU con TBPTT(1) sono collassate a rendimenti vicini allo zero per lunghezze di catena $L > 16$.
• Metodo Proposto: RTU con RTRL esatto ha mantenuto alte prestazioni fino a $L=48$ ed è rimasto competitivo fino a $L=64$. Ciò conferma che il metodo di gradiente (RTRL), non solo l'architettura, è il fattore critico per l'assegnazione del credito a lungo orizzonte nello streaming.

POPGym (Compiti di Memoria Discreti)

Valutato su cinque compiti (Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst):

• Due varianti in streaming (QRC($\lambda$)-RTU e stream AC($\lambda$)-RTU) sono state confrontate con una baseline batched PPO-RTU.
• I due metodi in streaming sono stati complementari: stream AC($\lambda$)-RTU ha avuto successo su tre compiti dove QRC($\lambda$)-RTU ha fallito, e viceversa.
• Risultato: Insieme, i metodi in streaming hanno risolto tutti e cinque i compiti, eguagliando le prestazioni di PPO in batch senza memorizzare traiettorie passate.

Masked MuJoCo (Controllo Continuo)

Valutato su compiti di locomozione (Ant, HalfCheetah, Hopper, Walker2d) con velocità o posizioni mascherate:

• Il metodo in streaming (stream AC($\lambda$)-RTU) è stato competitivo con PPO-RTU in batch su diversi compiti (ad esempio, eguagliando su HalfCheetah-P, superando su Walker2d-V).
• Sebbene fosse in ritardo rispetto a PPO in batch su alcuni compiti (ad esempio Walker2d-P), ha recuperato una frazione sostanziale delle prestazioni in batch, dimostrando la fattibilità del controllo continuo sotto parziale osservabilità senza buffer di replay.

KMemoryChain (Quantificazione della Staleness)

Una variante di MemoryChain progettata per esercitare continuamente la traccia RTRL:

• La staleness è stata misurata come distanza $\ell_2$ tra la matrice di sensibilità online e un riferimento ricalcolato con i parametri correnti.
• La staleness è aumentata con l'orizzonte di memoria $K$, coerentemente con i limiti teorici.
• La correzione di Taylor ha ridotto significativamente la staleness, in particolare su orizzonti più lunghi ($K=16$), e corrispondeva a un apprendimento più rapido e curve di training più stabili nel regime ad alta staleness.

Significato e Affermazioni

Gli autori dichiarano esplicitamente modestia riguardo alle loro affermazioni:

• Nessuna Affermazione di Stato dell'Arte (SOTA): Non affermano di ottenere le prestazioni assolute migliori su un singolo benchmark rispetto ai metodi in batch senza vincoli.
• Contributo Primario: Il significato risiede nel chiudere il divario tra RL in streaming e parziale osservabilità. Dimostrano che è possibile eseguire RL profondo in POMDP con i vincoli rigorosi dello streaming (nessun buffer di replay, aggiornamenti su singolo campione) combinando RTU con RTRL esatto.
• Applicabilità: Il metodo è posizionato per scenari in cui i vincoli di risorse sono reali, come l'apprendimento su dispositivo, il controllo in tempo reale e l'apprendimento per tutta la vita, dove memorizzare traiettorie passate è impraticabile.

Il documento conclude che, sebbene il divario rispetto alle prestazioni in batch rimanga in alcuni compiti di controllo continuo, il metodo proposto estende con successo il paradigma di streaming a ambienti complessi e parzialmente osservabili, validando la fattibilità dell'RTRL esatto con complessità lineare nell'RL profondo.