Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

Sintesi Tecnica: L'apprendimento soffre più della classe di policy sotto osservabilità parziale

Enunciato del Problema
Nell'apprendimento per rinforzo (RL) con osservabilità parziale, gli agenti spesso non riescono a trovare policy ottimali. La concezione convenzionale attribuisce ciò al gap della classe di policy (policy-class gap): l'incapacità della capacità rappresentativa dell'agente (ad esempio, policy senza memoria) di catturare una buona policy perché non può osservare lo stato completo. Questo articolo contesta tale visione dimostrando che esiste un modo di fallimento distinto e più ampio: il gap di apprendimento (learning gap). Questo è la discrepanza tra la migliore policy che l'agente può rappresentare e la policy a cui l'algoritmo di apprendimento effettivamente converge. L'autore sostiene che anche quando una buona policy esiste all'interno della classe rappresentativa dell'agente e l'approssimatore della funzione di valore è teoricamente capace di esprimere esattamente la vera funzione di valore, le dinamiche stesse dell'apprendimento introducono un bias che spinge l'agente verso un equilibrio subottimale.

Metodologia
L'autore analizza un problema di controllo lineare-quadratico gaussiano (LQG) risolvibile.

• Ambiente: Un sistema bidimensionale in cui l'agente osserva e controlla la coordinata $v$, mentre una coordinata non osservata $z$ guida $v$. Lo stato non osservato agisce come un nucleo di memoria (memory kernel).
• Algoritmo di Apprendimento: Una coppia actor-critic standard.
  • Critic: Utilizza Temporal Difference (TD(0)) o Least Squares TD (LSTD) con caratteristiche quadratiche $(1, v, v^2)$. Fondamentalmente, le vere funzioni di valore di questo problema sono quadratiche, il che significa che la classe di caratteristiche è sufficientemente espressiva da rappresentare esattamente la vera funzione di valore se l'intero stato fosse osservato. Il limite è esclusivamente che le caratteristiche sono calcolate dalla coordinata incompleta $v$.
  • Actor: Segue il gradiente della policy utilizzando le stime del valore del critic come baseline.
• Approccio di Analisi: L'autore deriva espressioni in forma chiusa per il punto fisso del critic e la direzione di aggiornamento attesa dell'actor. Analizzano l'equilibrio dell'aggiornamento atteso (le "dinamiche medie") piuttosto che fare affidamento solo su prove di convergenza stocastica, verificando tali previsioni numericamente e tramite esperimenti di deep RL.

Contributi Chiave e Risultati

1. Meccanismo Esatto del Fallimento (Il Critic Aliato):
   La scoperta centrale è che il gap di apprendimento domina il gap della classe di policy. Nel setting predefinito, la migliore policy senza memoria costa solo il 10,4% in più rispetto all'ideale controllore a stato completo. Tuttavia, l'apprendista actor-critic converge a una policy che è il 35% peggiore di questa migliore policy senza memoria.

   • Meccanismo: Nel regime stazionario, lo stato non osservato $z$ bilancia l'input di controllo in media, facendo apparire la coordinata osservata $v$ come se fluttuasse come un cammino casuale. Il critic, limitato a funzioni di $v$ da solo, non può attribuire questa persistenza allo stato nascosto. Di conseguenza, attribuisce erroneamente questa persistenza inspiegata alla curvatura della funzione di valore.
   • Risultato: Il critic riporta una curvatura del valore (coefficiente di $v^2$) che è circa 15 volte più grande della vera curvatura condizionale. L'actor, usando questa curvatura gonfiata come baseline, è incentivato ad aumentare il guadagno di controllo indefinitamente finché la curvatura gonfiata non è bilanciata dai costi di controllo, stabilendosi su un guadagno molto più alto dell'ottimale.

2. Legge in Forma Chiusa per l'Equilibrio di Apprendimento:
   L'autore deriva una formula esatta per il guadagno $k_{eq}$ al quale l'aggiornamento atteso si annulla.

   • Il guadagno di equilibrio è inversamente proporzionale al periodo di campionamento $h$ e dipende dal rapporto tra il rumore di esplorazione e l'intensità a ritardo zero del nucleo di memoria ($\sigma = s_e / \Theta K(0)$).
   • Man mano che l'esplorazione svanisce, il guadagno di equilibrio si avvicina al confine di stabilità del sistema di controllo campionato.
   • Questa posizione dipende dalla distribuzione del disturbo (specificamente la struttura del secondo ordine del disturbo al quadrato), non solo dalla sua autocovarianza.

3. Legge in Forma Chiusa per il Costo Imputato:
   Nonostante la posizione errata dell'equilibrio, la cost (costo) sostenuta in questo punto fisso è sorprendentemente robusta.

   • Il costo impiegato all'equilibrio di apprendimento converge a $r C(0)$ (dove $r$ è il peso del costo di controllo e $C(0)$ è l'autocovarianza a ritardo zero del disturbo).
   • Questa legge del costo è indipendente dalla distribuzione: vale per qualsiasi disturbo stazionario, ergodico e continuo in media al quadrato, indipendentemente dal fatto che sia Gaussiano, a code pesanti o discreto (ad esempio, rumore di tipo telegraph noise).
   • L'autore dimostra che, mentre diverse distribuzioni del disturbo spostano la posizione dell'equilibrio (guadagno) di un fattore di 3,4, il costo risultante rimane quasi identico.

4. Il Bootstrap Horizon come Soluzione:
   Il documento identifica una singola scelta di design che elimina la patologia: l'orizzonte di bootstrap (controllato dal parametro $\lambda$ nei $\lambda$-ritorni).

   • Il TD(0) standard ($\lambda=0$) guarda solo un passo avanti, portando all'equilibrio aliato.
   • All'aumentare di $\lambda$, l'orizzonte si estende. L'autore mostra che l'equilibrio migra continuamente verso l'ottimo della classe di policy man mano che l'orizzonte coincide con la memoria dell'ambiente.
   • La transizione è netta: aumentare $\lambda$ da 0,98 a 0,99 riduce il costo eccessivo da ~30% a ~1,5%.

5. Validazione tramite Deep Reinforcement Learning:
   Esperimenti utilizzando PPO con MLP confermano le previsioni teoriche.

   • Indipendenza dall'Architettura: L'aggiunta di memoria tramite l'impilamento dei frame (frame stacking, osservando i 32 frame passati) non aiuta. Gli agenti con frame stack mostrano lo stesso comportamento aliato degli agenti senza memoria a bassi valori di $\lambda$ e lo stesso recupero ad alti valori di $\lambda$. Ciò suggerisce che avere la storia nell'input non è sufficiente; l'algoritmo di apprendimento deve utilizzare efficacemente quella storia attraverso l'orizzonte di bootstrap.
   • Test Pre-registrati: L'autore ha utilizzato esperimenti pre-registrati per escludere spiegazioni alternative, come il collasso del rumore di esplorazione appreso o un effetto soglia dell'entità dell'esplorazione. Queste ipotesi sono state falsificate; il fallimento persiste anche con rumore di esplorazione fisso, e nessuna soglia di esplorazione impedisce lo spostamento.

Significato e Rivendicazioni
Il documento sostiene di fornire la prima caratterizzazione esatta in forma chiusa di come l'osservabilità parziale distorca l'apprendimento actor-critic, separando i limiti della rappresentazione dai limiti della regola di apprendimento.

• Ambito Modesto: L'autore dichiara esplicitamente di non provare la convergenza delle iterazioni stocastiche al punto fisso, ma solo che l'aggiornamento atteso si annulla lì e che le corse stocastiche seguono la traiettoria media (con un ritardo).
• Limitazioni Specifiche: La legge sulla posizione esatta è dimostrata per disturbi Gaussiani; la legge sul costo è indipendente dalla distribuzione. L'autore congettura che la legge sulla posizione dipenda dalla struttura del secondo ordine del quadrato del disturbo per casi non Gaussiani, ma non rivendica di averlo provato generalmente.
• Implicazione Pratica: Il messaggio principale è che in contesti di osservabilità parziale, aumentare semplicemente la capacità del modello o aggiungere memoria di input (come il frame stacking) non è sufficiente a risolvere i fallimenti dell'apprendimento. Invece, i professionari devono regolare l'orizzonte di bootstrap ($\lambda$) affinché superi la memoria della dinamica non osservata dell'ambiente.

Il documento conclude che il "gap di apprendimento" è una fonte di subottimalità distinta e spesso maggiore rispetto al "gap della classe di policy", guidata dall'incapacità del critic di distinguere la persistenza dello stato non osservato dalla curvatura della funzione di valore.