Riepilogo Tecnico: Informed Asymmetric Actor-Critic

Definizione del Problema

L'apprendimento per rinforzo (RL) in ambienti parzialmente osservabili è tipicamente formalizzato come Processi Decisionali di Markov Parzialmente Osservabili (POMDP), dove gli agenti devono prendere decisioni basate su cronologie di osservazioni incomplete e rumorose. Mentre i metodi standard di RL si adattano a questo problema apprendendo politiche dipendenti dalla storia (spesso utilizzando Reti Neurali Ricorrenti), essi assumono lo stesso livello di osservabilità sia durante l'addestramento che durante l'esecuzione. Questa ipotesi è spesso inutilmente restrittiva, poiché molti ambienti di addestramento (ad esempio, simulatori) forniscono informazioni "privilegiate" aggiuntive — come l'accesso allo stato completo, policy esperte o input sensoriali multi-vista — che non sono disponibili durante la distribuzione (deployment).

I mevcut metodi di asymmetric actor-critic tentano di sfruttare queste informazioni privilegiate condizionando il critico sullo stato completo, mentre l'attore si affida solo alle osservazioni. Tuttavia, questi approcci assumono generalmente l'accesso allo stato completo dell'ambiente durante l'addestramento. Questo requisito è spesso irrealistico nella pratica, dove possono essere disponibili solo segnali parziali o arbitrari dipendenti dallo stato. Inoltre, la giustificazione teorica per l'uso di segnali privilegiati arbitrari (oltre allo stato completo) in contesti asimmetrici è stata poco esplorata, lasciando un vuoto nella comprensione di come selezionare e utilizzare efficacemente tali segnali senza introdurre bias nella policy gradient.

Metodologia

Il Framework Informed Asymmetric Actor-Critic (IAAC)

Gli autori introducono il framework Informed Asymmetric Actor-Critic (IAAC), che generalizza i metodi di asymmetric actor-critic per consentire al critico di essere condizionato da segnali privilegiati ($i_t$) arbitrari e dipendenti dallo stato durante l'addestramento, anziché richiedere l'accesso allo stato completo ($s_t$).

1. Formalismo Informed POMDP: Costruendo sul concetto di "Informed POMDP", gli autori definiscono un framework in cui una variabile informativa $i_t$ è disponibile durante l'addestramento. L'osservazione $o_t$ è condizionalmente indipendente dallo stato vero $s_t$ data $i_t$. Ciò consente al critico di accedere a $i_t$ mentre l'attore rimane vincolato alla cronologia di osservazioni e azioni ($h_t$).
2. Funzioni di Valore Basate sulla Storia Informata: Gli autori definiscono una funzione Q-informed basata sulla storia, $Q^\pi(h_t, i_t, a_t)$, e una corrispondente funzione di valore, $V^\pi(h_t, i_t)$. Queste funzioni sono condizionate sul segnale privilegiato $i_t$, ma sono dimostrate essere stimatori non distorti (unbiased) delle rispettive controparti standard basate sulla storia ($Q^\pi(h_t, a_t)$ e $V^\pi(h_t)$).
3. Policy Gradient Non Distorto: Un contributo teorico centrale è il Teorema 3.1, che dimostra che la policy gradient calcolata utilizzando il critico informato (condizionato su $i_t$) è equivalente alla standard policy gradient. Nello specifico, per qualsiasi scelta di segnale condizionato allo stato $i_t$, la informed asymmetric policy gradient coincide con la standard gradient:
   $$\nabla^{IAAC}_\theta J(\pi_\theta) = \nabla_\theta J(\pi_\theta)$$
   Questo risultato è valido senza che il POMDP debba soddisfare ipotesi aggiuntive come la decodificabilità dello stato. Implica che l'uso di segnali privilegiati riduce la varianza delle stime di valore (disambiguando gli stati) senza introdurre bias nella direzione dell'ottimizzazione.

Criteri di Informatività per la Selezione dei Segnali

Poiché qualsiasi segnale condizionato allo stato produce gradienti non distorti, la sfida si sposta sulla selezione dei segnali più informativi. Il paper propone due nuovi criteri per valutare l'utilità di un segnale privilegiato $i_t$ rispetto alla stima del valore:

1. $\alpha$-Residual Informativeness (Pre-addestramento): Questo criterio testa se $i_t$ fornisce informazioni sui rendimenti futuri ($G_t$) oltre quanto già codificato nella coppia storia-azione osservabile $(h_t, a_t)$. Esso prevede:

   • Stima delle medie condizionali $E[G_t|h_t, a_t]$ e $E[i_t|h_t, a_t]$ tramite modelli di regressione (ad es., Random Forests o RNN).
   • Calcolo dei residui $e_{G_t}$ e $e_{i_t}$.
   • Test della dipendenza statistica tra questi residui utilizzando una misura come l'Hilbert-Schmidt Independence Criterion (HSIC).
   • Se l'ipotesi nulla di indipendenza viene rifiutata, il segnale è considerato informativo. Questo test può essere eseguito su dati raccolti da qualsiasi policy esplorativa (ad es., casuale) prima dell'addestramento dell'attore.

2. $(\epsilon, \delta)$-Prediction Informativeness (Post-hoc): Questo criterio valuta se l'inclusione di $i_t$ migliora l'accuratezza predittiva della funzione di valore. Confronta l'errore quadratico medio di un critico simmetrico (usando solo $h_t$) con un critico informato (usando $h_t$ e $i_t$). Se l'inclusione di $i_t$ produce una riduzione statisticamente significativa dell'errore di predizione (guadagno positivo), il segnale è considerato informativo.

Risultati Chiave

Prestazioni nei Benchmark

Gli autori hanno valutato l'IAAC su 12 benchmark parzialmente osservabili (6 task di navigazione da Baisero & Amato, 2022, e 6 dalla suite POPGym).

• Performance: L'informed asymmetric actor-critic ha costantemente eguagliato o superato i baseline simmetrici (A2C) e ha spesso superato i baseline asimmetrici che facevano affidamento sull'accesso allo stato completo (asym-A2C-hs).
• Efficienza: In diversi ambienti (ad es., Car-Flag, Shopping-5), il metodo è convergente più velocemente e ha raggiunto rendimenti asintotici più elevati rispetto alle varianti asimmetriche a stato completo, nonostante l'utilizzo di informazioni di stato strettamente inferiori.
• Stabilità: Il metodo ha dimostrato una maggiore stabilità di addestramento rispetto agli approcci simmetrici, che talvolta soffrivano di cali di performance o problemi di convergenza in contesti ad alta dimensionalità o parzialmente osservabili.

Validazione dei Criteri di Informatività

Utilizzando POMDP sintetici con strutture di ricompensa note, gli autori hanno validato i loro criteri di selezione:

• Correlazione con la Performance: I segnali contenenti feature direttamente rilevanti per la ricompensa (ad es., dimensioni specifiche dello stato che determinano la ricompensa) sono stati costantemente identificati come informativi da entrambi i criteri.
• Rilevamento della Ridondanza: I segnali contenenti solo feature ridondanti o irrilevanti sono stati correttamente identificati come non informativi.
• Stato Completo vs. Sottoinsiemi Informativi: Gli esperimenti hanno mostrato che l'accesso allo stato completo non produce sempre le migliori prestazioni se lo stato contiene feature rumorose o irrilevanti. Sottoinsiemi di segnali privilegiati accuratamente selezionati potevano superare i baseline a stato completo.
• Robustezza: I criteri sono rimasti efficaci anche in condizioni di osservazione rumorose, classificando correttamente i segnali in base alla loro capacità di spiegare la varianza del rendimento.

Significato e Rivendicazioni

Il paper sostiene di voler spostare il paradigma dell'apprendimento asimmetrico dal focus sull'accesso alle informazioni dello stato completo alla selezione di segnali informativi durante l'addestramento.

• Generalizzazione Teorica: Il lavoro fornisce la prima giustificazione teorica per l'uso di segnali privilegiati arbitrari condizionati allo stato nei metodi di asymmetric actor-critic, provando che tale uso preserva i policy gradient non distorti. Questo generalizza il lavoro precedente (ad es., Baisero & Amato, 2022) che era limitato ai critici a stato completo.
• Utilità Pratica: Dimostrando che segnali parziali accuratamente selezionati possono eguagliare o superare le prestazioni a stato completo, il paper sfida l'assunto che l'accesso allo stato completo sia essenziale per un efficace apprendimento asimmetrico.
• Selezione Sistematica: L'introduzione di criteri basati sui dati per la selezione dei segnali offre un approccio rigoroso per gestire la "maledizione della dimensionalità" dell'informazione privilegiata, permettendo ai professionisti di identificare segnali ausiliari utili senza ingegneria manuale delle feature.

Gli autori concludono che il loro framework apre nuove direzioni per studiare come l'informazione privilegiata possa essere selezionata, valutata e integrata per facilitare l'apprendimento in contesti parzialmente osservabili, notando che il lavoro futuro potrebbe esplorare la selezione dei segnali end-to-end e l'integrazione della complessità del segnale nel ciclo di apprendimento.