Riepilogo Tecnico: Algoritmi di Gradiente della Politica Bayesiano e Actor-Critic

1. Enunciato del Problema

I metodi del Gradiente della Politica (PG) sono una pietra angolare del Reinforcement Learning (RL), ottimizzando una politica parametrizzata seguendo una stima del gradiente delle prestazioni. Tuttavia, i metodi PG convenzionali fanno molto affidamento su tecniche Monte-Carlo (MC) per stimare tali gradienti.

• Alta Varianza: Gli stimatori MC sono non distorti ma soffrono di un'alta varianza, richiedendo un gran numero di campioni per ottenere stime accurate, il che porta a una convergenza lenta.
• Inefficienza Campionaria: L'affidamento su stime puntuali frequentiste ignora l'incertezza intrinseca nei dati, non riuscendo a sfruttare efficacemente la conoscenza a priori o la struttura della distribuzione dei dati.
• Limiti delle Soluzioni Esistenti: Sebbene le linee di base (baselines) e i gradienti naturali (utilizzando la Matrice di Informazione di Fisher) aiutino, non affrontano fondamentalmente il problema della varianza o la mancanza di quantificazione dell'incertezza nella stima del gradiente stessa.

Il documento affronta la necessità di un framework più efficiente dal punto di vista campionario, robusto e consapevole dell'incertezza per la stima del gradiente della politica e l'apprendimento actor-critic.

2. Metodologia

Gli autori propongono un framework bayesiano che sostituisce la stima frequentista MC con la Quadratura Bayesiana (BQ). L'idea centrale è modellare il gradiente del ritorno atteso come un Processo Gaussiano (GP).

A. Gradiente della Politica Bayesiano (BPG)

L'approccio BPG tratta l'integrale del gradiente $\nabla \eta(\theta) = \int \bar{R}(\xi) \nabla \log P(\xi; \theta) d\xi$ come l'integrale di una funzione casuale.

• Modellazione: L'integrando è suddiviso in una parte deterministica (relativa alla probabilità della politica) e una parte stocastica (il ritorno). La parte stocastica è modellata come un GP.
• Due Modelli:
  1. Modello 1 (GP a Valore Vettoriale): Modella direttamente le componenti del gradiente come un GP a valore vettoriale. Utilizza un kernel di Fisher quadratico.
  2. Modello 2 (GP a Valore Scalare): Modella il ritorno come un GP scalare e lo integra contro il gradiente della probabilità della politica. Utilizza un kernel di Fisher standard.
• Meccanismo Chiave: Osservando le traiettorie, l'algoritmo calcola la distribuzione a posteriori del gradiente. Ciò fornisce non solo una stima puntuale (la media) ma anche una matrice di covarianza che rappresenta l'incertezza della stima del gradiente.
• Scelta del Kernel: L'uso dei Kernel di Fisher (basati sulla Matrice di Informazione di Fisher) è cruciale. Permette la derivazione di espressioni in forma chiusa per i momenti a posteriori del gradiente, rendendo il calcolo trattabile.
• Applicabilità: Poiché il BPG tratta le intere traiettorie del sistema come unità di base, non richiede la proprietà di Markov, rendendolo naturalmente estendibile ai MDP parzialmente osservabili (POMDP).

B. Actor-Critic Bayesiano (BAC)

Per affrontare il limite secondo cui il BPG non può sfruttare la proprietà di Markov (portando a una varianza più alta nei sistemi markoviani), gli autori introducono un algoritmo Actor-Critic Bayesiano.

• Critic: Utilizza l'apprendimento Gaussian Process Temporal Difference (GPTD). La funzione valore-azione $Q(z)$ è modellata come un GP.
• Actor: Aggiorna i parametri della politica utilizzando i momenti a posteriori del gradiente derivati dal GP del critic.
• Integrazione: Scegliendo un kernel di covarianza a priori specifico per il GP (somma di un kernel di stato e del kernel di Fisher), gli autori derivano espressioni in forma chiusa per la media e la covarianza a posteriori del gradiente della politica.
• Vantaggio: Il BAC utilizza le singole transizioni stato-azione-ricompensa come unità osservabile. Ciò gli permette di sfruttare la proprietà di Markov, riducendo significativamente la varianza rispetto al BPG basato su traiettorie, specialmente in problemi a orizzonte lungo.

C. Sparsificazione Online

Sia il BPG che il BAC coinvolgono matrici di kernel che crescono con il numero di campioni (complessità $O(M^3)$). Il documento incorpora la sparsificazione online (basata su Engel et al., 2002) per mantenere un "dizionario" di campioni rappresentativi. Ciò garantisce che gli algoritmi rimangano efficienti dal punto di vista computazionale in termini di tempo e memoria, controllando l'errore di approssimazione tramite un parametro di soglia.

3. Contributi Chiave

1. Framework del Gradiente della Politica Bayesiano: Una formulazione innovativa dei metodi PG che utilizza la Quadratura Bayesiana e i Processi Gaussiani, fornendo una distribuzione a posteriori completa sul gradiente invece di una singola stima puntuale.
2. Soluzioni in Forma Chiusa: La derivazione di espressioni analitiche per la media e la covarianza a posteriori del gradiente utilizzando kernel di Fisher, evitando la necessità di integrazione numerica o campionamento per la stima del gradiente stessa.
3. Quantificazione dell'Incertezza: La capacità di calcolare la covarianza del gradiente con un costo aggiuntivo minimo. Ciò consente aggiornamenti della politica consapevoli del rischio (ad esempio, utilizzando la covarianza per adattare le dimensioni dei passi).
4. Actor-Critic Bayesiano (BAC): Un nuovo algoritmo AC che combina critic GPTD con aggiornamenti della politica bayesiana, sfruttando la proprietà di Markov per una varianza inferiore rispetto al BPG.
5. Estensione ai POMDP: Dimostrazione che l'approccio BPG basato su traiettorie gestisce naturalmente i sistemi non markoviani senza modifiche.
6. Valutazione Completa: Ampie comparazioni sperimentali contro metodi PG e Actor-Critic classici basati su MC in domini diversificati.

4. Risultati Sperimentali

Gli autori hanno valutato i loro metodi su diversi benchmark:

• Problema del Bandit e Regolatore Lineare Quadratico (LQR):
  • Le stime del gradiente tramite BQ (Quadratura Bayesiana) hanno mostrato una varianza inferiore di ordini di grandezza e una maggiore accuratezza rispetto alle stime MC, in particolare con piccoli campioni.
  • Il BPG (utilizzando gradienti naturali) ha superato il MCPG (PG Monte-Carlo) nell'LQR, convergendo più velocemente e ottenendo ritorni finali migliori, specialmente con dimensioni campionarie moderate ($M=10, 20, 40$).
  • Una variante che utilizza la covarianza del gradiente per regolare le dimensioni dei passi (BPG-var) ha mostrato le prestazioni migliori.
• Passeggiata Casuale (10 stati):
  • Il BAC ha superato significativamente sia il BPG che il MCPG. Il BAC ha appreso più velocemente ed è stato più robusto ai cambiamenti del tasso di apprendimento.
  • Il BPG ha faticato quando le lunghezze delle traiettorie variavano, mentre il BAC (utilizzando transizioni stato-azione) è rimasto stabile.
• Auto a Montagna (Stato Continuo/Azione Discreta):
  • Il BAC ha costantemente superato il MCPG, trovando buone politiche con pochissimi campioni ($M=5$) e mantenendo una bassa varianza. Il MCPG richiedeva dimensioni campionarie più grandi per eguagliare le prestazioni del BAC.
• Governaggio della Nave (Stato Continuo/Azione Continua):
  • In questo dominio complesso e ad alta dimensionalità, il BAC ha nuovamente dimostrato una velocità di convergenza e tassi di successo superiori rispetto al MCPG, con una varianza delle prestazioni inferiore.

5. Significato e Impatto

• Efficienza Campionaria: Il significato principale è la drastica riduzione del numero di campioni necessari per apprendere una politica efficace. Modellando il gradiente come un GP, l'algoritmo "impara" la forma della funzione gradiente, permettendogli di generalizzare da meno punti dati rispetto ai metodi MC.
• Apprendimento Consapevole dell'Incertezza: La fornitura della covarianza del gradiente abilita aggiornamenti della politica sensibili al rischio. L'algoritmo può compiere passi più grandi quando l'incertezza è bassa e passi più piccoli e sicuri quando l'incertezza è alta, una caratteristica assente nei metodi PG standard.
• Rigorosità Teorica: Il documento fornisce prove rigorose per le soluzioni in forma chiusa dei momenti a posteriori, colmando il divario tra metodi bayesiani non parametrici e RL.
• Versatilità: Il framework unifica la gestione sia di problemi markoviani (tramite BAC) che non markoviani/POMDP (tramite BPG) sotto un unico ombrello bayesiano.

In conclusione, questo lavoro stabilisce una solida fondazione teorica ed empirica per il Reinforcement Learning Bayesiano, dimostrando che trattare i gradienti della politica come variabili casuali modellate da Processi Gaussiani porta ad algoritmi di apprendimento più efficienti, stabili e robusti rispetto agli approcci frequentisti tradizionali.