Sintesi Tecnica: Pianificazione Analitica sotto Incertezza con Chiusura dei Momenti

Definizione del Problema

L'apprendimento per rinforzo basato su modelli (MBRL) efficace in ambienti stocastici richiede una pianificazione che tenga conto dell'incertezza predittiva. Gli approcci tradizionali affrontano un compromesso:

1. Campionamento Stocastico: Il moderno MBRL profondo spesso si affida al campionamento di rollout immaginati (Monte Carlo) per propagare l'incertezza. Sebbene scalabile, ciò introduce una significativa varianza del target, rendendo la stima del valore sensibile ai budget di campionamento e potenzialmente instabile.
2. Approssimazioni Deterministiche: I metodi che collassano i modelli stocastici alla loro media o apprendono dinamiche deterministiche scartano la covarianza predittiva. Ciò porta a un bias sistematico quando le funzioni di valore sono non lineari.
3. Propagazione Analitica: Sebbene la propagazione analitica delle intere distribuzioni di stato sia un approccio rigoroso, storicamente ha richiesto strutture di policy o di ricompensa restrittive (ad esempio, contesti lineari-quadratici) per rimanere trattabile.

La domanda centrale affrontata è se una pianificazione consapevole della distribuzione sia possibile senza tali vincoli restrittivi, specificamente attraverso il calcolo analitico dell'aspettativa di Bellman sotto dinamiche stocastiche apprese.

Metodologia: Pianificazione Analitica Compatibile con i Momenti (MoCA)

Gli autori propongono un framework che scinde la trattabilità della selezione dell'azione greedy dalla trattabilità dell'aspettativa predittiva. Il metodo si basa su due componenti strutturali chiave:

1. Parametrizzazione del Valore d'Azione Quadratico (Decoupling della Massimizzazione)

Per evitare l'intrattabilità dell'integrazione di un operatore di massimizzazione ($\max_{a'} Q(s', a')$) su una distribuzione stocastica, gli autori utilizzano una parametrizzazione del valore d'azione quadratica (ispirata a NAF e BNAF).

• Struttura: La funzione Q è decomposta come:
  $$Q(s, a) = V(s) - \frac{1}{2}(a - \tilde{\mu}(s))^\top P(s) (a - \tilde{\mu}(s))$$
  dove $V(s)$ è il valore dello stato, $\tilde{\mu}(s)$ è l'azione greedy non vincolata, e $P(s)$ è una matrice di curvatura definita positiva.
• Effetto: Questa struttura permette alla selezione dell'azione greedy di essere risolta in forma chiusa ($\arg\max_a Q(s,a) = \tilde{\mu}(s)$) e il valore massimo di essere esattamente $V(s)$. Di conseguenza, il backup di Bellman si riduce da un'aspettativa su una funzione Q massimizzata a una semplice aspettativa sulla funzione di valore dello stato:
  $$y(s, a) = r(s, a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}[V(s')]$$
  Questo rimuove la massimizzazione interna dall'aspettativa, lasciando solo il requisito di calcolare $\mathbb{E}[V(s')]$ analiticamente.

2. Principio di Compatibilità dei Momenti

La trattabilità della restante aspettativa $\mathbb{E}[V(s')]$ dipende dalla compatibilità tra la distribuzione di transizione predittiva e la classe della funzione di valore.

• Modello di Dinamica: Le dinamiche dell'ambiente vengono apprese come un mix gaussiano eteroscedastico (un ensemble di $K$ modelli). Per evitare il campionamento durante la pianificazione, l'ensemble viene approssimato da una singola distribuzione gaussiana la cui media e covarianza corrispondono ai primi due momenti del mix (catturando sia l'incertezza aleatoria che quella epistemica).
• Rappresentazione del Valore: La funzione di valore dello stato $V(s)$ è parametrizzata come un mix di funzioni radiali di base (RBF) gaussiane.
• Chiusura Analitica: Poiché la distribuzione predittiva è Gaussiana e la funzione di valore è un mix di Gaussiane, l'aspettativa $\mathbb{E}[V(s')]$ ammette una soluzione in forma chiusa in termini dei momenti (media e covarianza) della distribuzione. Ciò consente di calcolare il target di Bellman esattamente senza campionamento Monte Carlo.

Procedura di Apprendimento

L'algoritmo (MoCA) integra questi componenti in un ciclo di apprendimento off-policy:

1. Apprendimento della Dinamica: Un ensemble di modelli di dinamica gaussiani viene addestrato tramite massima verosimiglianza su campioni bootstrap del replay buffer.
2. Costruzione del Target: Per ogni transizione, le previsioni dell'ensemble vengono aggregate tramite moment matching per formare una Gaussiana predittiva $\mathcal{N}(\bar{\mu}, \bar{\Sigma})$. Il target di Bellman viene calcolato analiticamente utilizzando l'aspettativa in forma chiusa della funzione di valore RBF sotto tale Gaussiana.
3. Aggiornamento del Critic: Twin critic (per mitigare il bias di sovrastima) vengono aggiornati utilizzando la doppia stima tagliata (clipped double estimation) sugli analitici target.

Contributi Chiave

1. Backup di Bellman Analitico: Il paper dimostra che le aspettative di Bellman in forma chiusa sono possibili sotto dinamiche stocastiche apprese, scindendo la massimizzazione (tramite parametrizzazione Q quadratica) dall'aspettativa.
2. Framework di Compatibilità dei Momenti: Introduce un principio di design in cui la rappresentazione del valore è scelta specificamente per essere compatibile con i momenti della distribuzione predittiva, consentendo la propagazione analitica dell'incertezza senza limitare la classe della policy.
3. Pianificazione Consapevole dell'Incertezza: Il metodo propaga deterministicamente sia la media predittiva che la covarianza, rimuovendo la varianza Monte Carlo dalla costruzione del target pur preservando i benefici della modellazione stocastica.

Risultati Empirici

Gli esperimenti sono stati condotti su compiti di controllo continuo (Cartpole Balance e Pendulum Swingup) sotto rumore di osservazione gaussiano controllato (sia omoscedastico che eteroscedastico).

• Robustezza al Rumore: MoCA ha superato costantemente i baseline (SAC, BNAF e una versione di MoCA a equivalenza di certezza che ignora la covarianza) all'aumentare del rumore di osservazione. Ha mantenuto rendimenti asintotici più elevati e dinamiche di apprendimento più stabili.
• Analitico vs. Monte Carlo: Confrontato con varianti Monte Carlo della stessa architettura (MoCA-MC) con diversi conteggi di campioni ($K=4, 16$), il metodo analitico (MoCA) ha ottenuto una convergenza più rapida e prestazioni asintotiche superiori. I metodi Monte Carlo hanno sofferto di alta varianza, specialmente con campioni limitati, portando a una selezione delle azioni subottimale.
• Calibrazione: L'approccio analitico ha prodotto un'incertezza predittiva ben calibrata (la copertura empirica $1\sigma$ è rimasta vicina al livello nominale del 68%) e una deviazione standard epistemica stabile.

Significato e Rivendicazioni

Il paper sostiene di fornire un framework rigoroso per la pianificazione con modelli di distribuzione appresi che evita la varianza del campionamento e il bias della sostituzione con la media.

• Stabilità: Rimuovendo il rumore Monte Carlo dalla costruzione del target, il metodo fornisce una pianificazione stabile anche all'aumentare del rumore di osservazione.
• Generalità: Il principio di compatibilità dei momenti non è legato a una singola forma funzionale; l'accoppiamento Gaussian-RBF è presentato come un'istanza concreta che bilancia trattabilità ed espressività.
• Praticità: L'approccio offre un'alternativa computazionalmente efficiente alla pianificazione basata su campionamento nel controllo continuo, dimostrando che la propagazione analitica dei momenti può servire come sostituto pratico dei rollout stocastici.

Gli autori riconoscono i limiti, notando che l'istanza RBF affronta la "maledizione della dimensionalità" riguardo al numero di basi richieste in spazi di stato ad alta dimensionalità, e che l'implementazione corrente si affida ad assunzioni di covarianza diagonale per l'efficienza computazionale. Si suggerisce che il lavoro futuro esplori rappresentazioni nello spazio latente per scalare il metodo.