Generative OOD-regularized Model-based Policy Optimization

Riepilogo Tecnico: Ottimizzazione della Politica Basata su Modello Generativo con Regularizzazione OOD (GORMPO)

Enunciato del Problema
L'Apprendimento per Rinforzo (RL) Offline affronta una sfida critica nei domini ad alta sicurezza, come la sanità, dove l'interazione con l'ambiente è impossibile. Il problema principale è lo spostamento di distribuzione: le politiche addestrate su dataset offline sparsi spesso selezionano azioni fuori distribuzione (OOD) durante il dispiegamento. Negli spazi stato-azione sparsi, i metodi tradizionali senza modello possono essere eccessivamente conservativi, sopprimendo azioni valide, mentre i metodi basati su modello rischiano fallimenti catastrofici quando i modelli di dinamica addestrati su dati sparsi generano roll-out OOD che si spostano verso regioni non sicure. Le soluzioni esistenti, come la stima della densità tramite kernel (KDE) o le penalità di incertezza, spesso mancano di espressività in contesti ad alta dimensionalità o non riescono a distinguere efficacemente tra transizioni in distribuzione (ID) e OOD quando le dinamiche sono incerte.

Metodologia: GORMPO
Gli autori propongono l'Ottimizzazione della Politica Basata su Modello Generativo con Regularizzazione OOD (GORMPO), un framework plug-and-play progettato per integrare la stima della densità generativa nell'RL basato su modello (nello specifico MBPO) per limitare gli aggiornamenti della politica ad aree ad alta densità del dataset.

1. Modellazione della Densità Generativa: GORMPO impiega un modello generativo $p_\theta$ per stimare la densità congiunta delle coppie stato-successivo e azione $(s', a)$. Il framework valuta cinque distinte famiglie di stimatori di densità:

   • Stima della Densità tramite Kernel (KDE)
   • Autoencoder Variazionali (VAE)
   • Flussi Normalizzanti (RealNVP)
   • Modelli Probabilistici Diffusivi (DDPM)
   • Flussi Normalizzanti Continui (Neural ODE)

2. Guardiano Basato sulla Densità: Invece di affidarsi esclusivamente all'incertezza del modello, GORMPO introduce un "guardiano basato sulla densità" che penalizza le ricompense dei roll-out generati dal modello in base alla loro probabilità sotto lo stimatore di densità appreso.

   • Per un roll-out che prevede $(\hat{s}_{t+1}, a_t)$, il regolarizzatore è definito come $u(\hat{s}_{t+1}, a_t) = \tanh(\max(\tau - \log p_\theta(\hat{s}_{t+1}, a_t), 0))$, dove $\tau$ è una soglia di densità.
   • La ricompensa per il roll-out viene penalizzata: $\tilde{r}(s_t, a_t) = \hat{r}(s_t, a_t) - \lambda u(\hat{s}_{t+1}, a_t)$.
   • Ciò garantisce che le transizioni a bassa densità (OOD) ricevano ricompense inferiori, scoraggiando la politica dallo sfruttare errori del modello in regioni inesplorate.

3. Garanzie Teoriche: Il documento fornisce limiti teorici che mostrano come la performance della politica appresa sul vero MDP degradi linearmente con l'errore di stima della densità ($\epsilon_{density}$). Sotto ipotesi lievi riguardanti ricompense limitate e errore del modello dipendente dalla densità, GORMPO garantisce un limite di valore conservativo e un gap di ottimalità che rimane competitivo con la migliore politica che soddisfa un vincolo rilassato.

Contributi Chiave

• Proposta del Framework: Introduzione di GORMPO, un algoritmo di RL offline regolarizzato per densità che penalizza esplicitamente i roll-out stato-azione OOD utilizzando modelli generativi.
• Valutazione Completa: La prima valutazione sistematica di cinque distinte famiglie di stimatori di densità (KDE, VAE, RealNVP, Diffusione, NeuralODE) per il rilevamento OOD nel contesto dell'RL offline basato su modello.
• Risultati Empirici: Dimostrazione che la relazione tra capacità di rilevamento OOD e performance della politica è dipendente dal contesto. In ambienti con dinamiche stabili, un migliore rilevamento OOD si correla con politiche migliori. Tuttavia, in ambienti con dinamiche altamente incerte, sono favorite penalità conservative (anche da modelli con stima della densità esplicita più debole, come i modelli Diffusione che saturano le penalità) per prevenire l'esplorazione verso regioni non sicure.

Risultati Sperimentali
Gli autori hanno valutato GORMPO su un dataset medico reale proprietario (svezzamento dallo shock cardiogeno) e su benchmark D4RL sparsi (compiti Gym-MuJoCo).

• Dataset Medico: GORMPO ha superato le linee di base dello stato dell'arte (inclusi SPOT, MOBILE e MBPO standard) del 17% nella ricompensa media e del 13% nel punteggio di svezzamento (WS).
  • Performance degli Stimatori di Densità: NeuralODE ha dimostrato il miglior rilevamento OOD (ROC AUC). Tuttavia, GORMPO-RealNVP ha raggiunto la massima performance della politica, seguito a breve distanza da NeuralODE.
  • Sicurezza: Le varianti di GORMPO hanno mantenuto con successo la stabilità del paziente (Pressione Arteriosa Media) riducendo i livelli della pompa, mentre le linee di base spesso non sono riuscite a penalizzare sufficientemente le azioni non sicure.
• Benchmark D4RL Sparsi:
  • Sul compito halfcheetah (dinamiche stabili), GORMPO-VAE e GORMPO-RealNVP hanno migliorato significativamente il modello MBPO di base (fino al 41% di miglioramento).
  • Su hopper e walker2d (dinamiche incerte), il MBPO standard ha fallito. GORMPO ha migliorato le performance, con GORMPO-DDPM che ha mostrato una sorprendente robustezza. Gli autori attribuiscono ciò alla "saturazione della penalità", dove il modello diffusivo assegna basse probabilità alla maggior parte dei campioni, spingendo la penalità al suo massimo e forzando un'estrema conservatività.
  • In generale, GORMPO ha potenziato i modelli di base (MBPO e MOBILE) su dataset sparsi.

Significato e Affermazioni
Il documento afferma che GORMPO offre un approccio principiato per mitigare lo spostamento di distribuzione nell'RL offline sparso sfruttando modelli generativi espressivi per la stima della densità. Gli autori affermano che:

1. Un migliore rilevamento OOD porta generalmente a politiche migliori in ambienti con dinamiche stabili.
2. La regolarizzazione conservativa è cruciale quando le dinamiche sono incerte; in tali casi, anche modelli con stima della densità imperfetta (come i modelli Diffusione che saturano le penalità) possono produrre politiche superiori imponendo una rigorosa adesione al supporto di addestramento.
3. Il framework è modulare, consentendo a qualsiasi algoritmo di RL offline basato su modello di essere potenziato con la regolarizzazione OOD generativa.

Gli autori riconoscono le limitazioni, inclusa la dipendenza da una soglia di densità fissa (che può essere sensibile all'asimmetria della distribuzione) e la saturazione della penalità tanh in regioni altamente OOD, che potrebbe essere troppo ottimistica per compiti ad alta sicurezza. Viene proposto un lavoro futuro per esplorare la penalizzazione della densità senza soglia e l'estensione a dataset con dinamiche incerte.