Long-Horizon Model-Based Offline Reinforcement Learning Without Explicit Conservatism

1. Enunciato del Problema

L'Apprendimento per Rinforzo (RL) Offline mira ad apprendere politiche da dataset statici senza ulteriore interazione con l'ambiente. Il paradigma dominante nell'RL offline è il conservatorismo esplicito, che penalizza le azioni fuori distribuzione (OOD) o limita gli orizzonti di simulazione per prevenire la sovrastima del valore e l'estrapolazione non sicura.

Gli autori mettono in discussione l'universalità di questo principio, sostenendo che:

1. Il conservatorismo limita l'adattamento: Penalizzando rigorosamente le azioni OOD, i metodi conservatori spesso falliscono nell'adattarsi alle condizioni di test, specialmente in dataset di bassa qualità dove l'azione ottimale potrebbe essere sottorappresentata.
2. Il potenziale bayesiano è sottoutilizzato: Una prospettiva bayesiana (ottimizzare il ritorno atteso su una posterior di modelli del mondo) gestisce naturalmente l'incertezza epistemica senza pessimismo esplicito, ma storicamente ha faticato con gli errori composti dei modelli in contesti a lungo orizzonte.
3. Il Trade-off: Rimuovere il conservatorismo elimina il meccanismo per controllare la sovrastima del valore, portando all'assunzione che gli orizzonti brevi siano necessari. Il paper si chiede se gli orizzonti lunghi siano effettivamente dannosi o se possano essere sfruttati per ridurre la sovrastima.

2. Metodologia: NEUBAY

Gli autori propongono NEUBAY (NEUtral BAYesian), un algoritmo di RL offline basato su modelli fondato sul framework POMDP epistemico. Invece di ottimizzare per il modello nel caso peggiore (conservatorismo), ottimizza per il ritorno atteso su una distribuzione posterior di modelli del mondo.

Scelte Progettuali Fondamentali

Per rendere l'approccio bayesiano pratico ed efficace senza conservatorismo esplicito, NEUBAY introduce quattro innovazioni chiave architetturali e algoritmiche:

A. Rollout a Lungo Orizzonte Adattivi (L'Insight Centrale)

• Problema: L'RL basato su modelli standard utilizza orizzonti brevi per evitare errori composti. Tuttavia, gli orizzonti brevi fanno molto affidamento sul bootstrapping (usare la funzione valore per stimare le ricompense future), il che causa una grave sovrastima del valore quando il conservatorismo viene rimosso.
• Soluzione: NEUBAY utilizza rollout a lungo orizzonte (centinaia di passi). Estendendo l'orizzonte, l'algoritmo sposta il carico di stima dai valori bootstrappati (alto bias) alle ricompense generate dal modello (bias inferiore). Il fattore di sconto $\gamma^H$ sconta esponenzialmente il termine bootstrappato alla fine dell'orizzonte, sopprimendo naturalmente la sovrastima.
• Meccanismo: I rollout non sono di lunghezza fissa ma truncati adattivamente in base all'incertezza epistemica. Se l'incertezza del modello $U_\theta(s, a)$ supera una soglia (definita da un quantile $\zeta$ della distribuzione di incertezza del dataset), il rollout si interrompe. Questo garantisce che i rollout rimangano lunghi dove il modello è sicuro ma brevi dove non lo è.

B. Architettura del Modello del Mondo per la Stabilità

• Dimensione Grande dell'Insieme (Ensemble): Per approssimare accuratamente la distribuzione posterior e gestire la varianza introdotta dai rollout lunghi, NEUBAY utilizza un grande insieme di modelli del mondo ($N=100$), significativamente più grande dello standard $N=5$ o $N=10$.
• Normalizzazione a Livello (LayerNorm): Gli autori applicano LayerNorm all'interno dei livelli nascosti del modello del mondo. Teoricamente, questo limita la magnitudine dei delta di stato previsti, prevenendo l'esplosione esponenziale degli errori composti su orizzonti lunghi.

C. Agente Dipendente dalla Storia (RL Ricorrente)

• Poiché l'obiettivo bayesiano tratta il vero MDP come una variabile nascosta, la politica ottimale deve essere dipendente dalla storia (una soluzione POMDP).
• NEUBAY impiega un'architettura attore-critico ricorrente che utilizza Unità Ricorrenti Lineari (LRU) (un tipo di Modello dello Spazio di Stato). Questo permette all'agente di mantenere una memoria a lungo termine (che copre intere episode) per inferire i parametri del modello sottostante e adattare il proprio comportamento al momento del test senza aggiornamenti dei parametri.

D. Strategia di Addestramento

• Nessuna Penalità per l'Incertezza: A differenza dei metodi conservatori (es. MOPO, COMBO), NEUBAY non aggiunge un termine di penalità $\lambda U(s,a)$ alla ricompensa.
• Miscelazione dei Dati: Addestra su una miscela di dati reali e rollout immaginati, controllata da un rapporto di miscelazione $\kappa$.

3. Contributi Chiave

1. Rifiuto del Conservatorismo Universale: Il paper dimostra che il conservatorismo esplicito non è universalmente ottimale. In dataset di bassa qualità o distorti, l'adattamento bayesiano supera i metodi conservatori esplorando azioni sottorappresentate ma ad alta ricompensa.
2. Orizzonti Lunghi come Regularizzatore: Gli autori forniscono un'analisi teorica ed empirica che mostra come i rollout a lungo orizzonte agiscano come un meccanismo naturale per controllare la sovrastima del valore in contesti non conservatori, sostituendo controintuitivamente la necessità di orizzonti brevi.
3. Algoritmo NEUBAY: Un algoritmo pratico che combina truncation adattiva basata sull'incertezza, grandi ensemble, LayerNorm e memoria ricorrente per ottenere prestazioni allo stato dell'arte senza pessimismo esplicito.
4. Analisi Teorica: Il paper include dimostrazioni formali che confrontano le politiche "Bayes-ottimali" e "Robust-ottimali", mostrando che i coefficienti di concentrabilità bayesiani sono strettamente più deboli (migliori) di quelli robusti sotto certe condizioni dei dati, spiegando il divario di prestazioni.

4. Risultati Sperimentali

Gli autori hanno valutato NEUBAY su 33 dataset attraverso i benchmark D4RL e NeoRL (inclusi locomozione, manipolazione Adroit e AntMaze).

• Stato dell'Arte (SOTA): NEUBAY ottiene nuovi risultati SOTA su 7 dataset, inclusi guadagni significativi su walker-random-v2, walker-medium-v2, pen-cloned-v1 e hammer-cloned-v1.
• Prestazioni su Dati di Bassa Qualità: NEUBAY supera significativamente le baseline conservatrici su dataset di bassa qualità (es. politiche casuali) e dataset con copertura moderata. Si adatta con successo alle condizioni di test dove i metodi conservatori rimangono bloccati su comportamenti subottimali.
• Confronto con Metodi Conservatori: In media, NEUBAY è competitivo con i principali algoritmi conservatori (es. VIPO, MOPO, COMBO) e supera altri metodi ispirati al bayesiano che fanno ancora affidamento su conservatorismo o orizzonti brevi.
• Studi di Ablazione:
  • Lunghezza dell'Orizzonte: Rimuovere gli orizzonti lunghi adattivi (usando orizzonti brevi fissi) causa il crollo delle prestazioni a causa della sovrastima del valore.
  • LayerNorm: Rimuovere LayerNorm porta a una rapida esplosione degli errori nelle previsioni dello stato.
  • Truncation dell'Incertezza: Usare un orizzonte breve fisso o una soglia di incertezza bassa ($\zeta < 0.99$) porta al fallimento, confermando la necessità di orizzonti lunghi e adattivi.
  • Memoria: Mentre gli agenti Markoviani funzionano su alcuni compiti di locomozione, gli agenti dipendenti dalla storia sono cruciali per compiti ad alta incertezza come AntMaze.

5. Significato e Impatto

• Cambiamento di Paradigma: Il paper sfida il dogma "il pessimismo è necessario" nell'RL offline, suggerendo un passaggio verso la neutralità bayesiana dove gli agenti si adattano all'incertezza invece di evitarla.
• Linee Guida Pratiche: Fornisce una nuova ricetta per l'RL basato su modelli: utilizzare grandi ensemble, LayerNorm e orizzonti lunghi adattivi invece di orizzonti brevi e penalità per l'incertezza.
• Adattamento al Momento del Test: Il lavoro evidenzia il potenziale di agenti di RL offline che possono adattare il proprio comportamento intra-episodio in base alla storia osservata, una capacità che le politiche conservatrici e markoviane non possiedono.
• Direzione Futura: Gli autori suggeriscono che, man mano che la modellazione del mondo migliora (es. tramite modelli generativi), i limiti dell'RL offline bayesiano possono essere spinti ulteriormente, spostando il campo verso un'"era dell'esperienza" in cui gli agenti affinano il comportamento attraverso l'interazione al momento del test.

In sintesi, NEUBAY dimostra che abbracciando una prospettiva bayesiana e sfruttando la pianificazione a lungo orizzonte con truncation adattiva, è possibile ottenere prestazioni di RL offline robuste e adattive senza le penalità restrittive del conservatorismo esplicito.