Sintesi Tecnica: STITCH-OPE

Problematica

La valutazione off-policy (OPE - Off-Policy Evaluation) mira a stimare le prestazioni di una policy target ($\pi$) utilizzando dati offline raccolti da una diversa policy di comportamento ($\beta$). Questo è fondamentale in domini come la robotica e l'assistenza sanitaria, dove l'interazione online è costosa o rischiosa. Tuttavia, i metodi esistenti di OPE faticano con problemi ad alta dimensionalità e a lungo orizzonte a causa di due modalità primarie di fallimento:

1. Importance Sampling (IS): Soffre della "maledizione dell'orizzonte", in cui la varianza cresce esponenzialmente con l'orizzonte di valutazione.
2. Metodi basati su Modello (Model-Based): Sebbene efficienti dal punto di vista del campionamento, soffrono di errori cumulativi (compounding errors) quando apprendono modelli di dinamica per traiettorie lunghe, portando a stime del valore imprecise.
3. Spostamento della Distribuzione (Distribution Shift): Le differenze tra $\beta$ e $\pi$ portano a stime imprecise, rendendo difficile fidarsi della selezione della policy prima del deployment.

Recenti tentativi che utilizzano la stima del rapporto di densità model-free hanno mostrato scarse prestazioni empiriche quando le policy di comportamento e target differiscono significativamente.

Metodologia: STITCH-OPE

Gli autori propongono STITCH-OPE (Sub-Trajectory Importance-Weighted Trajectory Composition for Long-Horizon OPE), un framework generativo basato su modelli che sfrutta i modelli di diffusione di denoising. L'innovazione principale risiede nella generazione di traiettorie sintetiche per la policy target guidando un modello di diffusione addestrato sui dati di comportamento, evitando al contempo gli errori cumulativi della generazione di intere traiettorie.

1. Diffusione Guidata per la Correzione dello Spostamento della Distribuzione

Invece di riaddestrare un modello per ogni nuova policy target, STITCH-OPE pre-addestra un modello di diffusione sul dataset di comportamento ($D_\beta$) per apprendere la distribuzione delle traiettorie di comportamento $p_\beta(\tau)$. Durante l'inferenza, genera traiettorie della policy target ($p_\pi$) guidando il processo di denoising.

La funzione di guida $g(\tau)$ è derivata dal rapporto di verosimiglianza tra le policy target e di comportamento. Interpretando il rapporto di verosimiglianza come una densità di classificazione nel guidance della diffusione, gli autori formulano la guida come la differenza tra le funzioni di score:
$$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$$
Ciò consente al modello di spostare la distribuzione di campionamento da $p_\beta$ verso $p_\pi$ senza riaddestramento.

2. Guida di Comportamento Negativa (Negative Behavior Guidance)

Un contributo tecnico chiave è l'inclusione del termine di score di comportamento negativo ($-\nabla_\tau \log \beta$).

• Problema: L'uso del solo score della policy target ($\nabla_\tau \log \pi$) può causare il collasso della distribuzione di campionamento guidata nelle regioni ad alta densità della policy di comportamento, anche se tali regioni sono improbabili sotto la policy target (sovra-regolarizzazione).
• Soluzione: Sottrarre lo score di comportamento previene questo collasso, garantendo che il modello generalizzi al di fuori dei dati (out-of-data) e affronti correttamente lo spostamento della distribuzione. Gli autori generalizzano questo concetto con i coefficienti $\alpha$ e $\lambda$ (dove tipicamente $\lambda < \alpha$) per controllare l'importanza relativa delle policy.

3. Cucitura di Traiettorie con Diffusione Condizionale (Trajectory Stitching)

Per affrontare l'errore cumulativo della generazione a lungo orizzonte, STITCH-OPE non genera intere traiettorie in un unico passaggio. Invece:

• Generazione di Sub-Traiettorie: Il modello di diffusione è addestrato su brevi sub-traiettorie di lunghezza $w \ll T$.
• Campionamento Condizionale: La generazione avviene in modo semi-autoregressivo. Il modello genera una sub-traiettoria condizionata dallo stato finale della sub-traiettoria precedentemente generata.
• Cucitura (Stitching): Queste esecuzioni parziali (rollout) vengono cucite end-to-end per formare una traiettoria di lunghezza completa.

Questo approccio tratta la distribuzione della traiettoria di comportamento come un mix di sub-traiettorie. Condizionandosi solo allo stato precedente immediato (anziché all'intera storia), il modello mantiene un'entropia più elevata e una copertura più ampia dei modi dei dati di comportamento, migliorando significativamente la composizionalità e la generalizzazione a nuovi stati iniziali.

Garanzie Teoriche

Il documento fornisce un limite teorico sull'errore quadratico medio (MSE) dello stimatore STITCH-OPE (Teorema 3.3).

• Sotto ipotesi deboli (rapporto di verosimiglianza limitato ed errore limitato nel modello di comportamento appreso), l'MSE è limitato.
• Fondamentalmente, il limite dipende dalla lunghezza della sub-traiettoria $w$ piuttosto che dall'orizzonte totale $T$.
• Ciò risulta in una riduzione esponenziale della varianza rispetto al classico Importance Sampling (che scala come $O(\exp(T))$) e una dipendenza polinomiale più favorevole ($O(T^2)$) rispetto ai metodi di diffusione a traiettoria completa.

Risultati Empirici

Gli autori hanno valutato STICH-OPE sul benchmark D4RL (Hopper, Walker2d, HalfCheetah) e OpenAI Gym (Pendulum, Acrobot).

• Prestazioni: STITCH-OPE ha superato i baseline allo stato dell'arte (inclusi Fitted Q-Evaluation, Doubly Robust, Importance Sampling e Policy-Guided Diffusion) in 11 casi su 15 attraverso varie metriche:
  • Log RMSE: Significativa riduzione dell'errore.
  • Correlazione di Rango (Rank Correlation): Migliore capacità di classificare correttamente le policy target.
  • Regret@1: Minore regret nella selezione della migliore policy.
• Diffusion Policies: Il metodo ha valutato con successo complesse policy target definite come modelli di diffusione, un compito in cui altri stimatori faticano a causa della mancanza di distribuzioni di probabilità esplicite.
• Ablation: Gli esperimenti hanno confermato che le prestazioni ottimali si ottengono con una dimensione della finestra ridotta ($w=8$) e una configurazione di guida in cui il termine di comportamento negativo è presente ($0 < \lambda < \alpha$).

Significato e Rivendicazioni

Il documento sostiene che STITCH-OPE sia il primo lavoro a dimostrare una valutazione off-policy robusta in compiti ad alta dimensionalità e a lungo orizzonte. La sua importanza risiede in:

1. Colmare il divario: Colma con successo il divario tra l'OPE basata su modelli (efficienza di campionamento) e la diffusione offline a traiettoria completa (capacità generativa) mitigando gli errori cumulativi tramite la cucitura delle traiettorie.
2. Scalabilità: Dimostra che i modelli di diffusione possono essere applicati all'OPE in spazi ad alta dimensionalità senza soffrire l'esplosione esponenziale della varianza tipica dei metodi IS.
3. Generalizzazione: La combinazione di diffusione condizionale e guida di comportamento negativa permette una valutazione robusta di policy target che deviano significativamente dalla policy di comportamento, incluse quelle con diversi stati iniziali o distribuzioni di azione.

Gli autori rimangono modesti riguardo ai limiti, notando che il metodo si basa sull'assunzione che i dati di comportamento coprano il supporto della policy target (Assunzione 3.1) e che valutare la fedeltà della traiettoria in stati complessi e parzialmente osservabili rimane una sfida. Notano inoltre che l'applicabilità a problemi specifici del dominio al di fuori della robotica rimane una questione aperta.