Sintesi Tecnica: PERRY – Valutazione delle Politiche con Intervalli di Confidenza utilizzando Dati Ausiliari

Definizione del Problema

La valutazione off-policy (OPE) è fondamentale per stimare il valore di una nuova politica di apprendimento per rinforzo (RL) prima del deployment, particolarmente in domini ad alto rischio come l'assistenza sanitaria, dove l'esperimentazione diretta è rischiosa. I metodi OPE standard spesso faticano quando la politica target differisce significativamente dalla politica di comportamento a causa della copertura limitata dei dati. Progressi recenti suggeriscono che l'utilizzo di dataset ausiliari, come traiettorie sintetiche generate da modelli generativi, può migliorare l'accuratezza dell'OPE. Tuttavia, questi dataset ausiliari possono introdurre bias, e i metodi esistenti per l'uso dell'augmentation dei dati nell'OPE mancano di una quantificazione dell'incertezza basata su principi rigorosi. In contesti ad alto rischio, intervalli di confidenza (CI) affidabili sono essenziali per una selezione sicura delle politiche. Attualmente, nessun metodo esistente fornisce garanzie formali per i CI in contesti OPE che combinano dati offline (reali) con traiettorie sintetiche.

Metodologia

Il paper propone due metodi, CP-Gen e DR-PPI, per costruire intervalli di confidenza validi per l'OPE nei Processi Decisionali di Markov (MDP) utilizzando sia dati reali che sintetici.

1. CP-Gen: Conformal Prediction per Valori Condizionati allo Stato

CP-Gen affronta il compito di stimare il valore della politica condizionato a uno specifico stato iniziale, $V^\pi(s)$. Ciò è cruciale in scenari in cui gli stakeholder devono selezionare politiche per individui che partono dallo stesso stato (ad esempio, pazienti con fasi di malattia identiche).

• Concetto Core: Il metodo decompone il valore della politica in una stima del simulatore (utilizzando traiettorie sintetiche) e un termine di "bias del modello" (la discrepanza tra i rendimenti reali e quelli sintetici).
• Meccanismo: Utilizza un nuovo framework di conformal prediction adattato per MDP con spazi di stato continui.
  • Costruisce un intervallo di predizione per la differenza di rendimento tra una traiettoria reale e una corrispondente traiettoria sintetica partendo dallo stesso stato.
  • Per gestire lo shift di distribuzione tra la politica di comportamento ($\pi_b$) e la politica target ($\pi_e$), e la natura continua dello spazio di stato, gli autori introducono una tecnica di $\epsilon$-approssimazione. Questa approssima i pesi di importanza condizionandosi su vicinati locali (sfere di raggio $\epsilon_s$ attorno allo stato e $\epsilon_r$ attorno alla differenza di rendimento) piuttosto che su punti esatti, rendendo la stima dei pesi trattabile.
  • Il intervallo di confidenza finale per $V^\pi(s)$ è formato aggiungendo la banda conforme della discrepanza di rendimento alla stima sintetica.

2. DR-PPI: Stima Doubly Robust per Valori Incondizionati

DR-PPI mira al compito più comune di stimare la performance media della politica sulla distribuzione degli stati iniziali, $V^\pi = \mathbb{E}_{s_0}[V^\pi(s_0)]$.

• Concetto Core: Questo metodo trae ispirazione dalla stima Doubly Robust (DR) e dalla Prediction-Powered Inference (PPI).
• Meccanismo:
  • Il dataset di comportamento viene diviso in due parti ($D_1, D_2$) per il cross-fitting.
  • Un modello generativo viene addestrato su una delle divisioni per produrre traiettorie sintetiche (rollout) sotto la politica target.
  • Lo stimatore combina un termine basato sul modello (media dei rendimenti dalle traiettorie sintetiche) con un termine di correzione derivato dai dati reali. Il termine di correzione utilizza l'importance sampling (IS) sulle traiettorie reali per correggere il bias introdotto dal modello generativo.
  • Nello specifico, per ogni traiettoria reale, vengono generate molteplici traiettorie sintetiche dallo stesso stato iniziale per stimare il rendimento sintetico atteso, che viene poi sottratto dal rendimento reale ripesato.
  • La stima finale è la media di due stimatori cross-fitted, e la varianza è calcolata per costruire un intervallo di confidenza asintotico.

Contributi Chiave

1. Formalizzazione: Gli autori formalizzano il problema della quantificazione dell'incertezza per l'OPE in MDP che sfruttano traiettorie generate sinteticamente.
2. Algoritmi Innovativi: Introducono CP-Gen e DR-PPI, due metodi progettati rispettivamente per la stima del valore della politica condizionato allo stato e incondizionato.
3. Garanzie Teoriche:
   • CP-Gen: Dimostrato che produce intervalli di conformal prediction con garanzie di copertura che valgono asintoticamente o entro un piccolo margine di errore per campioni finiti, anche in spazi di stato continui. Il margine di errore è esplicitamente limitato come funzione dei raggi di approssimazione ($\epsilon_s, \epsilon_r$).
   • DR-PPI: Dimostrato che produce intervalli di confidenza asintoticamente validi, anche se il modello generativo è errato (misspecified), a condizione che la correzione di importance-sampling sia consistente.
4. Validazione Empirica: Esperimenti estesi in quattro domini (Controllo dell'Inventario, Trattamento della Sepsi, Controllo Robotico e dati EHR MIMIC-IV) dimostrano che questi metodi sfruttano efficacemente i dati ausiliari per produrre CI che coprono i valori reali, spesso con intervalli più stretti rispetto ai baseline che si affidano solo a dati reali.

Risultati Sperimentali

Gli autori hanno valutato i loro metodi contro diversi baseline, inclusi Importance Sampling (IS), Direct Method (DM), Doubly Robust (DR) e le loro varianti aumentate (AugIS, AugDR), nonché i baseline conformi di lavori precedenti (Foffano et al., 2023).

• Copertura: Sia CP-Gen che DR-PPI hanno prodotto costantemente intervalli di confidenza che coprivano i valori reali delle politiche in tutti i domini testati.
• Ampiezza dell'Intervallo: In molti setting, particolarmente con spazi di stato continui (Inventory, D4RL HalfCheetah, MIMIC-IV), i metodi proposti hanno prodotto intervalli significativamente più stretti rispetto ai baseline. Ad esempio, nel dominio Inventory, CP-Gen ha prodotto un intervallo di lunghezza 5531.60 rispetto a 8550.00 del baseline di Foffano et al., pur coprendo il valore reale.
• Robustezza: I metodi si sono rivelati robusti a una moderata misspecification della politica di comportamento e alle variazioni nella qualità (rumore) delle traiettorie sintetiche.
• Fallimenti dei Baseline: I baseline che aumentano i dati ingenuamente senza una correzione dell'incertezza basata su principi (ad esempio, AugIS, AugDR) hanno spesso prodotto intervalli distorti che non coprivano il valore reale o risultavano in intervalli esponenzialmente grandi a causa dei problemi di varianza nel Q-learning.

Significato e Rivendicazioni

Il paper sostiene di aver compiuto un passo significativo verso l'abilitazione dell'OPE consapevole dell'incertezza in regimi in cui vengono utilizzati sia dati reali che sintetici. Gli autori sottolineano che il loro lavoro è fondamentale per domini ad alto rischio dove il deployment sicuro di politiche RL richiede stime rigorose dell'incertezza.

• Colmare il Divario: Il lavoro affronta un vuoto critico dove i metodi OPE esistenti con augmentation dei dati mancano di garanzie formali sulla qualità della stima.
• Scalabilità: Introducendo l'$\epsilon$-approssimazione, CP-Gen estende la conformal prediction agli MDP con spazi di stato continui e ad alta dimensionalità, un setting in cui i precedenti metodi di conformal OPE faticavano.
• Utilità Pratica: I risultati empirici suggeriscono che l'utilizzo di dati sintetici, se accoppiato a queste specifiche tecniche di quantificazione dell'incertezza, può migliorare la precisione delle stime OPE senza sacrificare la validità.

Gli autori rimangono modesti riguardo ai limiti, notando che la scelta degli iperparametri ($\epsilon_s, \epsilon_r$) diventa sempre più consequenziale in contesti ad alta dimensionalità e che sono necessari lavori futuri per sviluppare procedure più basate su principi per la loro selezione e per esplorare modelli generativi alternativi come i modelli di diffusione. Riconoscono inoltre che le garanzie teoriche per CP-Gen comportano un piccolo margine di errore dipendente da questi parametri.