Technische Samenvatting: PERRY – Beleidsevaluatie met Betrouwbaarheidsintervallen met behulp van Hulppdata

Probleemstelling

Off-policy evaluatie (OPE) is cruciaal voor het schatten van de waarde van een nieuw reinforcement learning (RL) beleid vóór implementatie, met name in domeinen met hoge inzet zoals de gezondheidszorg, waar directe experimenten riskant zijn. Standaard OPE-methoden hebben vaak moeite wanneer het doelbeleid (target policy) aanzienlijk verschilt van het gedragsbeleid (behavior policy) door beperkte datasetdekking. Recente ontwikkelingen suggereren dat het benutten van hulpdatasets, zoals synthetische trajecten gegenereerd door generatieve modellen, de nauwkeurigheid van OPE kan verbeteren. Deze hulpdatasets kunnen echter bias introduceren, en bestaande methoden voor het gebruik van data-augmentatie in OPE missen een principiële onzekerheidskwantificering. In scenario's met hoge inzet zijn betrouwbare betrouwbaarheidsintervallen (CI's) essentieel voor veilige beleidsselectie. Momenteel biedt geen enkele bestaande methode formele garanties voor CI's in OPE-settings die offline (echte) data combineren met synthetische trajecten.

Methodologie

Het artikel stelt twee methoden voor, CP-Gen en DR-PPI, om geldige betrouwbaarheidsintervallen te construeren voor OPE in Markov Beslissingsprocessen (MDP's) met gebruikmaking van zowel echte als synthetische data.

1. CP-Gen: Conformal Predictie voor Toestandsgeconditioneerde Waarden

CP-Gen richt zich op de taak van het schatten van de beleidswaarde geconditioneerd op een specifieke initiële toestand, $V^\pi(s)$. Dit is cruciaal in scenario's waar belanghebbenden beleid moeten selecteren voor individuen die in dezelfde toestand beginnen (bijv. patiënten met identieke ziektestadia).

• Kernconcept: De methode deelt de beleidswaarde op in een simulator-schatting (met behulp van synthetische trajecten) en een "modelbias"-term (het verschil tussen echte en synthetische returns).
• Mechanisme: Het maakt gebruik van een nieuw conformal prediction-framework dat is afgestemd op MDP's met continue toestandsruimtes.
  • Het construeert een voorspellingsinterval voor het return-verschil tussen een echt traject en een overeenkomstig synthetisch traject dat vanuit dezelfde toestand begint.
  • Om de distributieverschuiving tussen het gedragsbeleid ($\pi_b$) en het doelbeleid ($\pi_e$) en de continue aard van de toestandsruimte aan te pakken, introduceren de auteurs een $\epsilon$-benaderingstechniek. Dit benadert de belangheidsgewichten (importance weights) door te conditioneren op lokale buurten (bollen met straal $\epsilon_s$ rond de toestand en $\epsilon_r$ rond het return-verschil) in plaats van exacte punten, waardoor de schatting van de gewichten hanteerbaar wordt.
  • Het uiteindelijke betrouwbaarheidsinterval voor $V^\pi(s)$ wordt gevormd door de conformal band van het return-verschil toe te voegen aan de synthetische schatting.

2. DR-PPI: Doubly Robust Schatting voor Ongeconditioneerde Waarden

DR-PPI richt zich op de meer gangbare taak van het schatten van de gemiddelde prestatie van het beleid over de distributie van initiële toestanden, $V^\pi = \mathbb{E}_{s_0}[V^\pi(s_0)]$.

• Kernconcept: Deze methode put inspiratie uit Doubly Robust (DR) schatting en Prediction-Powered Inference (PPI).
• Mechanisme:
  • De gedragsdataset wordt in twee delen gesplitst ($D_1, D_2$) voor cross-fitting.
  • Een generatief model wordt getraind op één split om synthetische trajecten (rollouts) onder het doelbeleid te produceren.
  • De estimator combineert een model-gebaseerde term (het middelen van returns van synthetische trajecten) met een correctieterm afgeleid van de echte data. De correctieterm gebruikt importance sampling (IS) op echte trajecten om de bias te corrigeren die door het generatieve model wordt geïntroduceerd.
  • Specifiek wordt voor elk echt traject meerdere synthetische trajecten gegenereerd vanuit dezelfde initiële toestand om de verwachte synthetische return te schatten, die vervolgens wordt afgetrokken van de hergewogen echte return.
  • De uiteindelijke schatting is het gemiddelde van twee cross-fitted estimators, waarbij de variantie wordt berekend om een asymptotisch betrouwbaarheidsinterval te construeren.

Belangrijkste Bijdragen

1. Formalisering: De auteurs formaliseren het probleem van onzekerheidskwantificering voor OPE in MDP's die gebruikmaken van synthetisch gegenereerde trajecten.
2. Nieuwe Algoritmen: Ze introduceren CP-Gen en DR-PPI, twee methoden ontworpen voor respectievelijk toestand-geconditioneerde en ongeconditioneerde beleidswaarde-estimatie.
3. Theoretische Garanties:
   • CP-Gen: Is bewezen geldige conformal prediction-intervallen te produceren met dekingsgaranties die asymptotisch of binnen een kleine foutmarge gelden voor eindige steekproeven, zelfs in continue toestandsruimtes. De foutmarge is expliciet begrensd als een functie van de benaderingsradii ($\epsilon_s, \epsilon_r$).
   • DR-PPI: Is bewezen asymptotisch geldige betrouwbaarheidsintervallen te leveren, zelfs als het generatieve model verkeerd gespecificeerd is, mits de importance-sampling correctie consistent is.
4. Empirische Validatie: Uitgebreide experimenten in vier domeinen (Voorraadbeheer, Sepsis-behandeling, Robotbesturing en MIMIC-IV EHR-data) tonen aan dat deze methoden effectief gebruikmaken van hulpdata om CI's te produceren die de grondwaarheid (ground truth) dekken, vaak met nauwere intervallen dan baselines die enkel op echte data vertrouwen.

Experimentele Resultaten

De auteurs hebben hun methoden geëvalueerd tegenover verschillende baselines, waaronder Importance Sampling (IS), Direct Method (DM), Doubly Robust (DR) en hun uitgebreide varianten (AugIS, AugDR), evenals conformal baselines uit eerder werk (Foffano et al., 2023).

• Dekking (Coverage): Zowel CP-Gen als DR-PPI produceerden consistent betrouwbaarheidsintervallen die de werkelijke beleidswaarden dekten over alle geteste domeinen.
• Intervalbreedte: In veel settings, met name met continue toestandsruimtes (Voorraad, D4RL HalfCheetah, MIMIC-IV), produceerden de voorgestelde methoden aanzienlijk nauwere intervallen dan de baselines. Zo produceerde CP-Gen in het Voorraad-domein een intervallengte van 5531,60 vergeleken met 8550,00 voor de Foffano et al. baseline, terwijl de grondwaarheid nog steeds werd gedekt.
• Robuustheid: De methoden bleken robuust tegen matige mis-specificatie van het gedragsbeleid en variaties in de kwaliteit (ruis) van de synthetische trajecten.
• Falen van Baselines: Baselines die naïef data augmenteren zonder principiële onzekerheidscorrectie (bijv. AugIS, AugDR) produceerden vaak bevooroordeelde intervallen die de grondwaarheid niet dekten of resulteerden in exponentieel grote intervallen vanwege variantieproblemen in Q-learning.

Betekenis en Claims

Het artikel claimt een belangrijke stap te hebben gezet naar het mogelijk maken van onzekerheidsbewuste OPE in regimes waar zowel echte als synthetische trajecten worden gebruikt. De auteurs benadrukken dat hun werk fundamenteel is voor domeinen met hoge inzet, waar veilige implementatie van RL-beleid een rigoureuze onzekesschatting vereist.

• Het Gat Dichten: Het werk adresseert een kritiek gat waarbij bestaande OPE-methoden met data-augmentatie een gebrek hebben aan formele garanties over de kwaliteit van de schatting.
• Schaalbaarheid: Door de $\epsilon$-benadering te introduceren, breidt CP-Gen conformal prediction uit naar MDP's met continue en hogere dimensionele toestandsruimtes, een setting waar eerdere conformal OPE-methoden moeite mee hadden.
• Praktisch Nut: De empirische resultaten suggereren dat het benutten van synthetische data, mits gekoppeld aan deze specifieke technieken voor onzekerheidskwantificering, de precisie van OPE-schattingen kan verbeteren zonder de validiteit op te offeren.

De auteurs blijven bescheiden over beperkingen en merken op dat de keuze van hyperparameters ($\epsilon_s, \epsilon_r$) steeds belangrijker wordt in omgevingen met hogere dimensies en dat toekomstig werk nodig is om meer principiële procedures voor hun selectie te ontwikkelen en om alternatieve generatieve modellen zoals diffusiemodellen te verkennen. Ze erkennen ook dat de theoretische garanties voor CP-Gen een kleine foutmarge impliceren die afhankelijk is van deze parameters.