Quantifying Potential Observation Missingness in Inverse Reinforcement Learning

Technische Samenvatting: Kwantificering van Potentiële Ontbrekende Observaties in Inverse Reinforcement Learning

Probleemstelling
Inverse Reinforcement Learning (IRL) leidt beloningsfuncties af uit expertdemonstraties om besluitvormingsgedrag te modelleren. Hoewel er varianten van IRL zijn ontwikkeld om subjectieve overtuigingen, imperfect plannen en verschuivende doelen te hanteren, is een kritiek probleem dat vaak over het hoofd wordt gezien in real-world datasets (met name in de gezondheidszorg) ontbrekende observaties. In veel scenario's ontbreken in de vastgelegde data observaties die op het moment van handelen beschikbaar waren voor de oorspronkelijke besluitvormer.

Wanneer dergelijke informatie ontbreekt, kunnen expertacties voor een standaard-IRL-algoritme suboptimaal lijken, wat leidt tot misleidende inferenties over de beloningsfunctie. Als een arts bijvoorbeeld een beslissing neemt die afhangt van een niet-geregistreerde biomarker, zou standaard-IRL kunnen concluderen dat de arts suboptimaal handelt of dat de beloningsfunctie inconsistent is, in plaats van te erkennen dat de beslissing optimaal was gezien de niet-geobserveerde context. Het artikel stelt dat het, in plaats van te proberen ontbrekende data te imputeren of de exacte ontbrekende waarden te herstellen, waardevoller is om de minimale omvang van ontbrekende informatie te kwantificeren die nodig is om het waargenomen gedrag als optimaal te verklaren.

Methodologie: Minimum-Perturbatie IRL (MP-IRL)
De auteurs stellen MP-IRL voor, een tweefasig raamwerk dat is ontworpen om de kleinste perturbatie aan vastgelegde observaties te vinden die nodig is om expertacties in overeenstemming te brengen met een optimaal beleid.

1. Probleemformulering:

   • De setting veronderstelt een gedragsdataset $D = \{x_{nt}, a_{nt}\}$ waarbij $x_{nt}$ vastgelegde toestanden zijn en $a_{nt}$ acties. De ware staat bevat niet-geregistreerde componenten $\tilde{x}_{nt}$.
   • In plaats van de dynamiek van ontbrekende data te modelleren, introduceert de methode een statische latente factor $z_n$ voor elke traject $n$, die de ontbrekende context vertegenwoordigt.
   • Het doel is om de grootte van deze latente factoren $\{z_n\}$ te minimaliseren, onderworpen aan de beperking dat de expertacties bijna-optimaal zijn onder een beloningsfunctie $r_\theta(z_n, x_{nt}, a_{nt})$.
   • Om ervoor te zorgen dat de grootte van $z_n$ betekenisvol is, parameteriseren de auteurs de beloning met behulp van kernfuncties. De beloning is een som van een gedeelde basisbeloning $\bar{r}_\theta(x_{nt}, a_{nt})$ en een traject-specifiek perturbatieterm gedefinieerd door kerncentra $\mu_k$ en coëfficiënten $z_n$. De omvang van de ontbrekende informatie wordt gemeten door de $\ell_1$-norm van de coëfficiënten $\|z_n\|_1$.

2. Algoritme (Tweefasige Optimalisatie):

   • Fase 1 (Basis-IRL): Het algoritme voert standaard-IRL uit op alleen de vastgelegde data (door alle $z_n = 0$ te stellen). Dit extrahert de best mogelijke basisbeloning $\bar{r}_\theta$ die het gedrag verklaart zonder enige ontbrekende context.
   • Fase 2 (MP-IRL): De parameters van de basisbeloning worden bevroren. Het algoritme optimaliseert vervolgens het critic-netwerk en de traject-specifieke latente coëfficiënten $z_n$ (en optioneel kerncentra $\mu$).
   • Regularisatie: De doelfunctie in Fase 2 bevat straffactoren voor sparsiteit ($\ell_1$- en $\ell_2$-normen op $z_n$) om het principe van "minimale perturbatie" af te dwingen. Dit zorgt ervoor dat de latente variabelen alleen de variantie verklaren die de basisbeloning niet kan verklaren, waardoor wordt voorkomen dat het model overfittet of gedrag verklaart door willekeurige wijzigingen in de gedeelde beloningsstructuur.

Belangrijkste Bijdragen

• Conceptueel: Het artikel introduceert een nieuw perspectief op ontbrekende informatie in IRL: het kwantificeren van de minimale niet-geobserveerde context die nodig is om waargenomen acties optimaal te laten lijken, in plaats van te proberen de ontbrekende data zelf te herstellen.
• Technisch: De ontwikkeling van MP-IRL, een algoritme dat dit formuleert als een geconstrueerd optimalisatieprobleem met behulp van kerngebaseerde perturbaties en een tweefasige trainingsprocedure om de gedeelde beloningsstructuur te scheiden van traject-specifieke ontbrekende context.
• Empirisch: Aantonen dat de grootte van de geleerde perturbaties correleert met de hoeveelheid ontbrekende informatie en dat de methode kan lokaliseren waar ontbrekende context kritiek is (bijvoorbeeld specifieke besluitvormingsregio's).

Experimentele Resultaten
De auteurs evalueren MP-IRL op drie synthetische continue navigatietaken, een kankerbehandelingssimulator en een real-world dataset voor hypotensiebeheer op de intensive care (MIMIC-IV).

• Navigatietaken: In taken waarbij verborgen binaire variabelen acties bepalen in specifieke "besluitvormingsregio's", faalt standaard-IRL om expertacties binnen deze regio's te matchen (nauwkeurigheid ~60%). MP-IRL herstelt de nauwkeurigheid tot bijna 98-99%. Cruciaal is dat de geleerde perturbatiegrootte ($\|z_n\|_1$) schaalt met de complexiteit van de ontbrekende informatie: taken die één verborgen bit vereisen, leverden kleinere perturbaties op dan taken die twee onafhankelijke verborgen bits vereisten.
• Kankersimulator: De methode werd getest met variërende mate van feature-maskering (van "alle features" tot "alleen tijd"). Naarmate meer features werden verborgen, degradeerde de prestatie van standaard-IRL (lagere nauwkeurigheid, hogere Negative Log-Likelihood). MP-IRL behield een hoge nauwkeurigheid, en de vereiste perturbatiegrootte nam monotoon toe met de hoeveelheid ontbrekende informatie (bijvoorbeeld van 0,54 tot 1,65 naarmate features werden verwijderd).
• ICU Hypotensie-taak: Op real klinische data verbeterde MP-IRL de actie-matchingsnauwkeurigheid significant ten opzichte van standaard-IRL (bijvoorbeeld van ~55% tot ~90%). De perturbatiegrootte bleef stabiel wanneer laag-predictieve features werden toegevoegd, wat aangeeft dat de metric besluitrelevante ontbrekende informatie weerspiegelt en niet alleen de omvang van de waargenomen data.

Betekenis en Claims
Het artikel claimt dat MP-IRL een diagnostisch hulpmiddel biedt voor gedragsdatasets. Door de minimale perturbatie te kwantificeren die nodig is om expertgedrag te verklaren, kunnen onderzoekers beoordelen of schijnbare suboptimaliteit in een dataset het gevolg is van slechte besluitvorming of simpelweg ontbrekende klinische context.

• Praktische Nut: Als de potentiële ontbrekende informatie substantieel is, suggereert dit dat downstream taken (zoals beleidsevaluatie of offline RL) met voorzichtigheid moeten worden benaderd of dat de processen voor dataverzameling verbeterd moeten worden.
• Interpreteerbaarheid: De methode lokaliseert ontbrekende informatie naar specifieke regio's van de toestandsruimte (bijvoorbeeld specifieke tijdstappen in kankerbehandeling of specifieke besluitvormingsgrenzen in navigatie), wat inzicht biedt in waar de vastgelegde data ontoereikend is.
• Beperkingen: De auteurs erkennen dat de kerngebaseerde representatie moeite kan hebben in zeer hoogdimensionale toestandsruimten vanwege de data-eisen voor het optimaliseren van gelokaliseerde kernen.

Het werk claimt niet de exacte ontbrekende waarden te herstellen, maar eerder een kwantitatieve bovengrens te bieden aan de omvang van ontbrekende informatie die nodig is om de aanname van expertoptimaliteit te handhaven.