📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

Dit artikel introduceert LURE, de eerste methode voor offline reinforcement learning met verborgen acties, die de volgende-toestand variabelen gebruikt als proxies om een meervoudig robuuste en statistisch geldige beleidswaardeschatting mogelijk te maken in oneindige-horizon Markov beslissingsprocessen.

Oorspronkelijke auteurs: Zeyu Bian, Ying Zhou, Yifan Cui

Gepubliceerd 2026-07-29

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zeyu Bian, Ying Zhou, Yifan Cui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een complex spel moet spelen, zoals het navigeren door een stad of het beheren van de gezondheid van een patiënt. Je laat de robot het spel niet in realtime doorlopen; in plaats daarvan geef je hem een gigantisch logboek met eerdere pogingen die door een menselijke speler zijn gedaan. Dit is de wereld van Reinforcement Learning (RL), een tak van kunstmatige intelligentie waarbij computers leren door middel van vallen en opstaan om de beste beslissingen te nemen over een langere periode. Het doel is meestal om uit te vogelen: "Als we in de toekomst een specifieke set regels (een beleid) volgen, hoe goed zouden we dan presteren, gebaseerd op dit oude logboek?"

Er zit echter een addertje onder het gras. In de echte wereld zijn logboeken zelden perfect. Soms heeft de persoon die de aantekeningen maakte een fout gemaakt, of was het systeem dat de gegevens registreerde glitchy. In de taal van dit artikel kan de "actie" die de mens daadwerkelijk heeft ondernomen (zoals het toedienen van een specifiek medicijn) verborgen zijn, en zien we alleen een "proxy" of een ruizige schatting van wat er gebeurde (zoals een doktersnotitie die zegt "medicijn toegediend" terwijl dat eigenlijk niet zo was, of andersom). Als je de robot probeert te onderwijzen met een logboek vol van deze fouten, zal hij de verkeerde lessen leren, wat later leidt tot slechte beslissingen. Dit artikel pakt het lastige probleem aan van hoe je effectief kunt leren wanneer het belangrijkste deel van het verhaal — de ware actie — ontbreend of vermomd is.

Het Mysterie van de Ontbrekende Beweging

In het artikel getiteld "Learning from the Unseen" worden de auteurs, Zeyu Bian, Ying Zhou en Yifan Cui, geconfronteerd met een detectiveverhaal waarbij de belangrijkste aanwijzing ontbreekt. Stel je voor dat je een detective bent die een misdaad probeert op te lossen door naar een beveiligingsvideo te kijken. Maar hier komt de twist: de video toont de schaduw van de verdachte, niet de verdachte zelf. Je ziet de schaduw bewegen, maar je weet niet precies wat de handen van de verdachte deden. In de wereld van data science wordt dit "verborgen acties" genoemd.

Normaal gesproken, wanneer wetenschappers proberen een strategie te evalueren met behulp van historische gegevens (een proces dat Off-Policy Evaluation wordt genoemd), gaan ze ervan uit dat het logboek perfect is. Ze gaan ervan uit dat als het logboek zegt "Actie A werd ondernomen", dan Actie A ook daadwerkelijk is ondernomen. Maar in de rommelige realiteit — zoals ziekenhuisarchieven waar een arts een behandeling pas uren later opschrijft, of een systeem dat per ongeluk een knopdruk verkeerd labelt — is deze aanname een valstrik. Als je de fouten negeert, zal je evaluatie van de strategie bevooroordeeld zijn, zoals het beoordelen van de kookkunsten van een chef op basis van een menu met de verkeerde ingrediënten.

De Magie van de Volgende Stap

De grote doorbraak van de auteurs is het inzicht dat, zelfs als je de "actie" niet direct kunt zien, je de schaduw ervan vaak wel kunt zien in het volgende moment.

Denk er zo over na: Als een goochelaar een toverstaf zwaait (de verborgen actie), zie je de staf misschien niet duidelijk door een vlek op de camera. Maar je kunt wel zien dat het konijn in de hoed verschijnt (de volgende staat). Het konijn is niet zomaar uit het niets verschenen; het verscheen omdat de staf werd gezwaaid. Door de relatie tussen de "volgende staat" (het konijn) en de "ruizige notitie" (de vlekkerige video) te bestuderen, hebben de auteurs ontdekt hoe ze wiskundig kunnen reconstrueren wat de goochelaar daadwerkelijk deed.

Ze noemen hun nieuwe methode LURE (Learning from the Unseen: Robust Estimator). Het is als een super slimme detective die niet alleen naar de wazige foto van de verdachte kijelt, maar ook naar de voetstappen en het weerbericht kijkt om te deduceren wat er precies is gebeurd.

Hoe LURE Werkt: Het "Dubbelcheck"-Systeem en de Gereedschapskist van de Detective

Het artikel introduceert een slimme manier om de waarde van een strategie te schatten zonder gefopt te worden door de fouten. Ze gebruiken een concept genaamd Multiple Robustness.

Stel je voor dat je probeert te raden wat de temperatuur buiten is, maar je thermometer is kapot. Je hebt drie andere aanwijzingen: een natte hond, een wuivende boom en een wolkenformatie.

Als je thermometer kapot is, kun je nog steeds correct raden als je "natte hond" aanwijzing accuraat is.
Als de hond droog is maar de boom wuift, kun je nog steeds correct raden.
Het systeem is "robuust" omdat het niet nodig heeft dat elke aanwijzing perfect is; het heeft slechts een combinatie van hen nodig die juist is.

LURE werkt op dezelfde manier. Het bouwt een wiskundig model dat verschillende delen van de data controleert. Zelfs als het model voor de "ruizige actie" iets fout is, of het model voor de "volgende staat" iets afwijkt, kan de estimator nog steeds de ware waarde van de strategie vinden, zolang ten minste één van de andere delen correct is. Dit maakt het uiteindelijke antwoord veel betrouwbaarder dan eerdere methoden, die zouden instorten als slechts één deel van de data rommelig was.

Maar er zit een verborgen complexiteit in hoe LURE dit puzzelstukje oplost. Omdat de ware acties nooit direct zichtbaar zijn, moet de computer de waarschijnlijkheden van wat er daadwerkelijk is gebeurd, raden. Om dit te doen, hebben de auteurs een speciale iteratieve algoritme ontwikkeld (gebaseerd op een methode genaamd Expectation-Maximization, of EM). Zie dit als een detective die zijn theorie steeds verfijnt:

De Gok (E-stap): De computer begint met een gok over wat de verborgen acties waren.
De Update (M-stap): Met behulp van die gok werkt de computer zijn modellen bij over hoe acties leiden tot beloningen en volgende staten.
De Verfijning: Vervolgens gebruikt de computer deze bijgewerkte modellen om een betere gok te doen over de verborgen acties, en herhaalt de cyclus totdat het verhaal perfect klopt.

Er is echter nog een laatste twist. Omdat de computer aan het raden is, kan hij per ongeluk de labels verwisselen. Hij zou kunnen besluiten dat "Actie 0" eigenlijk de "Medicatie" is en "Actie 1" "Geen Medicatie", terwijl het in werkelijkheid precies het tegenovergestelde is. De wiskunde werkt in beide gevallen, maar de betekenis is omgedraaid. Om dit op te lossen, voegen de auteurs een cruciale stap van label alignment toe. Voordat het definitieve antwoord wordt gegeven, controleert het systeem welke "gok" het meest logisch is met de ruizige data (bijvoorbeeld welke verborgen actie het meest waarschijnlijk resulteert in de geobserveerde "Medicatie"-notitie). Vervolgens draait het systeem de labels om indien nodig, om ervoor te zorgen dat het definitieve rapport overeenkomt met de werkelijkheid.

De Theorie Testen

De auteurs hebben de theorie niet alleen opgeschreven; ze hebben het op drie verschillende manieren getest:

Simpele Simulaties: Ze creëerden een kleine, verzonnen wereld (een "Tabular MDP") met slechts drie staten en twee acties. Ze hebben de gegevens opzettelijk verpest door de acties 5% tot 30% van de tijd verkeerd te labelen. Terwijl andere methoden in de war raakten en foute antwoorden gaven, bleef LURE op koers en raadde de waarde van de strategie correct.
Complexe Simulaties: Ze gingen over naar een complexere, continue wereld (zoals een robot die door een vloeiende ruimte beweegt) en vonden hetzelfde resultaat: LURE ging elegant om met de fouten, terwijl anderen faalden.
Real-World Data: Ze testten LURE op een enorme database met echte patiëntgegevens uit een ziekenhuis (MIMIC-III), specifiek kijkend naar hoe men sepsis (een levensbedreigende reactie op infectie) behandelt. In dit real-world scenario vergeleken ze LURE met standaardmethoden. De resultaten waren opvallend: de standaardmethoden suggereerden dat de ene behandeling beter was dan de andere, maar LURE, door rekening te houden met de verborgen fouten in de medische dossiers, suggereerde een andere, meer betrouwbare rangschikking. Sterker nog, de betrouwbaarheidsintervallen (het bereik van waarschijnlijke antwoorden) van de standaardmethoden overlapten zo sterk dat ze het verschil niet konden zien, terwijl LURE een duidelijk, onderscheidend antwoord gaf.

De Conclusie

Het artikel concludeert dat het negeren van verborgen acties een gevaarlijk gokje is. Door de "volgende staat" te gebruiken als een natuurlijke aanwijzing om de waarheid te ontdekken, en door een systeem te bouwen dat robuust is tegen fouten in verschillende delen van het model, kunnen we strategieën eindelijk accuraat evalueren, zelfs wanneer onze gegevens imperfect zijn.

Dit is niet alleen een theoretische overwinning; het is een praktisch hulpmiddel voor de toekomst. Of het nu gaat om het beslissen over medische behandelingen, het beheren van verkeerslichten of het trainen van AI-agenten, LURE biedt een manier om te leren van het verleden zonder misleid te worden door de ruis. De auteurs laten zien dat we met het juiste wiskundige detectivewerk de onzichtbare zaken kunnen zien en betere beslissingen kunnen nemen voor morgen.

Technische Samenvatting: Leren van het Ongeziene: Offline Reinforcement Learning met Verborgen Acties

1. Probleemformulering

Standaard offline Reinforcement Learning (RL) en Off-Policy Evaluation (OPE) algoritmen gaan er doorgaans van uit dat de opgenomen acties in de dataset zonder fouten worden waargenomen. Echter, in veel real-world toepassingen—met name in de gezondheidszorg met behulp van Electronic Health Records (EHR)—zijn de ware acties ( $A_t$ ) niet geobserveerd (latent). In plaats daarvan zijn alleen ruisgevoelige proxies of surrogaten ( $\tilde{A}_t$ ) beschikbaar vanwege annotatiefouten, vertraagde verslaglegging, imperfecte managementsystemen of privacy-beschermende gegevenscoarsening.

Het artikel behandelt het probleem van het evalueren van een doelbeleid (target policy) $\pi$ in een oneindige-horizon gedisconteerde Markov Decision Process (MDP) waarbij de actieruimte gedeeltelijk of volledig latent is. Het doel is om de beleidswaarde $V(\pi)$ te schatten met behoud van historische data gegenereerd door een gedragbeleid (behavior policy) $b$ , waarbij de geobserveerde data bestaat uit trajecten $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ in plaats van de ware $\{(S_t, A_t, R_t, S_{t+1})\}$ . Het naïef vervangen van de geobserveerde surrogaat $\tilde{A}_t$ door de ware actie $A_t$ in bestaande OPE-methoden leidt tot vertekende (biased) schattingen omdat de Q-functie en dichtheidsratio's zijn gedefinieerd met betrekking tot de latente ware actie.

2. Methodologie

2.1 Identificatiestrategie

De auteurs stellen vast dat de beleidswaarde $V(\pi)$ identificeerbaar is vanuit de geobserveerde datadistributie onder specifieke aannames. De kerninzicht is het benutten van de volgende staat ( $S'$ ) als een natuurlijke proxy voor de ongeobserveerde actie. Omdat de transitiedynamiek afhankelijk is van de ware actie, bevat $S'$ informatie over de verborgen actie die kan worden geëxploiteerd voor identificatie.

De identificatie rust op vier belangrijke aannames (Aanname 3.1):

Coverage (Dekking): De support van het doelbeleid is opgenomen in de support van het gedragbeleid.
Relevance (Relevantie): De beloning $R$ , de surrogaat $\tilde{A}$ en de volgende staat $S'$ zijn niet onafhankelijk van de ware actie $A$ gegeven de staat $S$ .
Conditional Independence (Conditionele Onafhankelijkheid): Gegeven de ware actie $A$ en staat $S$ , zijn de surrogaat $\tilde{A}$ , beloning $R$ en de volgende staat $S'$ onderling onafhankelijk.
Surrogate Quality (Kwaliteit van de Surrogaat): De surrogaat biedt meer informatie dan een willekeurige gok (bijv. voor binaire acties is de kans om $\tilde{A}=0$ te observeren lager wanneer $A=1$ dan wanneer $A=0$ ).

Onder deze voorwaarden bewijzen de auteurs (Theorema 1) dat $V(\pi)$ uniek identificeerbaar is.

2.2 De LURE Estimator

Om de waarde te schatten, stelt het artikel LURE (Learning from the Unseen: Robust Estimator) voor. De estimator is geconstrueerd op basis van een geobserveerde-data invloedsfunctie afgeleid van de volledige-data efficiënte invloedsfunctie.

De invloedsfunctie $\phi_\pi(O)$ wordt gedefinieerd als:
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
waarbij:

$\omega(S, a)$ de marginale dichtheidsratio is tussen de doel- en gedragsbeleids.
$\theta_R(S, a)$ de beloningsfunctie is.
$M V^\pi(S, a)$ de verwachte toekomstige waarde is.
$g_a$ en $g'_a$ geconstrueerde functies zijn die fungeren als "brug"-estimators die de indicatorfunctie $\mathbb{I}(A=a)$ vervangen door de geobserveerde surrogaat $\tilde{A}$ en de volgende-staat proxy $S'$ . Specifiek zijn dit ratio's die de conditionele verwachtingen van $\tilde{A}$ en $S'$ bevatten gegeven $S$ en $A$ .

2.3 Schattingsprocedure (EM Algoritme)

Omdat de ware actie $A$ latent is, kan standaard supervised learning niet direct worden toegepast om de nuisance-functies ( $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ) te schatten. De auteurs stellen een nieuw Expectation-Maximization (EM) stijl iteratief algoritme voor (Algoritme 2):

Initialisatie: Initialiseer de posterieure waarschijnlijkheid $\eta(O; a) = P(A=a | O)$ .
M-stap (Weighted Supervised Learning): Behandel de posterieure $\eta$ als bekende gewichten. Update de nuisance-functies (gedragbeleid, meetmodel, belonings/transitiemodellen, en dichtheidsratio) met behulp van gewogen regressie of gewogen minimax optimalisatie (voor de dichtheidsratio $\omega$ ).
E-stap (Posterieure Update): Update de posterieure waarschijnlijkheid $\eta(O; a)$ met behulp van de regel van Bayes en de bijgewerkte nuisance-schattingen.
Iteratie: Herhaal tot convergentie.

Daarnaast behandelt het artikel label alignment, aangezien het EM-algoritme de labels van de latente klassen willekeurig kan verwisselen (bijv. het mappen van ware $A=0$ naar component 1). Een label-alignment stap wordt uitgevoerd na de schatting op basis van de conditionele waarschijnlijkheid van de surrogaat om een consistente interpretatie te garanderen.

2.4 Cross-Fitting

Om overfitting-bias te verminderen en de empirische proces-resten te controleren, gebruiken de auteurs een $K$ -fold cross-fitting procedure. Nuisance-functies worden geschat op trainingsfolds en geëvalueerd op uitgesloten (held-out) folds.

3. Belangrijke Theoretische Bijdragen

Multiple Robustness (Meervoudige Robuustheid): De LURE estimator is meervoudig robuust. Zoals getoond in Corollary 1, blijft de estimator consistent ( $\hat{V}(\pi) - V(\pi) = o_p(1)$ ) als ten minste één van verschillende specifieke combinaties van nuisance-componenten correct gespecificeerd is. Bijvoorbeeld, consistentie houdt stand als de beloningsbrug $\theta_R$ consistent is samen met ofwel de latent-actie regressie $\theta_{\tilde{A}}$ ofwel de volgende-staat regressie $\theta_{S'}$ , mits de fout in de continuatie-waarde verwaarloosbaar is.
Asymptotische Normaliteit: Onder regulariteitsvoorwaarden en convergentiesnelheden van de nuisance-schatters (specifiek vereist dat het product van de fouten sneller afneemt dan $n^{-1/2}$ ), is de estimator asymptotisch normaal (Theorema 4). Dit maakt de constructie van geldige Wald-type betrouwbaarheidsintervallen mogelijk.
Foutgrenzen (Error Bounds): Het artikel biedt foutgrenzen voor eindige steekproeven (Theorema 3) die de schattingsfout ontleden in de invloedsfunctie-gemiddelde, een label-selectie restant, en een tweede-orde restant bestaande uit producten van nuisance-schattingsfouten.

4. Experimentele Resultaten

De auteurs evalueren LURE via simulaties en een real-world toepassing:

Tabulaire en Algemene MDP's: In synthetische omgevingen met variërende misclassificatiegraden ( $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ ), vertonen standaard OPE-methoden (SIS, FQE, LSTD, MIS, DRL) die de latente structuur negeren significante bias die verergert bij hogere misclassificatie. LURE blijft gecentreerd rond de ware beleidswaarde.
OpenAI Gym (CartPole): In een omgeving met continue staten presteert LURE beter dan de baselines, waarbij het nauwkeurige dekking (coverage rates) voor betrouwbaarheidsintervallen behoudt (dicht bij het nominale 95% niveau), terwijl baselines aanzienlijke bias of instabiele dekking vertonen.
MIMIC-III Sepsis Analyse: De methode wordt toegepast op een sepsis-management dataset. De studie evalueert drie beleidsregels: "Always IV," "No IV," en een "SOFA-tailored" regel.
- LURE schat het "Always IV" beleid als het beleid met de laagste verwachte SOFA-score (62.10), wat suggereert dat dit het optimale beleid is.
- Het 95% betrouwbaarheidsinterval voor "Always IV" [60.16, 64.04] overlapt niet met de intervallen voor de andere beleidsregels.
- In tegenstelling hiertoe produceren de standaard DRL-estimator overlappende betrouwbaarheidsintervallen voor alle beleidsregels, waardoor ze niet van elkaar te onderscheiden zijn. Dit benadrukt dat het negeren van verborgen acties kan leiden tot misleidende empirische conclusies in klinische settings.

5. Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat offline reinforcement learning in de setting met verborgen acties bestudeert. De betekenis ligt in:

Adresseren van een Cruciaal Gat: Het biedt een principieel kader voor OPE wanneer actiegegevens ruisgevoelig of latent zijn, een veelvoorkomend probleem in EHR-gebaseerde studies waar standaard RL-methoden niet betrouwbaar mee om kunnen gaan.
Theoretische Rigor: Het stelt identificatievoorwaarden vast en leidt een invloedsfunctie af die rekening houdt met de sequentiële aard van RL, wat het onderscheidt van statische verborgen-behandeling kaders.
Praktisch Nut: Door meervoudige robuustheid en asymptotische normaliteit aan te tonen, maakt LURE geldige statistische inferentie (betrouwbaarheidsintervallen en hypothesetesten) mogelijk in settings waar voorgaande methoden vertekende punt-schattingen zouden geven.
Real-World Impact: De toepassing op de MIMIC-III database illustreert dat het rekening houden met verborgen acties de rangschikking van beleidsregels en klinische aanbevelingen fundamenteel kan veranderen, wat suggereert dat standaard RL-evaluaties in de gezondheidszorg onbetrouwbaar kunnen zijn zonder dergelijke correcties.

De auteurs hanteren een bescheiden toon en merken op dat hoewel het kader generaliseerbaar is voor categorische acties, het huidige werk zich voor de duidelijkheid richt op binaire acties, en dat de methode steunt op de specifieke aanname dat de volgende staat dient als een geldige proxy voor de verborgen actie.