🤖 machine learning

Robust Counterfactual Policy Optimisation via Nondeterministic Causal Models

Dit artikel stelt een nieuw raamwerk voor robuuste contrafectuele beleidsoptimalisatie in sequentiële besluitvorming door probabilistische nondeterministische causale modellen te formaliseren die onderscheid maken tussen latente confounding en inherente stochasticiteit, gevalideerd via een sepsisbehandelsimulatie met verborgen confounders.

Oorspronkelijke auteurs: Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

Gepubliceerd 2026-08-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren autorijden, maar je hebt alleen een video van iemand anders die rijdt. Je wilt vragen: "Wat als de robot een andere afslag had genomen?" Dit is de kern van contrafactisch redeneren: kijken naar het verleden en een andere uitkomst voorstellen op basis van een andere keuze. In de wereld van kunstmatige intelligentie is dit cruciaal voor veiligheid, vooral in velden zoals de gezondheidszorg waar we niet zomaar gevaarlijke experimenten kunnen uitvoeren op echte patiënten om te zien wat er gebeurt.

Om dit te doen, gebruiken wetenschappers Markov Decision Processes (MDP's), die lijken op regelboeken voor hoe een systeem van staat verandert (zoals de gezondheid van een patiënt) op basis van acties (zoals het toedienen van medicijnen). Traditioneel namen onderzoekers aan dat deze regelboeken perfect voorspelbaar waren als ze alle verborgen geheimen (de zogenaamde latente variabelen) kenden. Ze dachten: "Als we de verborgen genetische code van de patiënt wisten, zouden we de toekomst exact kunnen voorspellen." Maar het echte leven is rommelig. Soms gebeuren er gewoon willekeurige dingen—zoals een muntje dat wordt opgegooid of een glitch in een machine—die geen enkele hoeveelheid verborgen kennis kan voorspellen. Dit artikel behandelt het lastige middengebied waar zowel verborgen geheimen als pure willekeur de toekomst vormgeven, met de vraag: "Hoe kunnen we de beste beslissingen nemen wanneer we de verborgen geheimen niet kennen, en we weten dat de wereld een beetje chaotisch is?"

Het Dilemma van de Detective: Het Mysterie van de Ontbrekende Variabele Oplossen

Stel je voor dat je een detective bent die een mysterie probeert op te lossen met een "Wat Als"-machine. Je hebt een video van een patiënt die ziek wordt, en je wilt weten: "Als we een andere behandeling hadden gegeven, zou hij dan hebben overleefd?"

In het verleden namen detectives aan dat de "Wat Als"-machine werkte als een perfect uurwerk. Ze geloofden dat als ze elk verborgen tandwiel kenden (zoals een niet-gediagnosticeerde diabetes van een patiënt), ze de tijd konden terugdraaien en precies konden zien wat er zou zijn gebeurd. Maar de auteurs van dit artikel, Jessica Lally en haar team, realiseerden zich dat het echte leven geen perfect uurwerk is. Soms lopen de tandwielen gewoon vast, of blaast een windvlaag een dominosteen omver. Dit is inherente willekeur.

Het artikel betoogt dat we niet kunnen doen alsof de wereld perfect voorspelbaar is, enkel omdat we bepaalde informatie missen. In plaats daarvan hebben we een nieuw soort detectivewerk nodig dat toegeeft: "We kennen de verborgen tandwielen niet, en zelfs als we die wel zouden kennen, kan de toekomst nog steeds een verrassing zijn."

Het Nieuwe Instrument: Een "Worst-Case" Veiligheidsnet

Het team introduceert een nieuwe methode genaamd Robust Counterfactual Policy Optimisation. Denk hierbij aan een veiligheidsnet voor besluitvorming.

Normaal gesproken, wanneer we proberen te raden wat er zou zijn gebeurd, kunnen we het fout hebben omdat we de "verborgen confounder" (zoals de diabetesstatus van een patiënt) niet kennen. De auteurs stellen een raamwerk voor dat niet alleen één uitkomst raadt; het bereidt zich voor op de slechtst mogelijke uitkomst die consistent is met de data.

Ze gebruiken een concept genaamd sensitiviteitsanalyse. Stel je voor dat je het weer probeert te voorspellen. Als je 100% zeker bent, zeg je: "Het gaat regenen." Als je het niet zeker weet, zeg je: "Het kan regenen, of het kan ook niet regenen." De auteurs voegen een "draaiknop" toe (genaamd $\Delta$ ) die controleert hoeveel de verborgen geheimen onze voorspellingen in de war kunnen schoppen.

Als je de knop op 1 zet, neem je aan dat er geen verborgen geheimen zijn die de boel verstoren.
Als je de knop hoog draait, neem je aan dat de verborgen geheimen alles kunnen veroorzaken.

Het doel is om een beleid (een set regels voor wat te doen) te vinden dat goed werkt, zelfs als de verborgen geheimen zo lastig mogelijk zijn. Ze noemen het vinden van een dergelijk beleid een robuust beleid. Het is als het inpakken van een rugzak voor een wandeling: je inpakt niet alleen voor zonnig weer; je inpakt voor regen, modder en een plotselinge storm, voor het geval dat.

Het Experiment: De Sepsis-Simulator

Om hun idee te testen, gebruikten het team een computer simulatie van een sepsis-behandeling. In dit spel heeft een patiënt vier vitale functies (hartslag, bloeddruk, zuurstof en glucose) die laag, normaal of hoog kunnen zijn. Een arts (of een AI) moet beslissen of hij drie verschillende behandelingen wel of niet aanzet.

Hier is de crux: de simulatie heeft een verborgen variabele. Sommige patiënten zijn diabetisch, en sommige niet. Deze diabetesstatus is de "verborgen confounder". Het beïfelt hoe de patiënt op de behandeling reageert, maar de AI ziet alleen de vitale functies, niet de diabetesstatus. In deze simulatie is 20% van de patiënten diabetisch.

De onderzoekers testten hun nieuwe "veiligheidsnet"-methode op deze simulatie. Ze vroegen: "Kunnen we een behandelplan vinden dat beter is dan het plan dat we in de data zagen, zelfs als we niet weten wie er diabetisch is?"

Wat Ze Vonden

De resultaten waren veelbelovend, maar met een paar kanttekeningen.

Het werkt beter dan gokken: Wanneer ze hun nieuwe beleid testten op de volledige, perfecte versie van de simulatie (waarbij ze wel wisten wie er diabetisch was), waren de gevonden beleidsregels vaak veel beter dan de oorspronkelijke, suboptimale beleidsregels. Voor diabetische patiënten verbeterde het nieuwe beleid de uitkomst met gemiddeld 7,4 punten (op een schaal waarbij overlijden -10 is en ontslag uit het ziekenhuis 10).
De "Proxy" is een beetje voorzichtig: Het team moest het niveau van de verborgen problemen (de $\Delta$ -knop) inschatten met alleen de zichtbare vitale functies. Voor diabetische patiënten was deze inschatting spot-on. Maar voor niet-diabetische patiënten was de methode iets te voorzichtig. Het nam aan dat de verborgen problemen sterker waren dan ze in werkelijkheid waren. Dit is als een weervoorspeller die zegt "Het kan gaan regenen" terwijl het eigenlijk zonnig is. Hoewel dit leidt tot een iets lagere score in de simulatie, zorgt het ervoor dat de beslissing veilig is.
De "Oracle" Test: De auteurs vergeleken hun methode met een "Oracle"—een perfecte versie van hun methode die de ware mate van verborgen problemen kende. Ze ontdekten dat hun methode, zelfs zonder de waarheid te kennen, beleidsregels vond die heel dicht bij de beste keuzes van de Oracle lagen.

De Kern van het Verhaal

Dit artikel beweert niet dat het het mysterie van verborgen variabelen voor altijd heeft opgelost. In plaats daarvan biedt het een nieuwe, veiligere manier om "Wat als?" te vragen in een wereld die zowel mysterieus als willekeurig is.

Door de "verborgen geheimen" (zoals diabetes) te scheiden van de "pure willekeur" (zoals een willekeurige glitch), en door zich voor te bereiden op het slechtste scenario, laten de auteurs zien dat we nog steeds slimme, robuuste beslissingen kunnen nemen. Hun methode suggereert dat we, zelfs wanneer we blind vliegen wat betreft verborgen factoren, nog steeds behandelplannen kunnen vinden die aanzienlijk beter zijn dan simpelweg de oude, imperfecte data volgen. Het is een stap naar AI die nederig genoeg is om toe te geven wat ze niet weet, en slim genoeg om te plannen voor het onverwachte.

Technische Samenvatting: Robuuste Counterfactual Policy Optimale via Nondeterministische Causale Modellen

1. Probleemstelling

Counterfactual inferentie in sequentiële besluitvorming streeft ernaar te bepalen welke uitkomsten zouden zijn opgetreden als een ander beleid (policy) zou zijn uitgevoerd, gegeven een geobserveerd traject van toestanden, acties en uitkomsten. Dit is cruciaal in veiligheidskritische domeinen zoals de gezondheidszorg, waar het herhalen van experimenten vaak onethisch of onhaalbaar is.

Bestaande benaderingen voor counterfactual inferentie in Markov Beslissingsprocessen (MDP's) modelleren de omgeving doorgaans als een Deterministisch Structureel Causaal Model (SCM). In dit kader wordt alle willekeur toegeschreven aan niet-geobserveerde latente variabelen ( $U$ ). Echter, real-world MDP's zijn inherent stochastisch; willekeur komt vaak voort uit twee verschillende bronnen:

Latente Confounding: Ongeobserveerde factoren (bijv. genetica of demografie van een patiënt) die transities beïnvloeden.
Irreduceerbare Stochasticiteit: Fundamentele willekeur in het systeem (bijv. willekeurige nummergeneratoren of geaggregeerde ruis) die niet gereduceerd kan worden tot latente variabelen.

Het paper adresseert de kloof waar beide bronnen gelijktijdig aanwezig zijn. Standaard SCM's slagen er niet in om dit onderscheid te maken, waardoor irreducibele ruis potentieel verkeerd wordt toegeschreven aan latente confounding of vice versa. De auteurs stellen voor om counterfactual policy optimalisatie te formaliseren onder Probabilistische Nondeterministische Causale Modellen (PNSCM's), die inherente stochasticiteit toestaan terwijl ze de invloed van latente confounders expliciet begrenzen via sensitiviteitsanalyse.

2. Methodologie

2.1 Probabilistische Nondeterministische Causale Modellen (PNSCM's)

De auteurs modelleren de omgeving als een PNSCM, waarbij deterministische structurele vergelijkingen worden vervangen door conditionele kansverdelingen. Een belangrijk kenmerk van PNSCM's is actualised refinement: gegeven een geobserveerde setting $(u, v)$ , wordt de conditionele verdeling $P_X$ verfijnd om deterministisch de geobserveerde uitkomst $x$ te retourneren wanneer gegeven wordt aan de geobserveerde ouders, terwijl de probabilistische aard behouden blijft voor andere inputs. Dit legt de semantiek vast dat we alleen het causale mechanisme leren van de feitelijke setting, niet van counterfactual mogelijkheden.

2.2 Sensitiviteitsanalyse Framework

Om om te gaan met ongeobserveerde globale confounders ( $U$ ) die gedurende een traject constant blijven, gebruiken de auteurs een sensitiviteitsanalyse-benadering vergelijkbaar met Kausik et al. [2024].

Sensitiviteitsparameter ( $\Delta$ ): De invloed van de latente variabele $U$ $U$ wordt begrensd door een parameter $\Delta \ge 1$ $Δ \geq 1$ . Dit beperkt de odds ratio tussen de conditionele transitieprobabiliteit $P(s' | s, a, u)$ $P (s^{'} ∣ s, a, u)$ en de marginale transitieprobabiliteit $P(s' | s, a)$ $P (s^{'} ∣ s, a)$ :
$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$
- $\Delta = 1$ : Geen confounding (volledig gespecificeerde PNSCM).
- $\Delta \to \infty$ : Maximale confounding.

2.3 Kalibratie van Sensitiviteit ( $\Delta$ )

Een grote uitdaging is het selecteren van $\Delta$ zonder domeinkennis. Het paper stelt een principieel methode voor om een bovengrens voor $\Delta(s, a)$ af te leiden uit geobserveerde toestandsvariabelen:

Verbergen van Variabelen: Voor elke geobserveerde toestandsvariabele $i$ berekenen de auteurs de transitieverdeling $P(s' | s_{-i}, a)$ door over $i$ te marginaliseren.
Odds Ratio Berekening: Ze berekenen de maximale odds ratio tussen de volledige transitie en de gemarginaliseerde transitie voor elke variabele.
Proxy Selectie: De sensitiviteit $\Delta(s, a)$ wordt ingesteld op het maximum van deze ratio's over alle variabelen. Een schaleringsfactor $\Gamma$ kan worden toegepast om de striktheid van de grens aan te passen.

2.4 Optimalisatieprocedure

Het doel is om een beleid (policy) $\pi$ te vinden dat de worst-case counterfactual waarde $V^{CF}$ maximaliseert onder de onzekerheid van $U$ .

Actualised Refinement in Counterfactuals: Voor een geobserveerde transitie $(s_t, a_t, s_{t+1})$ is de counterfactual transitieprobabiliteit $P^{CF}_t$ een mengeling: met waarschijnlijkheid $P(U=u|\tau)$ is de transitie deterministisch (blijvend bij $s_{t+1}$ ); anders volgt het de geoptimaliseerde transitieprobabiliteit $\tilde{P}$ .
Ontkoppelde Optimalisatie: Om het probleem hanteerbaar te maken, ontkoppelen de auteurs de optimalisatie over tijdstappen en staat-actie paren, waarbij elke $(t, s, a)$ triple onafhankelijk wordt behandeld. Dit levert een conservatieve ondergrens op van de ware pessimistische waarde.
Adversariële Formulering: De optimalisatie omvat een tegenstander (adversary) die gezamenlijk de posterior $P(U|\tau)$ en de transitieprobabiliteiten $\tilde{P}$ selecteert om de waarde te minimaliseren, onderworpen aan de sensitiviteitsrestricties. Dit niet-convexe probleem wordt opgelost met Gurobi.
Tijd-homogeniteit: Het paper merkt op dat het incorporeren van tijd-homogeniteit (het vereisen van consistente transities over de tijd) een trilineaire koppeling creëert die oplosbaar is via gradiëntafdaling, hoewel dit alleen lokale minima garandeert.

3. Experimentele Evaluatie

De aanpak werd gevalideerd op een Sepsis Behandelingssimulator (Oberst en Sontag, 2019).

Setup: De toestandsruimte omvat vitale functies (hartslag, bloeddruk, etc.). De actieruimte omvat het aan- of uitzetten van behandelingen.
Confounder: Diabetesstatus ( $U \in \{0, 1\}$ ) fungeert als een globale latente confounder die 20% van de populatie beïnvloedt. De ware transitie-matrix $P(S' | S, A, U)$ is bekend voor evaluatie, maar verborgen tijdens de afleiding van het beleid.
Data: De methode gebruikt trajecten gegenereerd door een suboptimaal beleid (optimaal met waarschijnlijkheid 0.5, anders random) op de gemarginaliseerde transitie-matrix (waar diabetes verborgen is).

Belangrijkste Resultaten

Robuuste Verbetering: De afgeleide counterfactual policies ( $\pi^*_\Delta$ ) presteerden consequent beter dan het geobserveerde suboptimale beleid wanneer ze werden geëvalueerd op de volledig geobserveerde MDP (waar diabetes bekend is).
Proxy Nauwkeurigheid:
- Voor diabetische trajecten kwam de ongeschaalde proxy ( $\Gamma=1$ ) nauw overeen met de "oracle" prestatie (het best mogelijke resultaat als de ware diabetes-sensitiviteit $\Delta^*$ bekend zou zijn).
- Voor niet-diabetische trajecten was de proxy conservatief (overschatting van confounding), wat leidde tot waardeschattingen die lager waren dan de oracle. De resulterende policies bleven echter dicht bij de oracle-prestaties, wat aantoont dat de methode robuuste policies kan terugwinnen, zelfs wanneer de waardeschattingen conservatief zijn.
Sensitiviteit voor $\Gamma$ : Het aanpassen van de schaleringsfactor $\Gamma$ stelde de auteurs in staat om de afweging tussen de nauwkeurigheid van de waardeschatting en de robuustheid van het beleid af te stemmen.

4. Belangrijkste Bijdragen

Formalisering: Het paper formaliseert counterfactual policy optimalisatie voor MDP's onder PNSCM's, waarbij het onderscheid tussen latente confounding en irreducibele stochasticiteit expliciet wordt gemaakt.
Sensitiviteitsframework: Het stelt een praktische optimalisatieprobleem voor voor het identificeren van robuuste counterfactual policies met behulp van een sensitiviteitsanalyse-framework dat de invloed van latente variabelen begrenst.
Kalibratiemethode: Het introduceert een datagedreven methode om de sensititeitsparameter $\Delta$ te kalibreren met behulp van geobserveerde toestandsvariabelen, waardoor de afhankelijkheid van deskundige domeinkennis wordt verminderd.
Empirische Validatie: Het demonstreert dat robuuste counterfactual policies kunnen worden afgeleid en gevalideerd op een realistische gezondheidszorgsimulator met verborgen globale confounders.

5. Betekenis en Claims

De auteurs beweren dat dit werk de eerste praktische optimalisatieprobleem biedt voor het identificeren van robuuste counterfactual policies onder een sensitiviteitsanalyse-framework binnen PNSCM's. De betekenis ligt in het adresseren van de beperking van bestaande deterministische SCM-benaderingen, die niet in staat zijn om omgevingen met inherente stochasticiteit correct te modelleren.

Het paper concludeert dat de afgeleide policies robuust zijn wanneer ze worden geëvalueerd in de ware, volledig gespecificeerde omgeving, zelfs wanneer de sensititeitsparameter wordt geschat vanuit geobserveerde data. De auteurs merken bescheiden op dat hoewel de ontkoppelde optimalisatie een geldige ondergrens biedt, toekomstig werk nodig is om tijd-homogene restricties en verschillende soorten latente variabelen (bijv. geheugenloze confounders) te verkennen om nauwkeurigere waardeschattingen te verkrijgen.