📊 statistics

CANDOR: Counterfactual ANnotated DOubly Robust Off-Policy Evaluation

Het artikel introduceert CANDOR, een familie van dubbel robuuste off-policy evaluatiestimators die imperfecte door experts geannoteerde contrafacten strategisch uitsluitend in het directe methode-component integreren om superieure robuustheid en prestaties te bereiken in scenario's voor gezondheidszorgbesluitvorming.

Oorspronkelijke auteurs: Aishwarya Mandyam, Shengpu Tang, Jiayu Yao, Jenna Wiens, Barbara E. Engelhardt

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aishwarya Mandyam, Shengpu Tang, Jiayu Yao, Jenna Wiens, Barbara E. Engelhardt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Nieuwe Regels Testen Zonder Dingen Te Breken

Stel je voor dat je een arts bent die moet beslissen of een nieuw behandelplan (zoals een nieuwe manier om kalium aan patiënten te geven) beter is dan de oude. Je kunt het niet zomaar direct op echte patiënten proberen; als het nieuwe plan slecht is, kan het hen kwetsen.

Dus wil je een "simulatie" uitvoeren met oude patiëntendossiers om te zien hoe het nieuwe plan zou hebben gepresteerd. Dit heet Off-Policy Evaluation (OPE).

De Haken en Ogen: Oude dossiers tonen alleen wat er gebeurde toen artsen de oude regels volgden. Als het nieuwe plan een behandeling suggereert die in het verleden nooit is gegeven (bijvoorbeeld een specifieke hoge dosis kalium), dan bevatten de oude dossiers geen gegevens hierover. Het is alsof je probeert te voorspellen hoe een auto een nieuw type weg aankan, terwijl je alleen maar op snelwegen hebt gereden. Je zit vast omdat je gegevens mist voor die specifieke scenario's.

De Voorgestelde Oplossing: Experts Vragen om "Wat Als"-Scenario's

Om de ontbrekende gegevens op te vullen, probeerden onderzoekers menselijke experts (of AI) te vragen om oude patiëntendossiers te bekijken en te zeggen: "Als we deze patiënt een andere behandeling hadden gegeven, dit is wat we denken dat er zou zijn gebeurd." Dit worden Counterfactual Annotations genoemd.

Denk hierbij aan het invullen van de gaten in een verhaal. Als het originele verhaal zegt: "De patiënt nam Medicijn A", kan een expert een notitie toevoegen: "Als ze Medicijn B hadden genomen, zouden ze waarschijnlijk beter hebben gevoeld."

Het Probleem: Experts zijn niet perfect. Ze kunnen verkeerd raden, of ze kunnen bevooroordeeld zijn. Als je deze ramingen blindelings vertrouwt, kan je simulatie uiteindelijk minder accuraat blijken dan als je de ramingen volledig had genegeerd.

De Oplossing: De "CANDOR"-Strategie

De auteurs stellen een nieuwe familie van methoden voor om deze onvolmaakte expertramingen veilig te gebruiken. Ze bouwden hun methode op een concept genaamd Doubly Robust (DR) schatting.

Om dit te begrijpen, stel je voor dat je probeert de eindstand van een sportwedstrijd te raden. Je hebt twee manieren om te raden:

De Statisticus (Directe Methode): Je kijkt naar de eerdere statistieken van de teams en bouwt een model om de score te voorspellen.
De Bookmaker (Importance Sampling): Je kijkt naar de daadwerkelijke wedstrijdresultaten en past ze aan op basis van hoe waarschijnlijk het was dat de teams op die manier zouden spelen.

Een Doubly Robust methode combineert beide. Het zegt: "Ik gebruik de voorspelling van de Statisticus, maar als die voorspelling fout is, zal ik het corrigeren met de data van de Bookmaker." De magie zit hem in het feit dat de methode goed werkt als ofwel de Statisticus gelijk heeft ofwel de data van de Bookmaker juist is. Je hebt niet nodig dat beide perfect zijn.

De Drie Manieren om de "Expertramingen" Te Maken

Het paper test drie verschillende manieren om die onvolmaakte expertramingen in deze Doubly Robust-formule te verwerken:

Methode A (DM-IS+): Gebruik de expertramingen om de "Bookmaker" (het deel voor data-aanpassing) te helpen, maar houd de "Statistiekus" (het voorspellingsmodel) getraind op echte, waargenomen data.
Methode B (DM+-IS+): Gebruik de expertramingen om zowel de Bookmaker als de Statisticus te helpen.
Methode C (DM+-IS): Gebruik de expertramingen om de Statistiekus (het voorspellingsmodel) te helpen, maar houd het "Bookmaker"-deel strikt gebaseerd op echte, waargenomen data.

De Grote Ontdekking

De auteurs voerden experimenten uit met gesimuleerde medische data en echte ziekenhuisregistraties (MIMIC-IV). Ze ontdekten dat Methode C (DM+-IS) de duidelijke winnaar was.

Hier is waarom, met een analogie:
Stel je voor dat je probeert een stad te navigeren met een kaart (de Statisticus) en een GPS die je pad corrigeert op basis van verkeersrapporten (de Bookmaker).

De expertramingen zijn als "crowd-sourced verkeersrapporten" die soms fout kunnen zijn.
Methode A en B laten deze potentieel verkeerde crowd-sourced rapporten de GPS-correptie verstoren. Als de menigte fout zit, stuurt de GPS je van een afgrond.
Methode C gebruikt de crowd-sourced rapporten alleen om de kaart te verbeteren. Zelfs als de menigte over een specifieke straat fout zit, wordt de kaart alleen een beetje waziger, maar de GPS (die vertrouwt op echte verkeersdata) weet nog steeds hoe je veilig moet sturen.

Het Resultaat:

Wanneer de expertramingen perfect waren, werkten alle methoden goed.
Wanneer de expertramingen onvolmaakt waren (bevooroordeeld of ruisend), faalden de methoden die ze in het "GPS"-gedeelte mengden (Methode A en B) zwaar. Hun schattingen werden slechter dan als ze de experts volledig hadden genegeerd.
Methode C (DM+-IS) bleef robuust. Het kon de experts gebruiken om ontbrekende gaten in de kaart op te vullen zonder de fouten van de experts de uiteindelijke navigatie te laten verpesten.

Samenvatting

Het paper introduceert CANDOR, een methode die ons toestaat om onvolmaakte expertramingen veilig te gebruiken voor het evalueren van nieuwe medische beleidslijnen. Het bewijst dat de veiligste manier om dit te doen is door de ramingen alleen te gebruiken om het voorspellingsmodel (de "kaart") te trainen, terwijl het data-correctiemechanisme (de "GPS") strikt gebaseerd blijft op echte, waargenomen feiten. Dit zorgt ervoor dat, zelfs als experts fouten maken, de uiteindelijke evaluatie van het nieuwe beleid betrouwbaar en veilig blijft.

Technische Samenvatting: CANDOR – Counterfactual ANnotated DOubly Robust Off-Policy Evaluation

Probleemstelling

Off-policy evaluatie (OPE) is essentieel voor het veilig implementeren van contextuele bandiet-algoritmen in hoog-risicodomeinen zoals de gezondheidszorg, waar nieuwe behandelingsrichtlijnen moeten worden beoordeeld aan de hand van retrospectieve data voordat ze in de praktijk worden ingezet. Echter, standaard OPE-technieken zijn fundamenteel beperkt door de dekking van de beschikbare gedragsdataset. Als de historische data ontbrekende waarnemingen bevat voor bepaalde staat-actieparen (bijvoorbeeld een nieuw medicijn dat nooit is voorgeschreven), kunnen OPE-methode de waarde van een beleid dat deze acties aanbeveelt niet betrouwbaar schatten.

Recente benaderingen, zoals de IS+-schatter, proberen dit te mitigeren door gedragsdatasets aan te vullen met door experts geannoteerde counterfactuele samples (voorspelde beloningen voor niet-gewaarnomen acties). Deze methoden gaan echter doorgaans uit van perfecte annotaties. In de praktijk zijn expertannotaties (of die gegenereerd door Large Language Models) vaak imperfect, met vertekening of ruis. Het naïef integreren van dergelijke imperfecte annotaties in bestaande schatters kan de prestaties verslechteren, soms met resultaten die slechter zijn dan het volledig negeren van de annotaties. De kernuitdaging die dit werk aanpakt, is bepalen hoe imperfecte counterfactuele annotaties in OPE-schatters kunnen worden geïntegreerd zonder fouten te versterken, met name in aanwezigheid van verkeerd gespecificeerde beloningsmodellen.

Methodologie

De auteurs stellen een familie van OPE-schatters voor die gebaseerd is op het Doubly Robust (DR)-kader, dat Importance Sampling (IS) en een Direct Method (DM) beloningsmodel combineert. Het DR-kader wordt gekozen vanwege de theoretische garantie op onbevooroordeeldheid als óf de propensiteitsscores (IS) óf het beloningsmodel (DM) correct zijn gespecificeerd.

Het artikel onderzoekt drie specifieke strategieën voor het integreren van counterfactuele annotaties ( $g_i$ ) in de DR-schatter, gedefinieerd door hoe de annotaties worden gebruikt in de DM- en IS-componenten:

DM+-IS: Het beloningsmodel ( $\hat{R}^+$ ) wordt getraind op de aangevulde dataset (factueel + counterfactueel), maar het IS-component gebruikt alleen de originele feitelijke data en standaard propensiteitsscores.
$\hat{V}_{DM^+-IS} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \rho_{s_i}(a_i)(r_i - \hat{R}^+(s_i, a_i)) \right)$
DM-IS+: Het beloningsmodel ( $\hat{R}$ ) wordt uitsluitend getraind op feitelijke data, terwijl het IS-component wordt aangevuld met de counterfactuele annotaties middels herweging (vergelijkbaar met de IS+-benadering).
$\hat{V}_{DM-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}(s_i, a)) \right)$
DM+-IS+: Zowel het beloningsmodel als het IS-component maken gebruik van de aangevulde dataset.
$\hat{V}_{DM^+-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}^+(s_i, a)) \right)$

Theoretische Analyse

De auteurs leveren een rigoureuze bias-variatie-analyse onder drie annotatierégimes:

Perfecte Annotaties: Alle drie de schatters zijn onbevooroordeeld.
Vertekende Annotaties: De auteurs bewijzen dat DM+-IS een onbevooroordeelde schatter blijft van de doelbeleidswaarde, zelfs wanneer annotaties systematisch vertekend zijn. Daarentegen introduceren DM-IS+ en DM+-IS+ een bias-term evenredig met de annotatiefout ( $\epsilon_G$ ), waardoor ze vatbaar zijn voor prestatieverlies.
Ruizige Annotaties: Hoewel alle schatters een toename in variatie ervaren door annotatieruis, toont de theoretische afleiding aan dat DM+-IS de variatieimpact isoleert tot de schatting van het beloningsmodel, terwijl de andere methoden ruis versterken via de hergewogen IS-term.

Experimentele Resultaten

De voorgestelde methoden zijn geëvalueerd in drie domeinen:

Heartsteps: Een semi-synthetische mobiele gezondheidsimulator voor interventies gericht op fysieke activiteit.
Sepsis: Een semi-synthetische simulator voor sepsisbehandeling (aangepast van een MDP-setting naar een contextuele bandiet).
MIMIC-IV: Een reële dataset van elektronische gezondheidsdossiers (EHR) met focus op intraveneuze kaliumrepletie. Counterfactuele annotaties voor deze dataset zijn gegenereerd met het OpenAI "o1"-model.

Belangrijkste Bevindingen:

Robuustheid tegen Vertekening: In scenario's met vertekende annotaties behaalde DM+-IS consequent de laagste Root Mean Squared Error (RMSE). De RMSE van DM+-IS bleef stabiel naarmate de annotatievertrekking toenam, terwijl DM-IS+ en DM+-IS+ aanzienlijke prestatievermindering vertoonden.
Robuustheid tegen Foutieve Specificatie: Wanneer gecombineerd met verkeerd gespecificeerde beloningsmodellen (een veelvoorkomend reëel scenario), bleef DM+-IS de meest robuuste schatter. Het benutte de counterfactuele data effectief om de dekking te verbeteren zonder de bias van de annotaties over te nemen.
Prestaties in de Wereld: Op de MIMIC-IV-dataset overtrof DM+-IS alle baselines (inclusief standaard IS, DM, DR en annotatie-aangevulde varianten) over variërende aantallen counterfactuele annotaties. Opmerkelijk is dat naarmate het aantal annotaties toenam, de prestaties van DM+-IS verbeterden en vervolgens plateauerden, terwijl andere schatters (zoals IS+ en DM-IS+) zagen dat hun foutpercentages toenamen of hoog bleven.
Kwaliteit van Annotaties: De experimenten toonden aan dat annotatievertrekking een veel grotere negatieve impact heeft op de prestaties van de schatter dan annotatievariatie (ruis).

Betekenis en Bijdragen

Het artikel levert de volgende bijdragen:

Nieuwe Familie van Schatters: Het introduceert en analyseert theoretisch een familie van door DR geïnspireerde schatters die specifiek zijn ontworpen om imperfecte counterfactuele annotaties te hanteren.
Theoretisch Inzicht: Het identificeert dat het integreren van counterfactuele annotaties uitsluitend in het Direct Method (DM)-component (de DM+-IS-strategie) de optimale aanpak is. Deze strategie behoudt de onbevooroordeeldheid van de schatter, zelfs wanneer annotaties vertekend zijn, een eigenschap die niet wordt gedeeld door methoden die het IS-component aanvullen.
Empirische Validatie: Door uitgebreide experimenten op synthetische, semi-synthetische en reële gezondheidszorgdata demonstreren de auteurs dat DM+-IS de meest robuuste keuze is voor beleidsbeoordeling wanneer zowel de nauwkeurigheid van het beloningsmodel als de kwaliteit van de annotaties onbekend zijn.

Conclusie

Dit werk adresseert de kritieke kloof tussen de theoretische belofte van data-aanvulling met counterfactuele data en de praktische realiteit van imperfecte annotaties. Door de DM+-IS-schatter voor te stellen, bieden de auteurs een methode die de toepasbaarheid van OPE in hoog-risicodomeinen zoals de gezondheidszorg uitbreidt. De aanpak stelt praktici in staat om imperfecte door experts of AI gegenereerde annotaties veilig te gebruiken voor het evalueren van beleidsrichtlijnen voor acties die in historische data slecht gedekt zijn, zonder het risico in te brengen van systematische vertekening die zou kunnen leiden tot onveilige implementatie van beleid. Het artikel concludeert dat onder realistische omstandigheden waarbij de kwaliteit van annotaties onbekend is, DM+-IS de meest betrouwbare weg vooruit biedt voor off-policy evaluatie.