🤖 machine learning

Bounding the Causal Impact of ML-assisted Decision-Making via Counterfactual Correctness

Dit artikel stelt een methode voor voor partiële identificatie die gebruikmaakt van voorafgaande gegevens uit gerandomiseerde gecontroleerde onderzoeken en monotoniciteitsveronderstellingen met betrekking tot contrafeitelijke correctheid en subgroepvertrouwen om grenzen te construeren voor de causale impact van bijgewerkte machine learning-modellen, waarmee de onhaalbaarheid wordt geadresseerd van het uitvoeren van herhaalde proeven voor elke modeliteratie.

Oorspronkelijke auteurs: Jonathan Zhang, Erik Skalnes, Jacob Chen, Michael Oberst

Gepubliceerd 2026-07-27

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonathan Zhang, Erik Skalnes, Jacob Chen, Michael Oberst

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kristallen Bol en de Tester van de Kristallen Bol

Stel je voor dat je een arts, een rechter of een leraar bent. Je hebt een nieuw, krachtig hulpmiddel: een kunstmatige intelligentie (AI) die de toekomst voorspelt. Het kan raden of een patiënt een ziekte heeft, of een verdachte opnieuw een misdaad zal begaan, of dat een student zal zakken voor een vak. Maar hier komt het lastige deel: alleen omdat de AI goed is in het raden van de toekomst, betekent dat niet dat het ook goed is in het veranderen van de toekomst naar iets beters. Misschien heeft de AI gelijk, maar raakt de arts in paniek en geeft onnodige behandelingen. Misschien heeft de AI ongelijk, en sluit de rechter een onschuldig persoon op.

Om te bepalen of deze AI-tools mensen echt helpen, voeren wetenschappers meestal een "Randomized Control Trial" (RCT) uit. Denk hierbij aan een smaaktest. Je splitst een groep mensen in twee helften: de ene helft krijgt het advies van de AI, en de andere helft neemt beslissingen op basis van eigen inzicht. Daarna kijk je wie uiteindelijk de betere resultaten boekt. Maar er is een addertje onder het gras. AI-modellen worden constant bijgewerkt, net zoals de software op je telefoon. Als je het model bijwerkt om het slimmer te maken, kun je niet elke keer een compleet nieuwe, dure smaaktest uitvoeren. Wetenschappers staan dus voor een puzzel: we hebben de resultaten van de oude AI, en we weten dat de nieuwe AI betere voorspellingen doet. Maar hoe weten we of de nieuwe AI daadwerkelijk levens zal redden of rechtvaardigheid zal verbeteren zonder een volledig nieuw experiment uit te voeren? Dit artikel behandelt exact dat probleem en biedt een manier om de impact van een nieuwe AI te schatten met de gegevens die we al hebben, zonder vanaf nul te hoeven beginnen.

Het "Wat als"-detectivewerk

In dit onderzoek treden de onderzoekers op als detectives die een mysterie proberen op te lossen met aanwijzingen van een oude plaats delict. Ze kijken naar een specifiek type AI dat mensen helpt bij beslissingen met grote impact. Het kernidee is het gebruik van "counterfactuals" — een chique woord voor "wat als"-scenario's. Ze vragen zich af: "Als we deze nieuwe, slimmere AI hadden gebruikt op de mensen uit het oude experiment, wat zou er dan gebeurd zijn?"

De auteurs stellen een slimme nieuwe methode voor om een "veiligheidsnet" rond het antwoord te trekken. In plaats van één enkele, risicovolle gok te doen over de prestaties van de nieuwe AI, berekenen ze een bereik — een ondergrens en een bovengrens. Denk aan het voorspellen van het weer. In plaats van te zeggen: "Het gaat om 14:00 uur zeker regenen," zeggen ze: "Het zal ergens tussen 13:30 uur en 14:30 uur regenen." Het doel is om die tijdspanne zo klein en nauwkeurig mogelijk te maken.

Het geheime ingrediënt: Juist zijn is belangrijk

De magie in hun methode komt voort uit twee nieuwe regels die ze aan het regelboek van de detective hebben toegevoegd.

Regel 1: De "Correcte Voorspelling" Bonus
Stel je een student voor die een toets maakt. Als de AI zegt: "Het antwoord is A," en de student volgt dat advies op, en het blijkt dat A inderdaad het juiste antwoord was, dan krijgt de student een goed cijfer. De onderzoekers gaan ervan uit dat als de nieuwe AI een correcte voorspelling doet, de uitkomst ten minste even goed zal zijn als wanneer een oudere, minder nauwkeurige AI een foutieve voorspelling had gedaan. Het is alsof je zegt: "Als je het juiste pad neemt, zul je niet op een slechtere plek uitkomen dan wanneer je het verkeerde pad had genomen." Dit wordt "counterfactual correctness" genoemd.

Regel 2: Vertrouwen op de Slimste Gids
De tweede regel gaat over vertrouwen. Als een nieuwe AI over het algemeen nauwkeuriger is dan een oude, zullen mensen (zoals artsen of rechters) het meer vertrouwen. Als de AI zegt "Ga," en het is meestal juist, dan gaan mensen. Als de AI zegt "Stop," en het is meestal juist, dan stoppen mensen. De onderzoekers gaan ervan uit dat wanneer de AI het bij het rechte eind heeft, een hogere nauwkeurigheid leidt tot betere resultaten. Maar wanneer de AI het fout heeft, kan een hogere nauwkeurigheid (en dus meer vertrouwen) zelfs leiden tot slechtere resultaten, omdat mensen blindelings het slechte advies opvolgen.

De "Vertakkende Paden" Kaart

Om deze regels in de praktijk te brengen, hebben de auteurs een kaart gemaakt met verschillende "takken" voor iedere persoon in het experiment. Voor iedere persoon controleren ze:

Maakte de nieuwe AI dezelfde voorspelling als de oude? Zo ja, dan kijken ze naar hoe de prestaties zijn veranderd.
Was de voorspelling van de nieuwe AI correct? Als de nieuwe AI het juiste antwoord raadde (wat we weten dankzij de "ware labels" uit de oude gegevens), gebruiken ze de regel van "correcte voorspelling" om hun schatting te verfijnen.
Was de voorspelling neutraal? Soms zegt een AI: "Ik weet het niet, beslis jij maar." In die gevallen wordt aangenomen dat de uitkomst hetzelfde is als wanneer er helemaal geen AI aanwezig was.

Door deze takken te combineren, kunnen ze een "strakkere" bandbreedte berekenen voor de impact van de nieuwe AI. In hun simulaties produceerde deze nieuwe methode een veel nauwere bandbreedte dan eerdere methoden. In één test zei de oude methode bijvoorbeeld dat het resultaat ergens tussen 0,43 en 0,76 kon liggen (een brede kloof van 0,33). De nieuwe methode verkleinde dat tot 0,43 en 0,76? Wacht, kijkend naar de gegevens, gaf de nieuwe methode een breedte van 0,331 vergeleken met de 0,704 van de oude methode in het eerste experiment. In een ander geval drukte de nieuwe methode de bandbreedte samen tot een breedte van 0,121, terwijl de oude methode nog vastzat op 0,362.

De Simulatie: Een Virtuele Rechtbank

Om hun idee te testen, hebben de auteurs niet alleen op papier met wiskunde beziggestaan; ze bouwden een virtuele rechtbank. Ze gebruikten echte gegevens uit een studie waarbij rechters risicoscores kregen voor verdachten. Ze simuleerden een scenario waarin een nieuw AI-model werd geïntroduceerd.

Ze creëerden een "ground truth" — een geheime lijst van wie er daadwerkelijk niet zou verschijnen in de rechtbank als zij vrij zouden worden gelaten. Dit is iets wat we in het echte leven meestal niet weten, maar voor de simulatie konden zij dit wel zien. Vervolgens draaiden ze de cijfers:

Experiment 1 & 2: Ze testten nieuwe waarschuwingssystemen die agressiever waren (meer mensen markeerden). De oude methode gaf zeer brede, onbruikbare bandbreedtes. De nieuwe methie, die gebruikmaakte van de "correctheid"-regels, gaf veel nauwere, meer informatieve grenzen.
Experiment 3 & 4: Ze testten wat er gebeurt als er helemaal geen voorafgaande proef was, alleen historische gegevens. Opnieuw bood de nieuwe methode nauwere grenzen, vooral wanneer de nieuwe AI conservatief was (minder mensen markeerde).
Experiment 5: Ze probeerden hun eigen methode te breken door sommige van de "ware" antwoorden te verbergen (om ontbrekende gegevens te simuleren). Zelfs dan werden de grenzen iets breder (van 0,140 naar 0,204), maar ze bevatten nog steeds het ware antwoord, wat aantoont dat de methode robuust is.

Het Eindoordeel

Het artikel beweert niet dat het het probleem van AI-evaluatie voor altijd heeft opgelost. Het geeft toe dat als de aanname van "correctheid" niet klopt (bijvoorbeeld als een arts een correcte AI-voorspelling negeert), de methode kan falen. Er wordt ook opgemerkt dat als de "ware" uitkomst voor veel mensen ontbreekt, de grenzen breder worden.

De simulatie suggereert echter dat door het eenvoudige idee te gebruiken dat "juist zijn beter is dan fout zijn", we een veel duidelijker beeld kunnen krijgen van hoe een nieuwe AI zal presteren. Het is also als de overstap van een wazige groothoeklens naar een scherpe zoomlens. We kunnen de toekomst nog steeds niet perfect zien, maar we kunnen het met veel meer precisie zien dan voorheen. De auteurs laten zien dat door gebruik te maken van het feit dat we achteraf vaak het "juiste antwoord" weten, we slimmere schattingen kunnen maken over de toekomstige impact van onze AI-tools zonder dat we eindeloze nieuwe experimenten nodig hebben.

Technische Samenvatting: Het begrenzen van de causale impact van ML-ondersteunde besluitvorming via contrafeitelijke correctheid

Probleemstelling

Voorspellende machine learning (ML)-modellen worden steeds vaker ingezet in risicovolle domeinen (bijv. gezondheidszorg, strafrecht) om menselijke besluitvormers te ondersteunen. Hoewel Randomized Control Trials (RCT's) hoogwaardig bewijs leveren voor de causale impact van specifieke ML-interventies, bestaat er een kritiek gat: het is vaak onhaalbaar om voor elke modelupdate of hertrainingsiteratie nieuwe RCT's uit te voeren. Als gevolg hiervan is er, wanneer een nieuw model met een hogere voorspellende nauwkeurigheid wordt ontwikkeld na een initiële RCT, geen direct causaal bewijs over de downstream impact op uitkomsten (bijv. overleving van patiënten, recidive).

Eerder werk heeft geprobeerd dit aan te pakken via kaders voor partiële identificatie. Zo gaan Nercessian et al. [2025] ervan uit dat uitkomsten niet verschillen tussen modellen met overeenkomstige voorspellingen, terwijl Chen en Oberst [2025] dit versoepelen door individuele verschillen in uitkomsten toe te staan op basis van globale prestatie-indicatoren (bijv. precisie), gemotiveerd door gebruikersvertrouwen. Deze kaders falen echter in het incorporeren van individuele voorspellende correctheid. In veel scenario's is het redelijk te verwachten dat een correcte voorspelling leidt tot niet-inferieure uitkomsten vergeleken met een incorrecte voorspelling, een concept dat de auteurs "contrafeitelijke correctheid" noemen.

Methodologie

De auteurs stellen een partiële identificatie-aanpak voor om grenzen (bounds) te construeren op het causale effect van een nieuw, niet-getest model ( $\pi_e$ ) met behulp van data van een eerdere RCT die een set geteste modellen ( $T$ ) omvatte.

Causaal Kader

Het datagenererende proces wordt gemodelleerd als een Structural Causal Model (SCM), gerepresenteerd door een Directed Acyclic Graph (DAG). Kernvariabelen zijn:

$D$ : RCT-arm (controle versus behandeling).
$\Pi$ : Het gebruikte model voor voorspelling.
$X$ : Covariaten/kenmerken.
$Z$ : De "ware label" (ground truth), geobserveerd voor alle individuen in de RCT.
$\hat{Z}$ : De voorspelde label.
$M$ : Een prestatie-indicator (bijv. precisie) geconditioneerd op $X$ en $\Pi$ .
$A$ : Besluitvormer actie (niet-geobserveerd/latent).
$Y$ : Downstream uitkomst.

Het doel is om $E[Y(\pi_e)]$ te schatten, de verwachte uitkomst indien het niet-geteste model $\pi_e$ zou zijn ingezet.

Structurele Aannames

Om grenzen af te leiden, introduceren de auteurs vier belangrijke aannames:

Contrafeitelijke Correctheid (Aanname 3.1): Correcte voorspellingen veroorzaken geen schade. Formeel: voor een vaste ware label $z$ , als een model $z$ voorspelt (correct), is de uitkomst ten minste even goed als wanneer een model $z' \neq z$ zou voorspellen (incorrect), waarbij andere factoren constant blijven.
- Falsificatie: Kan getest worden door de uitkomsten te vergelijken van twee geteste modellen op de subset van data waar de een correct is en de ander incorrect.
Conditionele Prestatie-monotoniciteit (Aanname 3.2): Potentiële uitkomsten zijn monotonic met betrekking tot modelprestaties, geconditioneerd op correctheid.
- Als de voorspelling correct is ( $\hat{z}=z$ ), leiden hogere prestaties tot betere (of gelijkwaardige) uitkomsten.
- Als de voorspelling incorrect is ( $\hat{z} \neq z$ ), leiden hogere prestaties tot slechtere (of gelijkwaardige) uitkomsten (wat het verhoogde vertrouwen in een zelfverzekerd foutief model weerspiegelt).
- Falsificatie: Getest door modellen met verschillende prestatieniveaus te vergelijken, maar met identieke voorspellingen op de subset waar de voorspelling correct is.
Neutrale Voorspelling (Aanname 3.3): Er bestaat een "neutrale" voorspelling (bijv. het delegeren aan een mens) waarbij de modelprestaties de uitkomst niet beïnvloeden. Dit koppelt de controlegroep aan de evaluatie van nieuwe modellen.
Begrensde Uitkomsten (Aanname 3.4): De uitkomstvariabele $Y$ is begrensd binnen bekende $[Y_{min}, Y_{max}]$ .

Partiële Identificatie Grenzen

De auteurs definiëren partities van de model- en covariatenruimte op basis van of geteste modellen overeenkomen met het niet-geteste model $\pi_e$ en hun relatieve prestaties. Ze introduceren een branch selector ( $b_L, b_U$ ) die elk $(x, z)$ -paar toewijst aan een van de vier logische takken:

Neutraal: $\pi_e$ maakt de neutrale voorspelling.
Monotoon: $\pi_e$ komt overeen met geteste modellen, en de prestatievolgorde maakt begrenzing via monotoniciteit mogelijk.
Correct: $\pi_e$ maakt de correcte voorspelling, maar geen getest model komt hiermee overeen (of ze zijn allemaal "beter" op een manier die niet helpt bij de ondergrens). Hierbij rust de grens op de aanname dat een correcte voorspelling niet slechter is dan een incorrecte voorspelling.
Default: Conservatieve terugval naar $Y_{min}$ (ondergrens) of $Y_{max}$ (bovengrens).

De resulterende grenzen $L(\pi_e)$ en $U(\pi_e)$ worden geconstrueerd door de verwachting van de puntgewijze grenzen te nemen over de distributie van $X$ en $Z$ .

Schatting

Het artikel biedt consistente en asymptotisch normale schatters voor deze grenzen. De schattingsstrategie adresseert drie uitdagingen:

Het schatten van conditionele verwachtingen $E[Y|X, Z, \Pi]$ via nuisance-modellen.
Het afhandelen van niet-gladde max/min-operatoren (bijv. het selecteren van de slechtste/beste presterende model in een set).
Het schatten van prestatie-indicatoren ( $M$ ) vanuit eindige data in plaats van uit te gaan van oracle-kennis.

De auteurs stellen een Augmented Inverse Propensity Weighted (AIPW) schatter voor. Onder specifieke margecondities (die voldoende scheiding garanderen tussen modelprestaties en uitkomsten) en convergentiesnelheden voor nuisance-functies, worden de schatters bewezen consistent en asymptotisch normaal, wat de constructie van geldige betrouwbaarheidsintervallen mogelijk maakt.

Belangrijkste Bijdragen

Uitbreiding van Causale Kaders: Dit werk breidt het kader van Chen en Oberst [2025] uit door individuele contrafeitelijke correctheid te incorporeren. Het gaat ervan uit dat als een nieuw model correct voorspelt, de uitkomst niet slechter is dan wanneer een incorrecte voorspelling zou worden gedaan.
Integratie van Subgroepprestaties: In tegenstelling tot eerder werk dat steunt op globale prestatie-indicatoren, incorporeert dit kader conditionele subgroep-voorspellende prestaties, wat de intuïtie weerspiegelt dat besluitvormers heuristieken ontwikkelen over waar modellen wel of niet goed presteren.
Data-gestuurde Schatting: De auteurs bieden consistente schatters voor de grenzen die geen a priori kennis van modelprestatie-maten vereisen; deze worden uit de data geschat.
Strakkere Grenzen: Theoretische en empirische resultaten laten zien dat het incorporeren van contrafeitelijke correctheid leidt tot aanzienlijk strakkere (informatievere) grenzen vergeleken met vorige methoden voor partiële identificatie.

Experimentele Resultaten

De auteurs evalueren hun methode met behulp van een semi-synthetische simulatie gebaseerd op de Imai et al. [2023] bail sentencing dataset.

Setup: Ze simuleren rechtergedrag en de uitkomsten van verdachten (Failure to Appear) onder verschillende alert-modellen.
Vergelijking: Ze vergelijken hun grenzen met die van Chen en Oberst [2025].
Bevindingen:
- In alle experimenten (veranderende alert-drempels, hertrainen van modellen en de afwezigheid van RCT's), produceerde de voorgestelde methode consistent nauwere grenzen (bijv. een breedte van 0.12 versus 0.36 in één experiment).
- De grenzen bevatten consistent de ware verwachte uitkomst.
- Ablatie-studies suggereren dat de verbetering primair wordt gedreven door de contrafeitelijke correctheid-aanname, in plaats van enkel door het stratificeren van prestaties per covariaten.
- De methode blijft robuust (hoewel met bredere grenzen) zelfs wanneer de ware labels ( $Z$ ) gedeeltelijk ontbreken, mits specifieke aannames over het ontbrekende mechanisme standhouden.

Betekenis en Claims

Het artikel claimt een praktische oplossing te bieden voor het evalueren van de causale impact van geüpdatete ML-modellen wanneer het opnieuw uitvoeren van RCT's onhaalbaar is. Door gebruik te maken van de aanwezigheid van ware labels ( $Z$ ) in eerdere trials, benut de methode de "directionele" informatie die door voorspellende correctheid wordt geleverd om causale grenzen te verfijnen.

De auteurs zijn bescheiden in hun claims en erkennen beperkingen:

Falsificatietests: Deze zijn "in verwachting"; individuele schendingen van aannames kunnen mogelijk onopgemerkt blijven.
Ontbrekende Data: De methode heeft beperkingen wanneer ware labels ( $Z$ ) ontbreken, hoewel ze mechanismen bespreken om dit te hanteren.
Continue Outputs: Het huidige kader gaat uit van discrete voorspellingen; continue outputs vereisen discretisatie of een vereenvoudigde toepassing.
Observationele Data: Het huidige kader leunt op RCT-data; het incorporeren van observationele data wordt genoemd als een toekomstige richting.

Uiteindelijk biedt dit werk een rigoureus, op aannames gebaseerd kader om verder te gaan dan louter voorspellende nauwkeurigheid en de downstream causale impact van AI-systemen in omgevingen met hoge inzet te analyseren.