🤖 machine learning

Bounding the Causal Impact of ML-assisted Decision-Making via Counterfactual Correctness

Dieses Paper schlägt eine Methode zur partiellen Identifikation vor, die Daten aus vorangegangenen randomisierten kontrollierten Studien sowie Monotonieannahmen hinsichtlich der korrekten Kontrafaktualität und des Vertrauens in Subgruppen nutzt, um Schranken für die kausalen Auswirkungen aktualisierter Modelle des maschinellen Lernens zu konstruieren, wodurch die Unpraktikabilität der Durchführung wiederholter Studien für jede Modelliteration adressiert wird.

Ursprüngliche Autoren: Jonathan Zhang, Erik Skalnes, Jacob Chen, Michael Oberst

Veröffentlicht 2026-07-27

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jonathan Zhang, Erik Skalnes, Jacob Chen, Michael Oberst

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kristallkugel und der Kristallkugel-Tester

Stellen Sie sich vor, Sie sind ein Arzt, ein Richter oder ein Lehrer. Sie besitzen ein mächtiges neues Werkzeug: eine künstliche Intelligenz (KI), die die Zukunft vorhersagt. Sie könnte erraten, ob ein Patient eine Krankheit hat, ob ein Angeklagter rückfällig wird oder ob ein Schüler ein Fach nicht bestehen wird. Aber hier liegt der knifflige Teil: Nur weil die KI gut darin ist, die Zukunft zu raten, bedeutet das nicht, dass sie auch gut darin ist, die Zukunft zum Besseren zu verändern. Vielleicht hat die KI recht, aber der Arzt gerät in Panik und verordnet eine unnötige Behandlung. Vielleicht liegt die KI falsch, und der Richter sperrt eine unschuldige Person ein.

Um herauszufinden, ob diese KI-Werkzeuge den Menschen tatsächlich helfen, führen Wissenschaftler normalerweise eine „Randomisierte kontrollierte Studie“ (RCT) durch. Denken Sie an dies wie einen Geschmackstest. Man teilt eine Gruppe von Menschen in zwei Hälften auf: Die eine Hälfte erhält den Rat der KI, und die andere Hälfte trifft Entscheidungen im Alleingang. Dann sieht man, wer am Ende bessere Ergebnisse erzielt. Aber es gibt einen Haken. KI-Modelle werden ständig aktualisiert, wie etwa Software auf Ihrem Telefon. Wenn Sie das Modell aktualisieren, um es intelligenter zu machen, können Sie nicht jedes Mal eine ganz neue, teure Geschmacksstudie durchführen. Wissenschaftler stehen also vor einem Rätsel: Wir haben die Ergebnisse der alten KI, und wir wissen, dass die neue KI bessere Vorhersagen trifft. Aber wie wissen wir, ob die neue KI tatsächlich Leben retten oder die Gerechtigkeit verbessern wird, ohne ein brandneues Experiment durchzuführen? Dieses Paper widmet sich genau diesem Problem und bietet einen Weg an, die Auswirkungen einer neuen KI mit den Daten zu schätzen, die wir bereits haben, ohne von vorne beginnen zu müssen.

Die „Was wäre wenn“-Detektivarbeit

In dieser Studie agieren die Forscher wie Detektive, die versuchen, ein Rätsel mithilfe von Hinweisen von einem vergangenen Tatort zu lösen. Sie untersuchen eine spezifische Art von KI, die Menschen bei hochkritischen Entscheidungen hilft. Der Kern der Idee ist die Verwendung von „Kontrafaktualitäten“ – ein schickes Wort für „Was-wäre-wenn“-Szenarien. Sie fragen: „Wenn wir diese neue, intelligentere KI bei den Menschen aus dem alten Experiment eingesetzt hätten, was wäre passiert?“

Die Autoren schlagen eine kluge neue Methode vor, um ein „Sicherheitsnetz“ um die Antwort zu ziehen. Anstatt eine einzige, riskante Vermutung über die Leistung der neuen KI abzugeben, berechnen sie einen Bereich – eine untere und eine obere Grenze. Denken Sie an die Wettervorhersage. Anstatt zu sagen: „Es wird definitiv um 14:00 Uhr regnen“, sagen sie: „Es wird irgendwo zwischen 13:30 Uhr und 14:30 Uhr regnen.“ Das Ziel ist es, dieses Zeitfenster so klein und präzise wie möglich zu machen.

Die Geheimzutat: Richtig zu liegen, zählt

Die Magie in ihrer Methode kommt aus zwei neuen Regeln, die sie dem Regelbuch des Detektivs hinzugefügt haben.

Regel 1: Der „Korrekte Vorhersage“-Bonus
Stellen Sie sich einen Schüler vor, der eine Prüfung ablegt. Wenn die KI sagt: „Die Antwort ist A“, der Schüler diesem Rat folgt und sich herausstellt, dass A tatsächlich die richtige Antwort war, bekommt der Schüler eine gute Note. Die Forscher gehen davon aus, dass wenn die neue KI eine korrekte Vorhersage macht, das Ergebnis mindestens so gut sein wird, als hätte eine ältere, weniger genaue KI eine falsche Vorhersage gemacht. Es ist wie zu sagen: „Wenn du den richtigen Weg nimmst, wirst du nicht an einem schlechteren Ort landen, als wenn du den falschen Weg genommen hättest.“ Dies wird als „kontrafaktische Korrektheit“ bezeichnet.

Regel 2: Dem klügsten Führer vertrauen
Die zweite Regel handelt vom Vertrauen. Wenn eine neue KI im Allgemeinen genauer ist als eine alte, werden Menschen (wie Ärzte oder Richter) ihr mehr vertrauen. Wenn die KI sagt „Gehen Sie“, und sie meistens recht hat, werden die Leute gehen. Wenn die KI sagt „Stopp“, und sie meistens recht hat, werden die Leute anhalten. Die Forscher nehmen an, dass die Genauigkeit zu besseren Ergebnissen führt, wenn die KI richtig liegt. Aber wenn die KI falsch liegt, kann eine höhere Genauigkeit (und damit höheres Vertrauen) tatsächlich zu schlechteren Ergebnissen führen, weil die Menschen blind dem schlechten Rat folgen.

Die „Verzweigungspfad“-Karte

Um diese Regeln in die Praxis umzusetzen, erstellten die Autoren eine Karte mit verschiedenen „Zweigen“ für jede einzelne Person in dem Experiment. Für jede Person prüfen sie:

Hat die neue KI dieselbe Vorhersage wie die alten gemacht? Wenn ja, schauen sie sich an, wie sich die Leistung verändert hat.
War die Vorhersage der neuen KI korrekt? Wenn die neue KI die richtige Antwort erraten hat (was wir wissen, weil wir die „echten Labels“ aus den vergangenen Daten haben), nutzen sie die Regel der „korrekten Vorhersage“, um ihre Schätzung zu präzisieren.
War die Vorhersage neutral? Manchmal sagt eine KI: „Ich weiß es nicht, entscheiden Sie selbst.“ In diesen Fällen wird angenommen, dass das Ergebnis dasselbe ist, als wäre gar keine KI vorhanden gewesen.

Durch die Kombination dieser Zweige können sie einen „engeren“ Bereich für die Auswirkung der neuen KI berechnen. In ihren Simulationen lieferte diese neue Methode einen viel schmaleren Bereich als bisherige Methoden. In einem Test zum Beispiel sagte die alte Methode, das Ergebnis könne irgendwo zwischen 0,43 und 0,76 liegen (eine große Lücke von 0,33). Die neue Methode verengte dies auf 0,43 und 0,76? Moment, beim Blick auf die Daten gab die neue Methode eine Breite von 0,331 an, verglichen mit der 0,704 der alten Methode im ersten Experiment. In einem anderen Fall schnürte die neue Methode den Bereich auf eine Breite von 0,121 zusammen, während die alte Methode noch bei 0,362 feststeckte.

Die Simulation: Ein virtuelles Gericht

Um ihre Idee zu testen, haben die Autoren nicht nur Mathematik auf dem Papier betrieben; sie bauten einen virtuellen Gerichtssaal. Sie nutzten echte Daten aus einer Studie, bei der Richtern Risikoscores für Angeklagte vorgelegt wurden. Sie simulierten ein Szenario, in dem ein neues KI-Modell eingeführt wurde.

Sie erstellten eine „Ground Truth“ – eine geheime Liste darüber, wer tatsächlich nicht vor Gericht erscheinen würde, wenn er entlassen würde. Das ist etwas, das wir im echten Leben meistens nicht wissen, aber für die Simulation konnten sie es sehen. Dann ließen sie die Zahlen laufen:

Experiment 1 & 2: Sie testeten neue Alarmsysteme, die aggressiver waren (mehr Menschen markierten). Die alte Methode lieferte sehr weite, wenig hilfreiche Bereiche. Die neue Methode lieferte unter Verwendung der „Korrektheits“-Regeln viel engere, informativere Grenzen.
Experiment 3 & 4: Sie testeten, was passiert, wenn es gar keinen vorherigen Versuch gegeben hätte, sondern nur historische Daten. Auch hier lieferte die neue Methode engere Grenzen, insbesondere wenn die neue KI konservativ war (weniger Menschen markierte).
Experiment 5: Sie versuchten, ihre eigene Methode zu „brechen“, indem sie einige der „wahren“ Antworten verbargen (um fehlende Daten zu simulieren). Selbst dann wurden die Grenzen etwas weiter (von 0,140 auf 0,204), aber sie enthielten immer noch die wahre Antwort, was zeigt, dass die Methode robust ist.

Das Urteil

Das Paper behauptet nicht, das Problem der KI-Evaluierung für immer gelöst zu haben. Es räumt ein, dass die Methode scheitern könnte, wenn die Annahme der „Korrektheit“ falsch ist (zum Beispiel, wenn ein Arzt eine korrekte KI-Vorhersage ignoriert). Es stellt auch fest, dass die Grenzen lockerer werden, wenn die „wahre“ Ausgabe für viele Menschen fehlt.

Die Simulation legt jedoch nahe, dass wir durch die einfache Idee, dass „Richtigliegen besser ist als Falschliegen“, ein viel klareres Bild davon bekommen können, wie eine neue KI performen wird. Es ist wie der Wechsel von einem unscharfen Weitwinkelobjektiv zu einem scharfen Zoomobjektiv. Wir können die Zukunft zwar immer noch nicht perfekt sehen, aber wir können sie mit viel mehr Präzision sehen als zuvor. Die Autoren zeigen, dass wir, indem wir die Tatsache nutzen, dass wir die „richtige Antwort“ oft im Nachhinein kennen, die Auswirkungen unserer KI-Werkzeuge smarter einschätzen können, ohne ständig neue Experimente durchführen zu müssen.

Technisches Resümee: Begrenzung der kausalen Auswirkung von ML-gestützter Entscheidungsfindung mittels kontrafaktischer Korrektheit

Problemstellung

Prädiktive Modelle des maschinellen Lernens (ML) werden zunehmend in Hochrisikodomänen (z. B. Gesundheitswesen, Strafjustiz) eingesetzt, um menschliche Entscheidungsträger zu unterstützen. Während Randomisierte Kontrollstudien (RCTs) qualitativ hochwertige Evidenz über die kausale Auswirkung spezifischer ML-Interventionen liefern, besteht eine kritische Lücke: Es ist oft nicht praktikabel, für jede Modellaktualisierung oder jedes Iterationsverfahren beim Nachtrainieren neue RCTs durchzuführen. Folglich gibt es keine direkte kausale Evidenz hinsichtlich der nachgelagerten Auswirkungen auf Ergebnisse (z. B. Überlebensrate von Patienten, Rückfallquote), wenn ein neues Modell mit höherer prädiktiver Genauigkeit nach einer initialen RCT entwickelt wird.

Vorherige Arbeiten haben versucht, dies über Frameworks der partiellen Identifikation zu adressieren. So nehmen beispielsweise Nercessian et al. [2025] an, dass sich die Ergebnisse nicht zwischen Modellen mit übereinstimmenden Vorhersagen unterscheiden, während Chen und Oberst [2025] dies lockern, indem sie individuelle Unterschiede in den Ergebnissen basierend auf globalen Leistungsmetriken (z. B. Präzision) zulassen, motiviert durch das Nutzervertrauen. Diese Frameworks versäumen es jedoch, die individuelle Vorhersagekorrektheit einzubeziehen. In vielen Szenarien ist es vernünftig zu erwarten, dass eine korrekte Vorhersage zu nicht-inferioren Ergebnissen führt als eine inkorrekte Vorhersage – eine Vorstellung, die die Autoren als „kontrafaktische Korrektheit“ bezeichnen.

Methodik

Die Autoren schlagen einen Ansatz der partiellen Identifikation vor, um Schranken (Bounds) für die kausale Wirkung eines neuen, nicht getesteten Modells ( $\pi_e$ ) unter Verwendung von Daten aus einer vorangegangenen RCT zu konstruieren, die eine Menge von getesteten Modellen ( $T$ ) beinhaltete.

Kausales Framework

Der Datengenerierungsprozess wird als Strukturelles Kausalmodell (SCM) modelliert, das durch einen gerichteten azyklischen Graphen (DAG) dargestellt wird. Zu den Schlüsselvariablen gehören:

$D$ : RCT-Arm (Kontrollgruppe vs. Behandlungsgruppe).
$\Pi$ : Das zur Vorhersage verwendete Modell.
$X$ : Kovariaten/Merkmale.
$Z$ : Das „wahre Label“ (Ground Truth), das für alle Individuen in der RCT beobachtet wird.
$\hat{Z}$ : Das vorhergesagte Label.
$M$ : Eine Leistungsmetrik (z. B. Präzision), bedingt auf $X$ und $\Pi$ .
$A$ : Entscheidung des Entscheidungsträgers (unbeobachtet/latent).
$Y$ : Nachgelagertes Ergebnis.

Das Ziel ist es, $E[Y(\pi_e)]$ zu schätzen, also den erwarteten Wert des Ergebnisses, falls das neue Modell $\pi_e$ eingesetzt worden wäre.

Strukturelle Annahmen

Um die Schranken abzuleiten, führen die Autoren vier Annahmen ein:

Kontrafaktische Korrektheit (Annahme 3.1): Korrekte Vorhersagen verursachen keinen Schaden. Formal gilt: Für ein festes wahres Label $z$ gilt, wenn ein Modell $z$ vorhersagt (korrekt), ist das Ergebnis mindestens so gut wie wenn ein Modell $z' \neq z$ vorhersagt (inkorrekt), unter sonst gleichen Bedingungen.
- Falsifizierung: Dies kann getestet werden, indem man die Ergebnisse von zwei getesteten Modellen auf der Teilmenge der Daten vergleicht, bei denen eines korrekt und das andere falsch liegt.
Bedingte Leistungsmonotonie (Annahme 3.2): Potenzielle Ergebnisse sind monoton in Bezug auf die Modellleistung, bedingt auf die Korrektheit.
- Wenn die Vorhersage korrekt ist ( $\hat{z}=z$ ), führt eine höhere Leistung zu besseren (oder gleichwertigen) Ergebnissen.
- Wenn die Vorhersage inkorrekt ist ( $\hat{z} \neq z$ ), führt eine höhere Leistung zu schlechteren (oder gleichwertigen) Ergebnissen (was das gesteigerte Vertrauen in ein fälschlicherweise als sicher eingestuftes Modell widerspiegelt).
- Falsifizierung: Getestet durch den Vergleich von Modellen mit unterschiedlichen Leistungsniveaus, aber identischen Vorhersagen auf der Teilmenge, in der die Vorhersage korrekt ist.
Neutrale Vorhersage (Annahme 3.3): Es existiert eine „neutrale“ Vorhersage (z. B. das Überlassen der Entscheidung an einen Menschen), bei der die Modellleistung das Ergebnis nicht beeinflusst. Dies verknüpft den Kontrollarm mit der Evaluierung neuer Modelle.
Begrenzte Ergebnisse (Annahme 3.4): Die Ergebnisvariable $Y$ ist innerhalb bekannter Grenzen $[Y_{min}, Y_{max}]$ beschränkt.

Partielle Identifikationsschranken

Die Autoren definieren Partitionen des Modell- und Kovariatenraums basierend darauf, ob die getesteten Modelle mit dem neuen Modell $\pi_e$ übereinstimmen und wie deren relative Leistung ist. Sie führen einen Branch-Selektor ( $b_L, b_U$ ) ein, der jedes $(x, z)$ -Paar einer von vier Logik-Zweigen zuordnet:

Neutral: $\pi_e$ trifft die neutrale Vorhersage.
Monoton: $\pi_e$ stimmt mit den getesteten Modellen überein, und die Leistungsordnung ermöglicht eine Eingrenzung via Monotonie.
Korrekt: $\pi_e$ trifft die korrekte Vorhersage, aber kein getestetes Modell stimmt mit ihr überein (oder sie sind alle in einer Weise „besser“, die nicht hilft, die untere Schranke zu bestimmen). Hier stützt sich die Schranke auf die Annahme, dass die korrekte Vorhersage nicht schlechter ist als jede inkorrekte Vorhersage.
Standard (Default): Konservativer Rückfall auf $Y_{min}$ (untere Schranke) oder $Y_{max}$ (obere Schranke).

Die resultierenden Schranken $L(\pi_e)$ und $U(\pi_e)$ werden konstruiert, indem der Erwartungswert der punktweisen Schranken über die Verteilung von $X$ und $Z$ gebildet wird.

Schätzung

Das Paper liefert konsistente und asymptotisch normale Schätzer für diese Schranken. Die Schätzstrategie adresset drei Herausforderungen:

Schätzung der bedingten Erwartungswerte $E[Y|X, Z, \Pi]$ mittels Störungsmodellen (Nuisance Models).
Handhabung von nicht-glatten Max/Min-Operatoren (z. B. Auswahl des schlechtesten/besten Modells in einer Menge).
Schätzung von Leistungsmetriken ( $M$ ) aus endlichen Daten, statt ein Oracle-Wissen vorauszusetzen.

Die Autoren schlagen einen Augmented Inverse Propensity Weighted (AIPW) Schätzer vor. Unter spezifischen Randbedingungen (die eine ausreichende Trennung zwischen Modellleistungen und Ergebnissen gewährleisten) und Konvergenzraten für die Störungsfunktionen sind ihre Schätzer bewiesen konsistent und asymptotisch normal, was die Konstruktion valider Konfidenzintervalle ermöglicht.

Zentrale Beiträge

Erweiterung kausaler Frameworks: Die Arbeit erweitert das Framework von Chen und Oberst [2025], indem sie individuelle kontrafaktische Korrektheit integriert. Sie nimmt an, dass wenn ein neues Modell korrekt vorhersagt, das Ergebnis nicht schlechter ist, als wenn eine inkorrekte Vorhersage erfolgt wäre.
Integration von Subgruppen-Leistung: Im Gegensatz zu vorangegangenen Arbeiten, die auf globalen Leistungsmetriken basieren, bezieht dieses Framework die bedingte Subgruppen-Vorhersageleistung ein, was die Intuition widerspiegelt, dass Entscheidungsträger Heuristiken darüber entwickeln, wo Modelle gut oder schlecht abschneiden.
Datengesteuerte Schätzung: Die Autoren liefern konsistente Schätzer für die Schranken, die kein a priori Wissen über Leistungsmaße erfordern; diese werden direkt aus den Daten geschätzt.
Engere Schranken: Theoretische und empirische Ergebnisse zeigen, dass die Einbeziehung der kontrafaktischen Korrektheit zu signifikant engeren (informativeren) Schranken führt als bisherige Methoden der partiellen Identifikation.

Experimentelle Ergebnisse

Die Autoren evaluieren ihre Methode mittels einer semi-synthetischen Simulation basierend auf dem Imai et al. [2023] Bail-Sentencing-Datensatz.

Setup: Sie simulieren Richterverhalten und die Ergebnisse der Angeklagten (Versäumnis des Erscheinens vor Gericht) unter verschiedenen Alarmmodellen.
Vergleich: Sie vergleichen ihre Schranken mit denen von Chen und Oberst [2025].
Ergebnisse:
- In allen Experimenten (Änderung der Alarm-Schwellenwerte, Nachtraining von Modellen und Abwesenheit von RCTs) lieferte die vorgeschlagene Methode konsistent engere Schranken (z. B. Breite von 0,12 gegenüber 0,36 in einem Experiment).
- Die Schranken enthielten konsistent das wahre erwartete Ergebnis.
- Ablationsstudien legen nahe, dass die Verbesserung primär durch die Annahme der kontrafaktischen Korrektheit getrieben wird und nicht bloß durch die Stratifizierung der Leistung nach Kovariaten.
- Die Methode bleibt robust (wenn auch mit weiteren Schranken), selbst wenn die Ground-Truth-Labels ( $Z$ ) teilweise fehlen, sofern spezifische Annahmen über den Missingness-Mechanismus gelten.

Bedeutung und Ansprüche

Das Paper beansprucht, eine praktische Lösung für die Evaluierung der kausalen Wirkung aktualisierter ML-Modelle zu bieten, wenn ein erneutes Durchführen von RCTs nicht praktikabel ist. Durch die Nutzung der vorhandenen Ground-Truth-Labels in vorangegangenen Studien nutzt die Methode die durch die Vorhersagekorrektheit bereitgestellte „gerichtete“ Information, um kausale Schranken zu verengen.

Die Autoren formulieren ihre Ansprüche zurückhaltend und räumen Einschränkungen ein:

Falsifizierungstests: Diese erfolgen auf Erwartungsebene; Verletzungen der Annahmen auf individueller Ebene könnten unentdeckt bleiben.
Fehlende Daten: Die Methode hat Einschränkungen, wenn wahre Labels ( $Z$ ) fehlen, sie diskutieren jedoch Mechanismen zur Handhabung.
Kontinuierliche Outputs: Das aktuelle Framework setzt diskrete Vorhersagen voraus; kontinuierliche Ausgaben erfordern eine Diskretisierung oder eine vereinfachte Anwendung.
Beobachtungsdaten: Das aktuelle Framework stützt sich auf RCT-Daten; die Einbeziehung von Beobachtungsdaten wird als zukünftige Forschungsrichtung angemerkt.

Letztlich bietet die Arbeit ein rigoroses, auf Annahmen basierendes Framework, um über rein prädiktive Genauigkeit hinauszugehen und über die nachgelagerten kausalen Auswirkungen von KI-Systemen in Entscheidungsumgebungen mit hohem Risiko zu argumentieren.