📊 statistics

Real vs. Semi-Simulated: Rethinking Evaluation for Treatment Effect Estimation

Diese Arbeit offenbart eine kritische Diskrepanz zwischen methodischer Forschung und praktischer Anwendung bei der Schätzung von Behandlungseffekten, indem sie zeigt, dass kontrafaktische Metriken und halb-simulierte Benchmarks die Modellleistung auf realen Daten nicht zuverlässig vorhersagen können, und fordert daher eine Hinwendung zu beobachtbaren Metriken und einer Validierung mit realen Daten.

Ursprüngliche Autoren: George Panagopoulos

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: George Panagopoulos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, welcher von zwei verschiedenen Düngemitteln Pflanzen am größten wachsen lässt. Sie haben ein Team von Wissenschaftlern (die Forscher) und ein Team von Landwirten (die Praktiker aus der realen Welt).

Dieser Artikel argumentiert, dass die Wissenschaftler und die Landwirte zwei völlig unterschiedliche Spiele spielen, unterschiedliche Regelbücher verwenden und sich nicht bewusst sind, dass sie über unterschiedliche Dinge sprechen.

Hier ist die Aufschlüsselung der Erkenntnisse des Artikels unter Verwendung einfacher Analogien:

1. Die zwei verschiedenen Regelbücher

In der Welt des „Kausalen Maschinellen Lernens" (der Einsatz von KI, um den Effekt einer Behandlung, wie etwa eines Medikaments oder einer Marketing-E-Mail, zu ermitteln), gibt es zwei Möglichkeiten zu beurteilen, ob ein Modell gut ist:

Das Regelbuch des Wissenschaftlers (Semi-simulierte Benchmarks):
Stellen Sie sich vor, die Wissenschaftler befinden sich in einem Labor. Sie züchten Pflanzen in einer kontrollierten Umgebung, in der sie exakt wissen, was passiert wäre, wenn sie Dünger A verwendet hätten, und was passiert wäre, wenn sie Dünger B verwendet hätten. Da sie beide Ergebnisse kennen, können sie den „perfekten" Unterschied berechnen. Sie verwenden eine Metrik namens PEHE (Precision in Estimation of Heterogeneous Effects).
- Die Analogie: Es ist wie ein Videospiel, bei dem die Entwickler den „Cheat-Code" für den perfekten Punktestand kennen. Sie bewerten die KI danach, wie nah sie an diesen perfekten, bekannten Punktestand herankommt.
Das Regelbuch des Landwirts (Daten aus der realen Welt):
Die Landwirte sind auf dem eigentlichen Feld. Sie können nur sehen, was mit den Pflanzen passiert ist, die sie tatsächlich behandelt haben. Sie sehen niemals, was passiert wäre, wenn sie den anderen Dünger gewählt hätten. Sie können den „perfekten Unterschied" nicht messen. Stattdessen beurteilen sie die KI anhand von beobachtbaren Ergebnissen: „Hat die KI uns geholfen, die besten 20 % der Pflanzen zur Behandlung auszuwählen?" oder „Hat sich die Gesamternte erhöht?"
- Die Analogie: Es ist wie ein echtes Sportspiel. Sie wissen nicht, was passiert wäre, wenn der Spieler einen anderen Schuss gewählt hätte; Sie wissen nur, ob das Tor erzielt wurde. Sie beurteilen den Spieler anhand der Sieg-Niederlage-Bilanz, nicht anhand eines theoretischen „perfekten Spiels".

2. Die große Diskrepanz (Das „Metrik-Mismatch")

Der Artikel führte ein massives Experiment durch (das größte seiner Art), um zu sehen, ob die „Laborsieger" auch die „Feldsieger" waren.

Die schockierende Erkenntnis:
Die Modelle, die das „Laborspiel" (unter Verwendung der perfekten Cheat-Codes) gewannen, waren oft nicht die Modelle, die das „Feldspiel" gewannen.

Die Analogie: Stellen Sie sich einen Schachcomputer vor, der in einer Simulation, in der er die nächsten 10 Züge des Gegners kennt, unangefochtener Weltmeister ist. Aber wenn Sie denselben Computer in ein echtes Turnier gegen einen Menschen stecken, verliert er kläglich.
Der Beweis des Artikels: Als die Forscher die Daten betrachteten, stellten sie fest, dass das „beste" Modell gemäß dem perfekten Punktestand des Labors (PEHE) oft von den realen Weltmetriken des Landwirts (wie „Up@20" oder „Qini") sehr schlecht eingestuft wurde. Tatsächlich führte die Wahl des Laborsiegers oft zu einem „Bedauern" (einem Leistungsabfall), wenn er auf reale Daten angewendet wurde.

3. Das Problem des „gefälschten Feldes"

Die Wissenschaftler verwenden oft „semi-simulierte" Daten. Dies sind reale Daten, bei denen sie tun, als würden sie die kontrafaktischen Szenarien (die „Was-wäre-wenn"-Fälle) kennen, indem sie die fehlenden Zahlen basierend auf mathematischen Annahmen erfinden.

Die Erkenntnis:
Selbst wenn die Wissenschaftler dieselben realen Weltmetriken (wie Rangfolge) auf diesen „gefälschten Feldern" verwendeten, stimmten die Ergebnisse nicht mit den Ergebnissen aus den tatsächlichen realen Feldern überein.

Die Analogie: Es ist wie der Test eines Autos auf einer perfekten, glatten, computergenerierten Strecke. Das Auto sieht fantastisch aus. Aber wenn Sie dasselbe Auto auf einer echten Straße mit Schlaglöchern und Regen fahren, verhält es sich völlig anders. Das „gefälschte Feld" erzeugt eine Rangfolge von Autos, die sich nicht auf die „echte Straße" übertragen lässt.

4. Der überraschende Gewinner: Die „einfachen" Modelle

Der Artikel betrachtete viele komplexe, ausgefeilte KI-Modelle (wie spezialisierte neuronale Netze, die nur für diesen Zweck entwickelt wurden).

Die Erkenntnis:
Die ausgefeilten, spezialisierten Modelle verloren oft. Die Gewinner waren meist einfache, robuste Modelle (wie standardmäßige „Meta-Lerner", gepaart mit starken, grundlegenden Werkzeugen wie XGBoost).

Die Analogie: Im Rennen zwischen einem hochtechnologischen, aerodynamischen Formel-1-Auto (den spezialisierten kausalen Modellen) und einem stabilen, zuverlässigen Pickup-Truck (den einfachen Meta-Lernern) gewann der Pickup-Truck in der realen Welt immer wieder. Das Formel-1-Auto war großartig auf der Teststrecke, aber der Pickup-Truck bewältigte das reale Gelände besser.

5. Die Schlussfolgerung: Aufhören zu betrügen, anfangen zu testen

Die Autoren kommen zu dem Schluss, dass das Forschungsgebiet derzeit „kaputt" ist, weil es Modelle belohnt, die gut darin sind, ein theoretisches Rätsel zu lösen (das Laborspiel), anstatt Modelle, die in der realen Welt tatsächlich funktionieren (das Feldspiel).

Die Kernaussage: Wir können nicht einfach auf den „perfekten Punktestand" (PEHE) in einem simulierten Datensatz schauen und sagen: „Dies ist das beste Modell." Wir müssen diese Modelle auch an realen Daten mit realen Weltzielen (wie Rangfolge oder Gesamtgewinn) testen.
Der Aufruf zum Handeln: Forscher müssen aufhören, das „Laborspiel" als einzige Wahrheit zu behandeln. Sie müssen „Feldtests" (reale Daten und beobachtbare Metriken) einbeziehen, um sicherzustellen, dass ihre Modelle tatsächlich funktionieren, wenn sie eingesetzt werden.

Kurz gesagt: Nur weil ein Modell in einer Simulation, in der wir die Antwort kennen, perfekt aussieht, bedeutet das nicht, dass es die beste Wahl sein wird, wenn wir die Antwort in der realen Welt nicht kennen. Der Artikel fordert uns auf, uns nicht länger ausschließlich auf die Simulation zu verlassen und stattdessen Tests in der realen Welt durchzuführen.

Technische Zusammenfassung: Real vs. halb-simuliert: Neubewertung der Evaluierung für die Schätzung von Behandlungseffekten

Problemstellung

Das Feld des Kausalen Maschinellen Lernens (Causal ML) steht vor einer kritischen Fehlausrichtung zwischen den Evaluierungspraktiken der Forschung und den Anforderungen des realen Einsatzes. Während die akademische Forschung überwiegend auf halb-simulierten Benchmarks und kontrafaktischen Metriken (z. B. $\sqrt{PEHE}$ ) basiert, die Ground-Truth-Potenzialergebnisse erfordern, operieren industrielle Anwendungen unter Bedingungen, bei denen nur beobachtbare Ergebnisse verfügbar sind. In realen Szenarien ist das kontrafaktische Ergebnis (was unter einer anderen Behandlung passiert wäre) per Definition unbeobachtet. Folglich müssen Praktiker auf beobachtbare Metriken wie Ranking-Leistung (z. B. Upward-Kurven) oder faktische Testergebnisse zurückgreifen.

Das Kernproblem, das adressiert wird, besteht darin, ob die in methodischen Papers verwendeten Evaluierungsregime die Modellleistung in Einsatzszenarien zuverlässig vorhersagen. Insbesondere untersuchen die Autoren, ob Modelle, die auf halb-simulierten Daten durch kontrafaktische Metriken als „bestes" ausgewählt wurden, bei der Evaluierung mit beobachtbaren Metriken auf reale Datensätze effektiv übertragen werden.

Methodik

Die Autoren führen eine groß angelegte empirische Studie durch, die 117 Benchmark-Instanzen umfasst, bestehend aus 112 halb-simulierten Datensätzen und 5 realen Datensätzen. Die Stichprobengrößen reichen von einigen hundert bis zu fast 14 Millionen (Criteo-ITE).

Bewertete Schätzer

Die Studie bewertet einen umfassenden Pool von Schätzern, darunter:

Meta-Lerner: S-, T-, X-, R- und Doubly Robust (DR) Lerner [Künzel et al., 2019; Nie and Wager, 2021].
Basis-Lerner: Lineare/Logistische Regression (LR), XGBoost (XGB) und zweischichtige Multi-Layer-Perceptrons (NN).
Spezialisierte Architekturen: TARNet, CFR, DragonNet und Causal Forests.

Evaluierungsmetriken

Die Autoren vergleichen drei Familien von Metriken:

Kontrafaktisch-basiert (Oracle): $\sqrt{PEHE}$ , Policy Value und $\Delta$ ATE(Sim). Diese erfordern den Zugriff auf beide Potenzialergebnisse und sind auf halb-simulierte Settings beschränkt.
Beobachtbar-ergebnis-basiert: Faktischer Verlust und $\Delta$ ATE (Messung der Diskrepanz zwischen vorhergesagten und empirischen durchschnittlichen Behandlungseffekten).
Beobachtbar-ranking-basiert: Up@20, Qini-Score und RATE AUTOC. Diese bewerten die Fähigkeit des Modells, Einheiten basierend auf beobachteten Daten für eine Behandlung zu priorisieren.

Experimentelles Design

Die Studie adressiert zwei primäre Fragen:

Q1 (Metrik-Transfer): Führen kontrafaktische Metriken auf halb-simulierten Daten zu denselben Modell-Rankings wie beobachtbare Metriken?
Q2 (Datensatz-Transfer): Übertragen sich auf halb-simulierten Benchmarks erhaltene Rankings auf reale Datensätze?

Die Autoren nutzen Kendalls $\tau$ und den Wilcoxon-Vorzeichen-Rang-Test, um die Übereinstimmung zwischen metrik-induzierten Rankings zu quantifizieren. Zudem führen sie eine abgestimmte Fallstudie mit dem Criteo-Datensatz (real) und Criteo-ITE (halb-simulierte Variante, abgeleitet aus derselben Quelle) durch, um den Effekt des Evaluierungsregimes von Kovariatenunterschieden zu isolieren.

Wichtige Ergebnisse

1. Metrik-Diskrepanz (Q1)

Die Studie stellt fest, dass kontrafaktische Metriken die von beobachtbaren Metriken bevorzugten Schätzer nicht zuverlässig wiederherstellen, selbst auf denselben halb-simulierten Benchmarks.

Ranking-Divergenz: Modelle, die durch $\sqrt{PEHE}$ als „bestes" ausgewählt wurden, weisen bei der Evaluierung mit Ranking-Metriken wie Up@20 oder Qini oft ein erhebliches Bedauern (Regret) auf. Beispielsweise rangierte der durch $\sqrt{PEHE}$ ausgewählte Schätzer im Durchschnitt bei Up@20 auf Platz 13.
Statistische Signifikanz: Die Übereinstimmung zwischen Ranking-Metriken ist signifikant höher (mittleres $\tau = 0,355$ ) als die Übereinstimmung zwischen Ranking- und kontrafaktischen Metriken (mittleres $\tau = 0,256$ ).
Implikation: Die Behandlung kontrafaktischer Metriken als Goldstandard für die Modellauswahl kann dazu führen, dass Schätzer ausgewählt werden, die für einsatzorientierte Ziele suboptimal sind.

2. Nicht-Übertragbarkeit von Datensätzen (Q2)

Auf halb-simulierten Benchmarks erhaltene Rankings übertragen sich nicht auf reale Datensätze, selbst bei Verwendung identischer beobachtbarer Metriken.

Inkonsistente Gewinner: Methoden, die halb-simulierte Benchmarks dominieren (z. B. DragonNet, DR-LR auf IHDP), erscheinen oft nicht in den Top-Rankings realer Datensätze.
Ranking-Verschiebungen: Es gibt eine signifikante Streuung der Ranking-Verschiebungen ( $\Delta$ Rank) zwischen halb-simulierten und realen Daten. Beispielsweise verbessern sich R- und DR-basierte Schätzer oft in den Rankings realer Daten, während T- und X-Lerner sich verschlechtern können.
Abgestimmte Fallstudie: Selbst in der abgestimmten Criteo-Studie (gleiche Kovariaten und Behandlungszuweisungen, unterschiedliche Ergebnisgenerierung) änderte sich die Gesamtreihenfolge der Schätzer zwischen den kontrafaktischen (Criteo-ITE) und den beobachtbaren (Criteo) Settings.

3. Praktische Beobachtungen

Dominanz von Basis-Lernern: Einfache Meta-Lerner in Kombination mit starken prädiktiven Rückgraten (insbesondere XGBoost) sind über alle Regime hinweg konsistent wettbewerbsfähig. T(XGB), X(XGB) und S(XGB) dominieren die Gesamtrankings.
Spezialisierte Modelle: Spezialisierte neuronale Architekturen (z. B. DragonNet, CFR) schneiden im Allgemeinen schlechter ab als einfache Meta-Lerner mit tabellarischen Rückgraten, außer wenn sie spezifisch unter kontrafaktischen halb-simulierten Metriken evaluiert werden.

Bedeutung und Behauptungen

Das Paper argumentiert, dass das Feld der Schätzung von Behandlungseffekten sowohl ein Metrik-Problem als auch ein Datensatz-Problem hat.

Neubewertung von Evaluierungsprotokollen: Die Autoren behaupten, dass Fortschritte im Kausalen ML nicht ausschließlich durch Oracle-artige kontrafaktische Metriken und halb-simulierte Benchmarks bewertet werden sollten. Diese Regime können Methoden belohnen, deren induktive Verzerrungen mit Simulationsmechanismen übereinstimmen, anstatt mit realer Behandlungszuweisung oder Ergebnisrauschen.
Notwendigkeit der Validierung mit Real-Daten: Die Studie plädiert für die Einbeziehung beobachtbarer Metriken und der Validierung mit Real-Daten, um die Lücke zwischen Forschung und Einsatz zu schließen.
Benchmarking-Standards: Die Autoren schlagen vor, dass methodische Papers einfache Meta-Lerner mit starken prädiktiven Rückgraten (wie XGBoost) als Baselines einschließen sollten, da spezialisierte kausale Modelle diese in beobachtbaren, einsatzorientierten Settings oft nicht übertreffen.

Das Paper schließt, dass halb-simulierte Benchmarks zwar nützlich für Stresstests und kontrollierte Analysen sind, aber als alleinige Leitlinien für praktische Anwendungen unzureichend sind. Zukünftige Arbeiten sollten sich auf die Entwicklung von Evaluierungsprotokollen konzentrieren, die Oracle-artige kontrafaktische Evaluierung besser mit beobachtbaren, einsatzorientierten Kriterien verbinden.