When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation

In der Welt der Datenwissenschaft stehen Forscher oft vor einem Rätsel: Wie stellt man fest, ob eine Sache eine andere verursacht, wenn man kein kontrolliertes Experiment durchführen kann? Stellen Sie sich vor, Sie versuchen zu verstehen, ob ein neues Medikament wirkt, aber Sie verfügen nur über Aufzeichnungen von Menschen, die sich aus eigenem Antrieb entschieden haben, es einzunehmen, gemischt mit denen, die es nicht taten. Um dies zu entwirren, nutzen Wissenschaftler eine Methode namens kausale Inferenz. Dieser Ansatz beruht darauf, mathematische Modelle zu erstellen, um die Hintergrundfaktoren – wie Alter, Einkommen oder Krankengeschichte – zu beschreiben, die sowohl die Entscheidung zur Medikamenteneinnahme als auch das gesundheitliche Ergebnis beeinflussen. Diese Hintergrundmodelle sind als „Störfunktionen“ (nuisance functions) bekannt. Sie werden nicht deshalb als „störend“ bezeichnet, weil sie nervig sind, sondern weil sie notwendige Ablenkungen darstellen; der Forscher muss sie genau schätzen, um den wahren Effekt der Behandlung zu isolieren. Jahrelang war die Standardmethode, um zu prüfen, ob diese Hintergrundmodelle gut waren, darin zu sehen, wie gut sie die Daten vorhersagten, ähnlich wie ein Wetterprognostiker prüft, ob seine Temperaturvorhersagen mit dem tatsächlichen Wetter übereinstimmen. Die Annahme war einfach: Wenn das Modell die Hintergrunddaten gut vorhersagt, sollte es auch dabei helfen, die korrekte Ursache-Wirkungs-Antwort zu finden.

Eine aktuelle Studie von Cong Cao an der Yale University stellt diese lang gehegte Annahme infrage. Der Forscher wollte testen, ob ein Modell, das hervorragend darin ist, Hintergrunddaten vorherzusagen, zwangsläufig auch hervorragend darin ist, die wahre Ursache zu finden. Um dies zu testen, betrachtete Cao keine realen medizinischen Aufzeichnungen, sondern erschuf tausende simulierte Welten auf einem Computer. In diesen Simulationen war die wahre Ursache-Wirkungs-Beziehung per Design bekannt, was es dem Forscher ermöglichte, genau zu sehen, wie gut verschiedene Computerprogramme abschnitten. Die Studie verglich mehrere populäre Methoden zum Aufbau dieser Hintergrundmodelle, die von traditionellen statistischen Werkzeugen bis hin zu modernen, flexiblen Algorithmen des maschinellen Lernens reichten. Das Ziel war es zu sehen, ob die Punktzahl, die ein Modell für die Vorhersage der Hintergrunddaten erhält, mit der Punktzahl übereinstimmt, die es für das Finden der korrekten Ursache-Wirkungs-Antwort erhält.

Die Ergebnisse offenbarten eine überraschende Diskrepanik. Die Studie fand heraus, dass die Methode, die am besten bei der Vorhersage der Hintergrunddaten war, nicht immer die beste bei der Schätzung des kausalen Effekts war. In den Simulationen war ein Werkzeug des maschinellen Lernens namens XGBoost am genauesten bei der Vorhersage der Hintergrundvariablen und erzeugte die kleinsten Fehler in seinen Schätzungen. Wenn es jedoch um das endgültige Ziel ging, den kausalen Effekt zu schätzen, schnitt eine andere Methode namens „Double Machine Learning“, die XGBoost innerhalb eines spezifischen statistischen Rahmens verwendete, bei einer anderen entscheidenden Aufgabe besser ab: der Bereitstellung zuverlässiger Konfidenzintervalle. Ein Konfidenzintervall ist ein Wertebereich, den Forscher verwenden, um auszudrücken, wie sicher sie sich über ihre Antwort sind. In diesen Simulationen lieferte die Methode mit der besten Vorhersagegenauigkeit einen Bereich, der zu eng war, was bedeutete, dass sie übermäßig selbstbewusst war und oft die wahre Antwort verfehlte. Die Methode mit etwas geringerer Vorhersagegenauigkeit produzierte jedoch weitere, ehrlichere Bereiche, die die wahre Antwort in etwa 93 Prozent der Fälle erfassten, was sehr nah an den idealen 95 Prozent liegt.

Dies deutet darauf hin, dass ein guter Prädiktor nicht dasselbe ist wie ein guter Detektiv für Ursache und Wirkung. Die Studie zeigte, dass ein Modell sehr präzise darin sein kann, die Hintergrundzahlen zu erraten, aber dennoch daran scheitern kann, einen vertrauenswürdigen Bereich für die endgültige Antwort zu liefern. Die Forscher testeten auch eine neue Idee: ob die Betrachtung der kombinierten Fehler zweier verschiedener Hintergrundmodelle das Endergebnis vorhersagen könnte. Sie fanden heraus, dass dieses kombinierte Maß schwach war und nicht zuverlässig vorhersagen konnte, welche Methode am besten funktionieren würde. Die Ergebnisse deuten darauf hin, dass die Überprüfung, wie gut ein Modell Daten vorhersagt, zwar nützlich ist, aber allein nicht ausreicht, um eine gute kausale Schlussfolgerung zu garantieren. Forscher können nicht einfach das Modell mit dem geringsten Vorhersagefehler wählen und davon ausgehen, dass die kausale Antwort korrekt ist. Stattdessen müssen sie die spezifischen Eigenschaften der kausalen Methode selbst betrachten, wie etwa die Art und Weise, wie sie mit Unsicherheit umgeht, um sicherzustellen, dass das endgültige Ergebnis robust ist.

Die Studie untersuchte auch, was passiert, wenn Datenpunkte nicht unabhängig sind, wie etwa wenn Patienten in derselben Klinik oder Familie gruppiert sind, was eine versteckte Verbindung zwischen ihnen schafft. Selbst in diesen komplexeren, geclusterten Situationen blieb das Muster bestehen. Die Methode, die die Hintergrunddaten am besten vorhersagte, lieferte immer noch nicht die zuverlässigsten Konfidenzintervalle. Die Forscher merkten an, dass ihre Arbeit auf Computersimulationen mit spezifischen Bedingungen basierte und die Ergebnisse in anderen realen Szenarien mit anderen Arten von Daten anders aussehen könnten. Die Kernbotschaft bleibt jedoch klar: In dem Bestreben, Ursache und Wirkung zu finden, überträgt sich die Fähigkeit eines Modells, die Vergangenheit vorherzusagen, nicht automatisch auf die Fähigkeit, die Zukunft zu erklären. Die Werkzeuge, die verwendet werden, um das Hintergrundrauschen zu bereinigen, müssen danach beurteilt werden, wie gut sie die endgültige Antwort schützen, und nicht nur danach, wie gut sie das Rauschen selbst erraten.