📈 economics

Testing identification in mediation and dynamic treatment models

Dieses Paper schlägt einen auf maschinellem Lernen basierenden statistischen Test zur Verifizierung der Identifikationsannahmen kausaler Effekte in Mediations- und dynamischen Behandlungsmodellen vor und validiert diesen durch Simulationen sowie eine Anwendung auf slowakische Arbeitsmarktdaten.

Ursprüngliche Autoren: Martin Huber, Kevin Kloiber, Lukas Laffers

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Martin Huber, Kevin Kloiber, Lukas Laffers

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden will, ob ein bestimmtes Trainingsprogramm tatsächlich Menschen dabei hilft, einen Job zu finden. Sie haben die Vermutung, dass das Programm funktioniert, aber Sie können nicht einfach die Daten betrachten und sagen: „Aha! Es hat funktioniert!“, denn vielleicht waren die Leute, die sich für das Programm angemeldet haben, bereits motivierter, intelligenter oder hatten bessere Verbindungen als diejenigen, die es nicht taten. In der Welt der Statistik nennen wir diese verborgenen Faktoren „Confounder“ (Störvariablen), und sie machen es sehr schwer, Ursache und Wirkung zu beweisen.

Dieses Paper stellt einen neuen „Lügendetektor“ für Forscher vor. Er hilft ihnen zu prüfen, ob ihre Annahmen über Ursache und Wirkung tatsächlich standhalten oder ob sie nur raten.

Hier ist die Aufschlüsselung des Papers, unter Verwendung einfacher Analogien:

Der Aufbau: Das Trainingslager und der Job

Stellen Sie sich vor, ein Arbeitssuchender durchläuft einen zweistufigen Prozess:

Schritt 1 (Die Behandlung): Er nimmt an einem „Graduate Practice“-Training teil (nennen wir dies D).
Schritt 2 (Der Mediator): Sie danach erhält er vielleicht einen zweiten Schub, wie etwa einen „Einstellungsanreiz“ oder eine subventionierte Stelle (nennen wir dies M).
Das Ergebnis: Schließlich sehen wir, ob er einen Job bekommt (Y).

Forscher wollen wissen: Hat das erste Training direkt geholfen? Hat es geholfen, indem es ihn in das zweite Programm gebracht hat? Oder hat das zweite Programm die ganze Arbeit erledigt?

Das Problem: Die „verborgene Hand“

Normalerweise nehmen Forscher an, dass die Entscheidung, am Programm teilzunehmen, zufällig ist, wenn sie alles kontrollieren, was sie sehen können (wie Alter, Bildung und bisherige Berufserfahrung). Aber was ist, wenn eine „verborgene Hand“ (nicht beobachtete Faktoren) sowohl die Entscheidung zur Teilnahme als als auch die Chance auf einen Job beeinflusst? Wenn diese verborgene Hand existiert, ist die gesamte Studie fehlerhaft.

Die Lösung: Der „Spotlight“-Test

Die Autoren schlagen einen Test vor, der zwei spezielle Werkzeuge namens Instrumente verwendet (nennen wir diese Z1 und Z2).

Betrachten Sie diese Instrumente wie Scheinwerfer oder zufällige Schalter, die beeinflussen, ob jemand in das Training kommt, aber nur durch das Training selbst.

Z1 ist ein Scheinwerfer, der es wahrscheinlicher macht, dass jemand das erste Training (D) erhält.
Z2 ist ein Scheinwerfer, der es wahrscheinlicher macht, dass jemand das zweite Programm (M) erhält.

Die Goldene Regel des Tests: Diese Scheinwerfer dürfen das Endergebnis (das Bekommen eines Jobs) niemals direkt berühren. Sie können das Ergebnis nur beeinflussen, indem sie die Person in die Trainingsprogramme drücken.

Wie der Test funktioniert

Die Forscher überprüfen drei Dinge, um zu sehen, ob die „Scheinwerfer“ korrekt funktionieren:

Beeinflusst der erste Scheinwerfer (Z1) das Job-Ergebnis direkt?
- Der Test: Wenn wir wissen, wer das erste Training erhalten hat, und wir seinen Hintergrund kennen, sagt der Scheinwerfer (Z1) dann immer noch das Ergebnis des Jobs voraus?
- Die Antwort: Das sollte er nicht. Wenn Z1 den Job vorhersagt, selbst nachdem wir das Training berücksichtigt haben, dann ist Z1 ein „schlechter Scheinwerfer“ (er schummelt).
Beeinflusst der erste Scheinwerfer (Z1) das zweite Programm (M) direkt?
- Der Test: Wenn wir den Hintergrund einer Person und das erste Training kennen, sagt der Scheinwerfer (Z1) dann immer noch das zweite Programm voraus?
- Die Antwort: Das sollte er nicht. Z1 sollte ihn nur in den ersten Schritt bringen, nicht in den zweiten.
Beeinflusst der zweite Scheinwerfer (Z2) das Job-Ergebnis direkt?
- Der Test: Wenn wir wissen, wer das erste Training und wer das zweite Programm erhalten hat und kennen den Hintergrund, sagt der zweite Scheinwerfer (Z2) dann immer noch den Job voraus?
- Die Antwort: Das sollte er nicht. Z2 sollte nur den zweiten Schritt beeinflussen, nicht das Endergebnis.

Wenn die Daten alle drei Prüfungen bestehen, deutet dies darauf hin, dass die „verborgene Hand“ die Sache nicht verfälscht und die Forscher ihren Schlussfolgerungen über Ursache und Wirkung vertrauen können. Wenn der Test fehlschlägt, ist dies ein Warnsignal, dass die Annahmen der Studie hinfällig sind.

Die „Machine Learning“-Engine

Da reale Daten unordentlich sind und tausende von Variablen enthalten können (wie 264 verschiedene Details über einen Arbeitssuchenden), verwenden die Autoren Machine Learning, um diesen Test durchzuführen. Betrachten Sie Machine Learning als einen super-intelligenten Assistenten, der all diese Variablen gleichzeitig jonglieren kann, um zu sehen, ob die „Scheinwerfer“ tatsächlich unabhängig vom Endergebnis sind.

Der Praxistest: Slowakei

Die Autoren haben ihren Test in der realen Welt mit Daten aus der Slowakei angewendet. Sie untersuchten junge Arbeitslose, die eine Abfolge von Regierungsprogrammen durchliefen:

Zuerst ein „Graduate Practice“ (Training).
Danach „Beschäftigungsanreize“ (subventionierte Jobs).

Sie nutzten die lokale Verfügbarkeit dieser Programme an verschiedenen Regierungsstellen als ihre „Scheinwerfer“. (Zum Beispiel war es für eine Person wahrscheinlicher, dass sie einen Platz erhält, wenn ein lokales Amt im Vorjahr viele freie Plätze hatte, rein zufällig bedingt durch den Standort).

Das Ergebnis: Der Test wies ihre Annahmen nicht zurück. Das bedeutet, dass die Daten sauber erschienen; die „Scheinwerfer“ schienen korrekt zu funktionieren, und die Forscher konnten mit Zuversicht sagen, dass die Teilnahme an beiden Programmen die Chancen auf einen Job um etwa 8,5 % erhöhte.

Das Fazit

Dieses Paper erfindet keine neue Methode, um den Effekt eines Programms zu berechnen. Stattdessen erfindet es eine Qualitätskontrolle. Es gibt Forschern eine Möglichkeit zu sagen: „Wir haben unsere Annahmen mit diesen speziellen Variablen überprüft, und sie haben den Test bestanden, daher sind unsere Ergebnisse wahrscheinlich vertrauenswürdig.“ Wenn der Test fehlschlägt, warnt er sie: „Stopp! Ihre Annahmen sind fehlerhaft, und Ihre Ergebnisse könnten falsch sein.“

Technische Zusammenfassung: Identitätsprüfung in Mediations- und dynamischen Behandlungsmodellen

Problemstellung
In der kausalen Mediationsanalyse, der Evaluierung dynamischer Behandlungen und in Stichprobenselektionsmodellen beruht die Identifizierung kausaler Effekte (wie direkter, indirekter oder gemeinsamer Effekte) typischerweise auf der Annahme der sequenziellen Ignorierbarkeit. Diese Annahme besagt, dass die Behandlung und der Mediator (oder ein Selektionsindikator) unter Berücksichtigung beobachteter Kovariaten exogen sind, was bedeutet, dass sie nicht durch unbeobachtete Variablen konfundiert werden. Diese Annahme ist in Standard-Beobachtungsdaten nicht testbar und oft umstritten, da unbeobachtete Konfounder nicht definitiv ausgeschlossen werden können. Während die bisherige Literatur Methoden zur Testung der Identifizierung einzelner Behandlungseffekte mittels Instrumentvariablen vorgeschlagen hat, mangelt es an Methoden, um die Identifizierungsannahmen für Modelle mit sequenziellen Behandlungen, Mediatoren oder Stichprobenselektion gemeinsam zu testen.

Methodik
Die Autoren schlagen einen Testrahmen vor, der die Arbeit von Huber und Kueck (2022) von Modellen mit Einzelbehandlung auf Settings mit sequenzieller Zuweisung einer Behandlung ( $D$ ) und eines Mediators ( $M$ ) oder eines Selektionsindikators erweitert. Der Ansatz stützt sich auf zwei Sätze beobachteter Variablen: Kovariaten ( $X$ ), die kontrolliert werden sollen, und vermutete Instrumente ( $Z_1$ für $D$ und $Z_2$ für $M$ ).

Die Methodik basiert auf einer spezifischen kausalen Struktur (Annahme 1), die eine umgekehrte Kausalität vom Outcome auf die Behandlung, den Mediator, die Kovariaten oder die Instrumente ausschließt und kausale Treue (faithfulness) voraussetzt. Unter dieser Struktur leiten die Autoren testbare Implikationen ab, die äquivalent zur gemeinsamen Erfüllung von Folgendem sind:

Exogenität: Die Behandlung und der Mediator sind bedingt durch die Kovariaten unabhängig von potenziellen Outcomes und potenziellen Mediatoren (sequenzielle Ignorierbarkeit).
Instrumentgültigkeit: Die Instrumente sind bedingt durch die Kovariaten und den jeweiligen Behandlungs-/Mediatorstatus unabhängig von potenziellen Outcomes und Mediatoren, was impliziert, dass sie das Outcome nicht direkt beeinflussen und nicht konfundiert sind.

Konkret sind die testbaren Implikationen (TIs) bedingte Unabhängigkeitsaussagen, die auf faktischen Größen basieren:

$Y \perp Z_1 | D, X$
$M \perp Z_1 | D, X$
$Y \perp Z_2 | D, M, X$

Der Rahmen ist flexibel genug, um folgende Szenarien zu berücksichtigen:

Interdependenz der Instrumente: Szenarien, in denen $Z_1$ auf $Z_2$ wirkt, was erfordert, dass $Z_2$ in den Konditionierungssatz für den Test von $Z_1$ aufgenommen wird.
Post-Treatment-Konfundierung: Szenarien, in denen Post-Treatment-Kovariaten ( $W$ ) die Mediator-Outcome-Beziehung beeinflussen, was erfordert, dass $W$ in die Konditionierungssätze aufgenommen wird.

Zur Implementierung des Tests in hochdimensionalen Settings verwenden die Autoren einen auf maschinellem Lernen basierenden Ansatz. Sie testen die Nullhypothese, dass der bedingte Erwartungswert des Outcomes oder Mediators unabhängig von den Instrumenten ist. Dies wird als quadratische Momentenbedingung formuliert, die die quadrierten Differenzen zwischen Regressionsfunktionen umfasst, welche die Instrumente einschließen bzw. ausschließen. Die Schätzung nutzt Cross-Fitting und Neyman-Orthogonalität (Chernozhukov et al., 2018), was die Verwendung flexibler Algorithmen des maschinellen Lernens (z. B. Lasso) ermöglicht, um hochdimensionale Kovariaten zu kontrollieren, ohne die asymptotischen Eigenschaften zu beeinträchtigen. Ein zufälliger Perturbations-Term wird der Score-Funktion hinzugefügt, um eine nicht-degenerierte Varianz unter der Nullhypothese zu gewährleisten.

Wesentliche Beiträge

Erweiterung von Identifikationstests: Dies ist die erste Studie, die einen Identifikationstest spezifisch für kausale Mediation, dynamische Behandlungseffekte und Stichprobenselektionsmodelle vorschlägt und damit den Single-Treatment-Rahmen von Huber und Kueck (2022) erweitert.
Gemeinsames Testen: Die Methode ermöglicht das gleichzeitige Testen der Exogenität der Behandlung und der Gültigkeit der Instrumente, anstatt diese getrennt zu testen.
Flexibilität: Der Rahmen verarbeitet multivalente Instrumente, sequenzielle Instrumente (bei denen ein Instrument ein anderes beeinflusst) und dynamische Konfundierung (Post-Treatment-Kovariaten).
Diagnostische Dekomposition: Die Teststruktur ermöglicht es Forschern, Ablehnungen auf spezifische Teile des kausalen Modells zu lokalisieren (z. B. die Unterscheidung zwischen einer Verletzung der Behandlungsexogenität versus der Instrumentgültigkeit).
Integration von maschinellem Lernen: Der Vorschlag eines datengesteuerten Testverfahrens, das hochdimensionale Kovariaten über maschinelles Lernen handhaben kann, adressiert die praktische Herausforderung, eine Vielzahl von Konfoundern zu kontrollieren.

Ergebnisse

Simulationsstudie: Die Autoren führen eine Simulationsstudie mit Stichprobengrößen von 1.000 und 4.000 durch. Die Ergebnisse zeigen, dass der Test die korrekte empirische Größe (nahe dem nominalen 5%-Niveau) beibehält, wenn die Identifizierungsannahmen gelten. Wenn die Annahmen verletzt werden (z. B. durch Einführung unbeobachteter Konfounder oder ungültige Instrumente), weist der Test eine hohe Power auf, wobei die Ablehnungsraten in größeren Stichproben gegen 100 % gehen. Die Studie zeigt auch, dass der vorgeschlagene Test gut darin ist, Verletzungen zu erkennen, selbst wenn Instrumente direkte Effekte auf das Outcome haben.
Empirische Anwendung: Die Methode wird auf slowakische Arbeitsmarktdaten angewendet, um die Effekte sequenzieller Trainingsprogramme (Abschlusspraktikum gefolgt von Beschäftigungsprogrammen) auf die Beschäftigung zu evaluieren. Unter Verwendung der lokalen Verfügbarkeit von Programmen als Instrumente und unter Kontrolle eines reichhaltigen Satzes von Pre- und Post-Treatment-Kovariaten werden die testbaren Implikationen auf konventionellen Signifikanzniveaus nicht abgelehnt. Dies deutet darauf hin, dass die Annahme der sequenziellen Ignorierbarkeit für diese spezifische Anwendung plausibel ist. Infolgedessen schätzen die Autoren den dynamischen Behandlungseffekt und stellen fest, dass die Teilnahme an beiden Programmen die Beschäftigungswahrscheinlichkeit um etwa 8,55 Prozentpunkte erhöht.

Bedeutung und Ansprüche
Das Paper beansprucht, ein notwendiges Werkzeug zur Verifizierung von Identifizierungsannahmen in komplexen kausalen Modellen bereitzustellen, in denen unbeobachtete Konfundierung ein primäres Problem darstellt. Durch die Etablierung hinreichender testbarer Bedingungen argumentieren die Autoren, dass Forscher über die bloße theoretische Motivation oder Intuition für die sequenzielle Ignorierbarkeit hinausgehen können. Die Bedeutung liegt in der Fähigkeit, die Identifizierung in Beobachtungsdaten zu „verifizieren“, wodurch das Vertrauen in die aus Mediations- und dynamischen Behandlungsmodellen abgeleiteten kausalen Schätzungen gestärkt wird. Die Autoren bleiben bescheiden und merken an, dass der Test zwar notwendige Bedingungen für die Identifizierung verifiziert, aber nicht die Identifizierung natürlicher direkter und indirekter Effekte garantiert (welche stärkere Cross-World-Unabhängigkeitsannahmen erfordern), jedoch die Identifizierung kontrollierter direkter Effekte und Gesamteffekte unterstützt.