📊 statistics

Post-treatment problems: What can we say about the effect of a treatment among sub-groups who (would) respond in some way?

Das Paper schlägt den „Treatment Reactive Average Causal Effect“ (TRACE) vor, eine Methode zur Identifizierung von Behandlungseffekten in Untergruppen, die auf eine Intervention reagieren, um Verzerrungen zu vermeiden, die durch die bloße Berücksichtigung beobachteter Post-Treatment-Variablen entstehen.

Ursprüngliche Autoren: Chad Hazlett, Nina McMurry, Tanvi Shinkre

Veröffentlicht 2026-04-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chad Hazlett, Nina McMurry, Tanvi Shinkre

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Teilzeit-Helden“ und die falsche Statistik

Stell dir vor, du bist ein Koch und hast ein neues, super-geheimes Rezept für die perfekte Pizza entwickelt. Du machst ein Experiment: Du gibst der einen Gruppe deine neue Pizza und der anderen Gruppe eine normale Pizza.

Dann merkst du: Die Leute, die deine neue Pizza bekommen haben, haben sie unterschiedlich gegessen. Manche haben sie genüsslich aufgegessen (das sind die „echten Nutzer“), aber manche haben sie nur halb angeschnitten und liegen gelassen (das sind die „Nicht-Nutzer“).

Jetzt hast du ein Problem, wenn du die Ergebnisse auswertest:

Wenn du alle Befragten zusammenfasst, wirkt deine Pizza vielleicht total langweilig, weil die Leute, die sie nicht gegessen haben, die Bewertung „schlecht“ oder „neutral“ gegeben haben. Dein Erfolg wird „verwässert“.
Wenn du aber nur die Leute fragst, die die Pizza wirklich gegessen haben, begehst du einen Fehler: Du ignorierst, dass es Gründe geben könnte, warum manche sie nicht gegessen haben (vielleicht waren sie schon satt oder hatten keine Lust). Das verzerrt dein Bild.

Genau hier setzt das Paper an. Die Forscher haben eine Methode entwickelt, um herauszufinden: „Wie gut wirkt die Behandlung wirklich bei denen, bei denen sie auch tatsächlich funktioniert hat?“

Die Lösung: Der „TRACE“-Kompass

Die Forscher nennen ihre Methode TRACE (Treatment Reactive Average Causal Effect).

Stell dir TRACE wie einen Detektiv-Kompass vor. Anstatt zu raten, wie gut die Pizza bei den „echten Nutzern“ war, nutzt der Kompass zwei Strategien:

1. Die „Sicherheits-Grenzen“ (Trimming Bounds)

Der Kompass sagt dir zuerst: „Ich weiß es nicht ganz genau, aber das Ergebnis muss definitiv irgendwo zwischen Punkt A und Punkt B liegen.“ Das ist wie eine Sicherheitszone. Selbst wenn wir gar nichts über die Leute wissen, die die Pizza weggeworfen haben, können wir die extremsten (und unlogischsten) Ergebnisse ausschließen.

2. Das „Was-wäre-wenn“-Spiel (Reasoning about TRACE(0))

Das ist der klügste Teil. Der Detektiv stellt eine logische Frage über die Gruppe, die nicht reagiert hat (die „Nicht-Nutzer“):

Die „Null-Hypothese“: „Was, wenn die Pizza bei den Leuten, die sie nicht gegessen haben, überhaupt keinen Effekt hatte?“ (Wenn man das annimmt, kann man den Effekt für die echten Genießer viel präziser berechnen!)
Die „Gegenteil-Hypothese“: „Was, wenn die Pizza bei den Leuten, die sie nicht gegessen haben, sogar schlecht ankam (z. B. weil sie zu fettig war)?“

Indem man verschiedene Annahmen über diese „Nicht-Reagierenden“ macht, kann man den wahren Effekt der Behandlung für die „echten Reagierenden“ immer genauer eingrenzen.

Drei Beispiele aus der echten Welt

Das Paper zeigt, dass dieser „Kompass“ in ganz unterschiedlichen Situationen hilft:

Polizei und Gewalt: Wenn die Polizei jemanden anhält, ist das der „Mechanismus“. Wenn die Polizei jemanden gar nicht erst anhält, kann es auch keine Gewalt während der Anhaltung geben. Die Forscher zeigen, wie man berechnen kann, wie stark die Hautfarbe die Wahrscheinlichkeit von Gewalt beeinflusst, ohne die Statistik durch die Fälle zu verfälschen, in denen gar keine Anhaltung stattfand.
Gemeinschaftsprojekte in Liberia: Ein Programm zur Kriminalitätsbekämpfung schien im Durchschnitt nicht zu wirken. Aber mit TRACE zeigt sich: In den Gemeinden, in denen das Programm wirklich aktiv umgesetzt wurde, hat es die Gewalt massiv gesenkt! Der Effekt wurde nur durch die Gemeinden „verwaschen“, in denen das Programm nur auf dem Papier existierte.
Transgender-Rechte: Ein Gespräch kann die Einstellung von Menschen verbessern. Aber was, wenn das Gespräch bei manchen Menschen gar keine Veränderung der Gefühle bewirkt? TRACE hilft zu berechnen, wie stark das Gespräch die Meinung derer verändert hat, die durch das Gespräch tatsächlich „wärmere“ Gefühle entwickelt haben.

Zusammenfassung für den Stammtisch

Das Paper liefert ein Werkzeug für Wissenschaftler, um nicht mehr „blind“ zu raten, wenn ein Experiment nicht perfekt funktioniert hat. Es erlaubt uns zu sagen: „Wir wissen zwar nicht, was bei allen passiert ist, aber wir können mit hoher Sicherheit sagen, was bei denen passiert ist, bei denen die Maßnahme auch wirklich angekommen ist.“

Technische Zusammenfassung: TRACE (Treatment Reactive Average Causal Effect)

1. Problemstellung (The Problem)

In der empirischen Forschung besteht oft das Interesse daran, die Wirkung einer Intervention nicht nur für die gesamte Stichprobe (Intent-to-Treat, ITT), sondern spezifisch für eine Untergruppe zu verstehen, die auf die Behandlung „reagiert“ (z. B. Teilnehmer, die ein Programm tatsächlich implementiert haben, eine Aufmerksamkeitsprobe bestanden haben oder einen bestimmten Mechanismus zeigen).

Das Problem bei der direkten Analyse dieser Untergruppen ist zweifach:

Selektionsbias durch Post-Treatment-Variablen: Wenn man lediglich auf die beobachteten Werte einer Variable nach der Behandlung (z. B. $M$ ) konditioniert, führt dies zu Verzerrungen. Da $M$ eine Folge der Behandlung $D$ ist, wirkt $M$ als „Collider“. Eine Konditionierung auf $M$ öffnet Pfade zwischen der Behandlung und unbeobachteten Störfaktoren ( $U$ ), was die Schätzung verzerrt.
Identifikationsprobleme: Bestehende Strategien (wie Mediation oder LATE) erfordern oft schwer zu rechtfertigende Annahmen, wie etwa die Exclusion Restriction (dass die Behandlung keinen direkten Effekt auf das Outcome hat, außer über den Mediator) oder die Abwesenheit von Confoundern zwischen Mediator und Outcome.

2. Methodik (Methodology)

Die Autoren schlagen ein neues Identifikationsmaß vor: den Treatment Reactive Average Causal Effect (TRACE).

Definition:
Der TRACE ist der totale kausale Effekt der Behandlung auf das Outcome $Y$ innerhalb der Gruppe, die – wenn sie behandelt worden wäre – einen spezifischen Wert für die Post-Treatment-Variable $M$ angenommen hätte:
$\text{TRACE} \equiv E[Y_i(1) - Y_i(0) \mid M_i(1) = 1]$

Identifikationsstrategie:
Da man die potenziellen Werte $M_i(1)$ für die Kontrollgruppe nicht beobachten kann, ist der TRACE nicht punktidentifizierbar. Die Autoren nutzen daher einen Ansatz der partiellen Identifikation:

Trimming Bounds (Keine Annahmen): Zunächst werden scharfe Grenzen (Bounds) ohne zusätzliche Annahmen berechnet. Diese basieren auf der Beobachtung des Outcomes in der behandelten Gruppe ( $Y(1)$ bei $M=1$ ) und den Extremwerten der Verteilung in der Kontrollgruppe.
Nutzung von Annahmen über $\text{TRACE}(0)$ : Der Kern des Ansatzes liegt darin, den TRACE durch die Verknüpfung mit dem Effekt in der „nicht-reaktiven“ Gruppe ( $\text{TRACE}(0)$ ) einzugrenzen. Es gilt die algebraische Beziehung:
$\text{TRACE} = \frac{\text{TE} - \text{TRACE}(0) \cdot \Pr(M(1) = 0)}{\Pr(M(1) = 1)}$
Hierbei ist $\text{TE}$ der identifizierbare Intent-to-Treat-Effekt.
Plausible Annahmen: Anstatt einen festen Wert zu postulieren, erlaubt das Modell die Untersuchung verschiedener Szenarien für $\text{TRACE}(0)$ $TRACE (0)$ :
- $\text{TRACE}(0) = 0$ (Kein Effekt bei Nicht-Reaktion).
- $|\text{TRACE}(0)| < |\text{TRACE}|$ (Der Effekt ist bei Reagierenden stärker).
- $\text{TRACE}(0)$ hat das entgegengesetzte Vorzeichen (Backlash-Effekt).

3. Key Contributions (Wichtigste Beiträge)

Neues Estimand: Einführung des TRACE, das sich von LATE (Instrumentalvariablen) und SACE (Survivor Average Causal Effect) unterscheidet, da es den totalen Effekt (inklusive Direkteffekte) betrachtet.
Robustheit gegenüber Confounding: Der Ansatz benötigt keine Annahme über die Unabhängigkeit von Mediator und Outcome, was ihn in realen Feldforschungssettings (wo $U$ oft existiert) praktikabler macht.
Flexibilität der partiellen Identifikation: Das Framework erlaubt es Forschern, die Ergebnisse transparent von den Annahmen über die nicht-reaktive Gruppe abhängig zu machen, anstatt riskante Punkt-Schätzungen vorzunehmen.

4. Ergebnisse (Results)

Die Autoren demonstrieren die Methode anhand von drei Fallbeispielen:

Polizeigewalt: Durch die Annahme, dass Gewalt bei einem Verkehrsstopp ( $M=0$ ) unmöglich ist ( $\text{TRACE}(0)=0$ ), kann der Effekt der wahrgenommenen Rasse auf Polizeigewalt punktidentifiziert werden.
Community Policing in Liberia: Bei einem Nullbefund im ITT-Design zeigt die TRACE-Analyse, dass ein signifikanter Effekt in den Gemeinden mit erfolgreicher Implementierung (CWF-Bildung) sehr wahrscheinlich ist, sofern man annimmt, dass die Intervention in nicht-implementierenden Gemeinden kaum wirkt.
Transgender-Rechte: Die Analyse zeigt, dass die Intervention bei Personen, die durch das Gespräch positivere Gefühle entwickelten („reactive types“), einen deutlich stärkeren Effekt auf die Unterstützung von Gesetzen hatte als der allgemeine ITT-Effekt vermuten ließ.

5. Signifikanz (Significance)

Das Paper liefert ein wichtiges Werkzeug für die politische und soziale Forschung, um das Problem der „verwässerten“ Effekte (Dilution) zu adressieren. Es ermöglicht Forschern, zu erklären, warum eine Intervention im Durchschnitt (ITT) nicht wirkt, aber dennoch hochwirksam sein kann, wenn sie korrekt implementiert wird. Zudem bietet es eine methodische Brücke, um Nullbefunde kritisch zu hinterfragen, ohne die Annahmen über die Kausalstruktur unhaltbar zu machen.