📊 statistics

Treatment effect: a critique

Dieses Papier kritisiert die Unterscheidung zwischen modellbasierten und kontrafaktischen Definitionen von Behandlungseffekten und argumentiert, dass, während kontrafaktische Rahmenwerke eine idealisierte Klarheit bieten, modellfreie Definitionen möglicherweise ungeeignet sind, um wissenschaftliche Schlussfolgerungen über die beobachtete Stichprobe hinaus zu verallgemeinern, was die von Cox aufgeworfenen Bedenken widerspiegelt.

Ursprüngliche Autoren: Heather Battey, Charlotte Edgar

Veröffentlicht 2026-01-23

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Heather Battey, Charlotte Edgar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der herausfinden will, ob das Hinzufügen eines geheimen Gewürzes (der „Behandlung“) die Suppe besser schmecken lässt. Sie wollen genau wissen, wie viel besser sie schmeckt. Dieses Papier ist eine Debatte zwischen zwei Gruppen von Statistikern darüber, was der beste Weg ist, diese „Verbesserung“ zu messen.

Hier ist die Aufschlüsselung des Arguments des Papers, unter Verwendung einfacher Analogien.

Die zwei konkurrierenden Rezepte

Die Autoren, Battey und Edgar, vergleichen zwei verschiedene Wege, einen „Behandlungseffekt“ (die Auswirkung des Gewürzes) zu definieren.

1. Das „modellbasierte“ Rezept (Der fisherianische Ansatz)

Die Idee: Dieser Ansatz geht davon aus, dass es eine verborgene, stabile Regel gibt, die regelt, wie sich die Suppe verändert. Denken Sie an ein physikalisches Gesetz. Wenn man das Gewürz hinzufügt, verschiebt sich der Geschmack der Suppe um einen spezifischen, konsistenten Betrag (wie das Hinzufügen von genau 2 Gramm Salz).
Das Ziel: Diesen stabilen „Regelwert“ oder Parameter zu finden. Selbst wenn man die Suppe mit unterschiedlichen Basiszutaten (verschiedenen Menschen) kocht, bleibt die durch das Gewürz verursachte Veränderung gemäß der Regel konstant.
Die Analogie: Stellen Sie sich ein Förderband vor, auf dem jeder Box ein Aufkleber hinzugefügt wird. Der „Behandlungseffekt“ ist die Größe des Aufklebers. Er hat für jede Box dieselbe Größe, unabhängig davon, was sich in der Box befindet.

2. Das „modellfreie“ Rezept (Der kontrafaktische Ansatz)

Die Idee: Dieser Ansatz nimmt keine verborgene Regel an. Er stellt stattdin für jede einzelne Person eine „Was wäre wenn?“-Frage. „Was hätte Person A geschmeckt, wenn sie das Gewürz nicht bekommen hätte, im Vergleich zu dem, was sie tatsächlich geschmeckt hat?“
Das Ziel: Den durchschnittlichen Unterschied zwischen der „realen Welt“ und der „imaginären Welt“ für alle Personen in der Gruppe zu berechnen.
Die Analogie: Stellen Sie sich vor, Sie haben 100 Klone von sich selbst. Sie geben einem Klon das Gewürz und dem anderen nicht. Dann machen Sie das wieder mit einem anderen Satz von Klonen. Sie nehmen den Durchschnitt all dieser Unterschiede. Dies ist die „modellfreie“ Methode.

Das große Problem: Der „Chamäleon“-Effekt

Die Autoren argumentieren, dass der „modellfreie“ Ansatz einen schwerwiegenden Fehler hat: Er verändert sich, je nachdem, wen man fragt.

Um dies zu beweisen, verwenden sie ein Gedankenexperiment (eine „fiktive Idealisierung“). Sie tun so, als hätten wir eine magische Maschine, die es uns ermöglicht, sowohl die „gewürzte“ als auch die „ungewürzte“ Version jeder Person gleichzeitig zu sehen. Selbst mit dieser perfekten Information verhält sich der modellfreie Durchschnitt seltsam.

Die Analogie des instabilen Lineals:
Stellen Sie sich vor, Sie messen die Körpergröße einer Gruppe von Menschen, um zu sehen, wie sehr ein Wachstumshormon (die Behandlung) ihnen beim Wachsen hilft.

Die modellbasierte Sicht sagt: „Das Hormon lässt jeden genau 2 Zoll wachsen.“ Dies ist eine stabile Tatsache.
Die modellfreie Sicht berechnet das durchschnittliche Wachstum.
- Wenn Ihre Gruppe aus sehr kleinen Menschen besteht, kann das Hormon sie um 2 Zoll wachsen lassen, was eine enorme prozentuale Steigerung ist.
- Wenn Ihre Gruppe aus sehr großen Menschen besteht, kann dieselbe 2 Zoll eine winzige prozentuale Steigerung sein.
- Das Ergebnis: Der durch die modellfreie Methode berechnete „Durchschnittseffekt“ ändert sich komplett, nur weil Sie eine andere Gruppe von Menschen gemessen haben.

Die Autoren zeigen, dass der modellfreie Durchschnitt in vielen realen Szenarien (wie binären Ergebnissen wie „krank“ vs. „gesund“) völlig davon abhängt, welche Mischung von Menschen in Ihrer Stichprobe enthalten ist. Wenn Sie die Stichprobe ändern, ändert sich auch die „Antwort“.

Warum das wichtig ist

Die Autoren argumenten, dass man eine stabile Definition benötigt, wenn man wissenschaftliche Schlussfolgerungen ziehen möchte, die für die Welt im Allgemeinen gelten (und nicht nur für die spezifischen Personen in Ihrer Studie).

Die Kritik: Der modellfreie Ansatz ist wie der Versuch, die „Durchschnittsgeschwindigkeit“ eines Autos zu messen, indem man schaut, wie schnell es auf verschiedenen Straßen fährt. Wenn die Straße steil ist, fährt es langsam; wenn sie flach ist, fährt es schnell. Die „Geschwindigkeit“ ist keine Eigenschaft des Autos; sie ist eine Eigenschaft der spezifischen Straße, auf der man gerade gefahren ist.
Die Konsequenz: Wenn Sie die modellfreie Methode verwenden, kann Ihre Schlussfolgerung über eine Behandlung zwar für Ihre spezifische Gruppe von Patienten wahr sein, aber sie könnte für die nächste Gruppe von Patienten, die Sie sehen, völlig falsch sein. Sie lässt sich nicht gut generalisieren.

Adressierung der Gegenargumente

Das Papier setzt sich auch mit drei gängigen Verteidigungen des modellfreien Ansatzes auseinander:

„Aber Menschen sind unterschiedlich!“
- Verteidigung: Die modellfreie Methode ist besser, weil sie es verschiedenen Menschen erlaubt, unterschiedliche Effekte zu haben.
- Replik: Die modellbasierte Methode kann das ebenfalls handhaben! Sie behandelt die Unterschiede einfach als „Interaktionen“ (wie die Aussage, dass das Gewürz anders wirkt auf scharfe Suppe vs. milde Suppe), während sie den Kern der Regel stabil hält.
„Wir wollen kein Modell voraussetzen!“
- Verteidigung: Wir sollten nicht die Regel erraten; wir sollten einfach den Unterschied messen.
- Replik: Wenn man keine Regel voraussetzt, verliert man die Fähigkeit, etwas Stabiles über die Zukunft auszusagen. Man erhält eine Zahl, die nur für die spezifischen Menschen gilt, die man heute gemessen hat.
„Es besitzt eine ‚doppelte Robustheit‘!“
- Verteidigung: Die Mathematik ist clever; sie funktioniert selbst dann, wenn ein Teil der Berechnung falsch ist.
- Replik: Dies ist nur nützlich, wenn das, was man misst (der durchschnittliche Unterschied), tatsächlich ein aussagekräftiges, stabiles Ziel ist. Wenn das Ziel selbst wackelig ist (wie ein instabiles Lineal), hilft es nicht viel, „robust“ zu sein, um die Zielscheibe zu treffen.

Das Fazit

Die Autoren kommen zu dem Schluss, dass der „modellfreie“ (kontrafaktische) Ansatz zwar populär und mathematisch clever ist, aber oft scheitert, eine stabile Definition eines Behandlungseffekts zu liefern, der auf neue Menschen verallgemeinert werden kann.

Sie argumentieren, dass wir zum „modellbasierten“ Ansatz (assoziiert mit R.A. Fisher) zurückkehren sollten, bei dem wir nach einer stabilen Regel oder einem Parameter suchen, der erklärt, wie die Behandlung wirkt, anstatt nur die Unterschiede in einer spezifischen, potenziell nicht repräsentativen Gruppe aufzuaddieren.

Kurz gesagt: Addieren Sie nicht einfach die Unterschiede auf, die Sie in Ihrer spezifischen Gruppe sehen. Finden Sie die zugrunde liegende Regel, die die Veränderung erklärt, damit Ihre Schlussfolgerungen auch für die nächste Gruppe von Menschen gelten, denen Sie begegnen.

Technische Zusammenfassung: Behandlungseffekt: Eine Kritik

Problemstellung
Das Paper adressiert eine grundlegende Divergenz in der Definition des „Behandlungseffekts“ innerhalb der Statistik. Ein Lager, das in der fisherschen Tradition verwurzelt ist, definiert den Behandlungseffekt als einen stabilen Parameter innerhalb eines statistischen Modells (z. B. einen Regressionskoeffizienten). Das gegnerische Lager, das mit dem Rubin-Kausalmodell und Counterfactual-Frameworks assoziiert wird (Rubin, 1974; Rosenbaum und Rubin, 1983), definiert den Behandlungseffekt als einen modellfreien, auf Populationsebene liegenden Unterschied in potenziellen Ergebnissen (oder Kontrafakten). Während die Literatur die Identifizierbarkeit und Schätzung von kontrafaktischen Effekten umfassend debattiert hat, stellt dieses Paper die Frage, ob die modellfreie Definition (speziell der Durchschnittsunterschied in potenziellen Ergebnissen) ein angemessener Zielwert für die Inferenz darstellt, wenn das Ziel die wissenschaftliche Generalisierung über die beobachtete Stichprobe hinaus ist. Die Autoren argumentieren, dass modellfreie Definitionen selbst unter idealisierten Bedingungen, in denen Kontrafakten beobachtbar wären, einen Mangel an Stabilität und wissenschaftlicher Kohärenz aufweisen können.

Methodik
Die Autoren verwenden eine vergleichende theoretische Analyse mittels „fiktiver Idealisierung“. Um das Problem dessen, was gemessen wird, von dem Problem dessen zu isolieren, wie es geschätzt wird (d. h. untestbare Annahmen über Unbeobachtbares), nehmen sie ein Szenario an, in dem der kontrafaktische Prozess vollständig bekannt ist und sowohl die potenziellen Ergebnisse ( $Y_i(0)$ und $Y_i(1)$ ) für jede Einzelperson beobachtbar sind. In dieser idealisierten Umgebung reduziert sich das Problem auf ein Matched-Pair-Design, bei dem jedes Individuum mit einer perfekten Kopie gepaart ist.

Die Autoren vergleichen daraufhin den „modellfreien“ Behandlungseffekt, definiert als der Stichprobenmittelwert individueller Differenzen:
$\tau_n := \frac{1}{n} \sum_{i=1}^n E_i(Y_i(1) - Y_i(0))$
gegen den „modellbasierten“ Behandlungseffekt, definiert als ein stabiler Parameter $\theta$ (oder $\Delta$ ), der eine Transformation der Wahrscheinlichkeitsverteilung des Ergebnisses steuert (folgend nach McCullagh, 2002, 2022).

Sie analysieren fünf spezifische Beispiele, um die Kompatibilität dieser beiden Definitionen zu testen:

Lineares Modell: Additive Effekte auf den Mittelwert.
Exponentielles Modell: Multiplikative Effekte auf die Rate.
Weibull-Modell: Multiplikative Effekte auf die Rate mit einem Formparameter $\alpha$ .
Exponentielles Modell (additive Rate): Additive Effekte auf die Rate.
Logistisches Modell: Additive Effekte auf die Log-Odds (binäre Ergebnisse).

Zentrale Beiträge und Ergebnisse
Die Analyse liefert folgende technische Erkenntnisse:

Kompatibilität in Transformationsfamilien: In Fällen, in denen der Behandlungseffekt als Gruppen-Transformation auf die Parameter der Basisverteilung wirkt (z. B. additive Verschiebungen in einem linearen Modell oder multiplikative Verschiebungen in einer exponentiellen Rate), stellt der modellfreie Durchschnitt $\tau_n$ den modellbasierten Parameter (oder eine einfache Transformation davon) wieder her.
Instabilität in Nicht-Transformationsfamilien: In Fällen, in denen der Behandlungseffekt in dem Modell stabil definiert ist (z. B. eine additive Verschiebung $\Delta$ $Δ$ einer exponentiellen Rate oder eine additive Verschiebung $\Delta$ $Δ$ der logistischen Log-Odds), kann der modellfreie Durchschnitt $\tau_n$ $τ_{n}$ keinen stabilen Parameter wiederherstellen. Stattdessen wird $\tau_n$ $τ_{n}$ zu einer komplexen Funktion der spezifischen Basisparameter ( $\gamma_i$ $γ_{i}$ ) der gezogenen Stichproben.
- Beispiel: Im Modell der additiven exponentiellen Rate ist $\tau_n = \frac{1}{n} \sum \log((\gamma_i + \Delta)/\gamma_i)$ . Dieser Wert variiert drastisch je nach Verteilung der $\gamma_i$ in der Stichprobe. Wenn $\gamma_i$ klein sind, ist $\tau_n$ groß; wenn $\gamma_i$ groß sind, ist $\tau_n$ winzig.
- Beispiel: Im logistischen Modell hängt $\tau_n$ von den spezifischen Werten der linearen Prädiktoren $\gamma_i$ der untersuchten Einheiten ab.
Notwendige Bedingungen für Äquivalenz: Die Autoren leiten drei Kriterien ab, unter denen die modellfreie und die modellbasierte Definition für jede Stichprobe identische Antworten liefern:
1. Der Behandlungseffekt wirkt auf die Basisverteilung über den Raum der Basisparameter.
2. Die Gruppenwirkung ist konsistent auf den Beobachtungen.
3. Es sind keine Störparameter außer dem Basisparameter erforderlich, um die relevante Erwartung zu charakterisieren.
  Die Verletzung dieser Bedingungen (wie in den letzten beiden Beispielen gesehen) führt dazu, dass der modellfreie Zielwert abhängig von der spezifisch gezogenen Stichprobe ist, was das Prinzip stabiler Parameter verletzt.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Instabilität des modellfreien Behandlungseffekts $\tau_n$ ein kritischer Fehler ist, wenn wissenschaftliche Schlussfolgerungen zur Generalisierung gedacht sind. Die Autoren greifen die Bedenken auf, die auch Cox (1958b, 2012) hinsichtlich der Eignung modellfreier Durchschnitte als Inferenzziele geäußert hat.

Generalisierbarkeit: Da $\tau_n$ von der spezifischen Verteilung der Basischarakteristika in der Stichprobe abhängt, können Schlussfolgerungen aus einer Studie möglicherweise nicht auf eine andere Population mit einer anderen Verteilung von $\gamma_i$ generalisiert werden, selbst wenn der zugrunde liegende kausale Mechanismus (der Modellparameter) identisch ist.
Wissenschaftliche Praxis: Die Autoren argumentieren, dass, falls Behandlungseffekte systematisch zwischen den Einheiten variieren, diese Variation über Interaktionsterme innerhalb eines stabilen Modells erklärt werden sollte (wie in McCullaghs Formalismus), anstatt sie in einen instabilen, stichprobenabhängigen Durchschnitt zu absorbieren.
Widerlegung gängiger Verteidigungsargumente: Das Paper setzt sich mit drei häufigen Argumenten für modellfreie Definitionen auseinander:
- Heterogenität: Das modellbasierte Framework kann individuelle Effekte durch Interaktionskomponenten aufnehmen und dabei die Parameterstabilität beibehalten.
- Modellfehlspezifikation: Während modellfreie Ansätze die Fehlspezifikation vermeiden, opfern sie Stabilität und Interpretierbarkeit. Wenn ein Modell fehl spezifiziert ist, verliert es ebenfalls die Stabilität, was die Notwendigkeit von Checks zur Modelladäquanz unterstreicht.
- Doppelte Robustheit: Die Eigenschaft der doppelten Robustheit ist nur relevant, wenn $\tau_n$ als valider wissenschaftlicher Größenwert akzeptiert wird; die Autoren stellen diese Akzeptanz infrage.

Fazit
Das Paper kommt zu dem Schluss, dass die modellfreie Definition des Behandlungseffekts kein universell angemessener Inferenzziel ist. In vielen Standard-wissenschaftlichen Settings (wie etwa bei logistischen oder additiven exponentiellen Modellen) ist der modellfreie Durchschnitt eine instabile Größe, die sich mit der Zusammensetzung der Stichprobe ändert, während der modellbasierte Parameter eine stabile, wissenschaftlich bedeutsame Größe bleibt. Die Autoren legen nahe, dass die Proliferation von Methoden zur Handhabung von bedingter Validität oder Subpopulations-Durchschnitten in der Kausalinferenz-Literatur ein Symptom dieser zugrunde liegenden Instabilität in der modellfreien Definition ist.

Die zwei konkurrierenden Rezepte

Das große Problem: Der „Chamäleon“-Effekt

Warum das wichtig ist

Adressierung der Gegenargumente

Das Fazit

Mehr davon