📊 statistics

Transporting causal effects from a randomized trial without "transportability:" a case study of political advertising during U.S. elections

Dieses Paper schlägt ein Transfer-Learning-Framework mit Sensitivitätsanalyse vor, um kausale Effekte in einer Zielpopulation (Georgia) aus einer randomisierten Studie in einer Quellpopulation (fünf Battleground-States) zu schätzen, ohne vollständige Transportierbarkeit vorauszusetzen, wobei aufgezeigt wird, dass geringfügige Abweichungen von dieser Annahme zu heterogenen Werbeeffekten auf die Wahlbeteiligung führen, die durch die ethnische Zusammensetzung getrieben werden.

Ursprüngliche Autoren: Xinran Miao, Jiwei Zhao, Hyunseung Kang

Veröffentlicht 2026-06-24

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinran Miao, Jiwei Zhao, Hyunseung Kang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Versuchen, die Zukunft aus der Vergangenheit vorherzusagen

Stellen Sie sich vor, Sie sind ein politischer Stratege. Sie haben gerade ein massives Experiment in fünf spezifischen Bundesstaaten (Pennsylvania, Wisconsin, Michigan, North Carolina und Arizona) durchgeführt, um zu sehen, ob das Versenden negativer digitaler Anzeigen gegen einen Kandidaten dazu führt, dass mehr Menschen wählen gehen.

Das Ergebnis: In diesen fünf Bundesstaaten bewirkten die Anzeigen absolut gar nichts. Die Wahlbeteiligung änderte sich nicht.

Die Frage: Nun wollen Sie wissen: „Werden diese gleichen Anzeigen in Georgia funktionieren?“

Georgia ist ein entscheidender Bundesstaat, aber er ist anders. Er hat eine andere Mischung von Menschen (mehr schwarze Wähler, unterschiedliche wirtschaftliche Hintergründe) und eine einzigartige politische Geschichte. Das Problem ist, dass das ursprüngliche Experiment nicht in Georgia stattfand, und wir können nicht einfach davon ausgehen, dass die Ergebnisse dieselben sein werden.

In dieser Arbeit geht es darum, eine mathematische „Zeitreise“ und einen „Übersetzungsleitfaden“ zu entwickeln, um diese Frage zu beantworten, selbst wenn wir uns nicht zu 100 % sicher sein können, ob die beiden Orte vergleichbar sind.

Das Problem: Der Mythos der „perfekten Übereinstimmung“

Normalerweise versuchen Statistiker, Ergebnisse von einem Ort auf einen anderen zu übertragen, indem sie sagen: „Wenn wir nur die Unterschiede anpassen, die wir sehen können (wie Alter, Rasse und Geschlecht), sollten die Ergebnisse Bestand haben.“

Die Autoren nennen dies die Annahme der „Transportierbarkeit“. Es ist so, als würde man sagen: „Wenn ich ein Rezept für einen Kuchen habe, der in einer trockenen Küche funktioniert, und ich die Luftfeuchtigkeit für eine feuchte Küche anpasse, wird der Kuchen denselben Geschmack haben.“

Der Haken: Was ist, wenn es unsichtbare Zutaten gibt? Vielleicht sind die Menschen in Georgia erschöpfter, oder der Nachrichtenzyklus ist anders, oder sie haben eine andere Krankenversicherung. Das sind Dinge, die das ursprüngliche Experiment nicht gemessen hat. Wenn diese „unsichtbaren Zutaten“ existieren, bricht die Standardmathematik zusammen. Die Autoren nennen dies eine Verletzung der Transportierbarkeit.

Die Lösung: Ein „Was-wäre-wenn“-Sicherheitsnetz

Anstatt vorzugein, dass wir alles wissen, schlägt die Arbeit einen neuen Rahmen vor, der zugibt: „Wir wissen nicht alles, aber lassen Sie uns sehen, wie sehr sich unsere Antwort ändert, wenn wir annehmen, dass es tatsächlich einige unsichtbare Unterschiede gibt.“

Sie verwenden ein Konzept namens Sensitivitätsanalyse. Denken Sie an das Testen einer Brücke.

Standardansatz: „Die Brücke hält, wenn der Wind ruhig ist.“
Dieser Ansatz: „Die Bre Brücke hält, wenn der Wind ruhig ist. Aber was, wenn der Wind mit 10 km/h weht? Mit 20 km/h? Lassen Sie uns genau berechnen, wie sehr die Brücke bei jeder Windgeschwindigkeit schwankt, damit wir wissen, wann sie brechen könnte.“

In ihrer Mathematik verwenden sie einen „Sensitivitätsregler“ (genannt $\Gamma$ ).

Drehen Sie den Regler auf 1,0: Wir nehmen an, dass Georgia exakt wie die anderen fünf Bundesstaaten ist (keine unsichtbaren Unterschiede).
Drehen Sie den Regler auf 1,01: Wir nehmen an, dass es einen winzigen, unsichtbaren Unterschied zwischen den Bundesstaaten gibt.
Drehen Sie den Regler auf 0,99: Wir nehmen an, dass der unsichtbare Unterschied in die entgegengesetzte Richtung geht.

Die zwei Werkzeuge, die sie entwickelt haben

Um diese Mathematik zu betreiben, haben sie zwei verschiedene Rechner erstellt:

Der „Einfache Regressions“-Rechner (Das Arbeitstier):
- Analogie: Dies ist wie die Verwendung einer zuverlässigen, Standardkarte. Er ist leicht zu verstehen, einfach zu bedenken und liefert den meisten Menschen eine gute Antwort.
- Funktionsweise: Er betrachtet die Daten aus den fünf Bundesstaaten, passt die sichtbaren Unterschiede (wie Rasse und Alter) an und wendet dann einen „Korrekturfaktor“ an, basierend darauf, wie sehr wir glauben, dass die unsichtbaren Unterschiede eine Rolle spielen. Sie verwenden eine Technik namens Bootstrapping (das tausendfache Neuuntersampling der Daten), um sicherzustellen, dass das Ergebnis stabil ist.
- Empfehlung: Die Autoren sagen: „Wenn Sie ein Praktiker sind, beginnen Sie mit diesem hier.“
Der „Effiziente Einflussfunktions“-Rechner (Das Rennauto):
- Analogie: Dies ist ein Hochleistungs-Rennwagen. Er ist schneller und theoretisch präziser, aber viel schwerer zu fahren und benötigt ein Boxenteam zur Wartung.
- Funktionsweise: Er nutzt komplexe Mathematik, um das genaueste Ergebnis möglich zu erzielen, erfordert aber die Schätzung vieler mehr verborgener Variablen.
- Warnung: Die Autoren merken an, dass dieses Werkzeug im Gegensatz zu einigen anderen fortgeschrittenen Tools nicht „doppelt robust“ ist. Wenn man einen Teil der Mathematik falsch berechnet, ist die gesamte Antwort falsch.

Der „Kalibrierungs“-Trick: Wie man den Regler einstellt

Der schwierigste Teil dieser Methode ist die Entscheidung, wie weit man den „Sensitivitätsregler“ drehen soll. Wie groß sollte der unsichtbare Unterschied sein? 1 %? 10 %?

Normalerweise raten die Leute einfach. Die Autoren haben einen cleveren, datengesteuerten Weg erfunden, um dies herauszufinden, den sie Kalibrierung nennen.

Die Analogie: Stellen Sie sich vor, Sie wollen wissen, ob ein neuer Automotor in einem verschneiten Klima funktioniert, aber Sie haben ihn nur in einer Wüste getestet. Sie wissen nicht, wie viel Schnee eine Rolle spielt.
Der Trick: Anstatt zu raten, nehmen Sie Ihre Wüsten-Daten und teilen sie in zwei Gruppen auf: „Rust Belt“-Staaten (kalt, industriell) und „Sun Belt“-Staaten (warm, sonnig).
Sie behandeln die „Sun Belt“-Daten als das neue Ziel. Sie versuchen, die Ergebnisse des „Rust Belt“ unter Verwendung Ihrer Mathematik auf den „Sun Belt“ zu übertragen.
Sie drehen den Sensitivitätsregler so lange, bis Ihre Mathematik die „Sun Belt“-Ergebnisse exakt so gut vorhersagt, als hätten Sie das Experiment direkt dort durchgeführt.
Das Ergebnis: Der Betrag, um den Sie den Regler drehen mussten, um die Mathematik zum Laufen zu bringen, verrät Ihnen: „Dies ist die Größe des unsichtbaren Unterschieds zwischen Rust Belt und Sun Belt.“ Jetzt wissen Sie, wenn Georgia so unterschiedlich ist wie der Rust Belt vom Sun Belt, müssen Sie den Regler entsprechend weit drehen.

Was sie in Georgia fanden

Als sie dies auf die Wahldaten von 2020 für Georgia anwandten, waren die Ergebnisse überraschend und nuanciert:

Wenn wir annehmen, dass alles perfekt ist (Transportierbarkeit hält): Die Anzeigen bewirken immer noch nichts. Null Effekt.
Wenn wir annehmen, dass es winzige, unsichtbare Unterschiede gibt (Sensitivitätsanalyse): Ändert sich das Ergebnis dramatisch.
- In Landkreisen mit mehr weißen Wählern und weniger schwarzen Wählern könnten die Anzeigen die Wahlbeteiligung tatsächlich erhöhen (ein positiver Effekt).
- In Landkreisen mit mehr Latinx-Wählern könnten die Anzeigen die Wahlbeteiligung tatsächlich senken (ein negativer Effekt).

Die wichtigste Erkenntnis:
Die Autoren kommen zu dem Schluss, dass, da der ursprüngliche Effekt so nah bei Null lag (es war im Grunde ein „Nullergebnis“), er extrem fragil ist. Selbst der kleinste, nicht gemessene Unterschied zwischen den fünf Staaten und Georgia kann das Ergebnis von „kein Effekt“ zu „großem positiven Effekt“ oder „großem negativen Effekt“ kippen.

Sie zitieren den berühmten Statistiker Paul Rosenbaum, um es zusammenzufassen: „Kleine Effekte reagieren empfindlich auf kleine Verzerrungen (Biases).“ Nur weil ein Experiment an einem Ort keinen Effekt zeigt, bedeutet das nicht, dass es an einem anderen Ort keinen Effekt gibt; es könnte bede
ien, dass der Effekt hinter einem winzigen, unsichtbaren Unterschied verborgen ist, den wir nicht gemessen haben.

Zusammenfassung

Diese Arbeit lehrt uns, dass wir beim Transfer wissenschaftlicher Ergebnisse von einer Gruppe auf eine andere nicht einfach so tun sollten, als wären die Gruppen identisch. Stattdessen sollten wir ein „Sicherheitsnetz“ verwenden, um zu testen, wie sehr sich unsere Schlussfolgerungen ändern, wenn es verborgene Unterschiede gibt. Im Fall politischer Anzeigen kann ein „Kein-Effekt“-Ergebnis an einem Ort tatsächlich ein „Großer Effekt“ an einem anderen sein, abhängig von den unsichtbaren Details der Bevölkerung.

Technische Zusammenfassung: Transportierung kausaler Effekte aus einer randomisierten Studie ohne „Transportierbarkeit“

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, kausale Effekte aus einer Quellpopulation, in der eine randomisierte kontrollierte Studie (RCT) durchgeführt wurde, auf eine Zielpopulation zu generalisieren (zu transportieren), die sich in nicht gemessenen Aspekten unterscheidet. Die spezifische motivierende Anwendung betrifft die Generalisierung der Ergebnisse einer groß angelegten RCT über digitale politische Werbung gegen Donald Trump während der US-Präsidentschaftswahl 2020. Aggarwal et al. (2023) fanden keinen Effekt auf die Wahlbeteiligung in fünf umkämpften Bundesstaaten (Pennsylvania, Wisconsin, Michigan, North Carolina und Arizona). Die Autoren untersuchen, ob dieses Nullresultat auf Georgia übertragbar ist, einen einzigartigen umkämpften Bundesstaat mit unterschiedlichen Wählerdemografien (insbesondere einem höheren Anteil an schwarzen Wählern) und ungemessenen Unterschieden in sozioökonomischen Faktoren (z. B. Krankenversicherung, Einkommen) im Vergleich zu den Quellstaaten.

Standardmethoden der Transportierbarkeit beruhen auf der Annahme, dass alle Unterschiede zwischen der Quell- und der Zielpopulation durch beobachtete Kovariaten erfasst werden (Transportierbarkeit). In diesem Kontext verletzen ungemessene Unterschiede diese Annahme jedoch wahrscheinlich. Zudem erfordern bestehende Methoden oft identische Kovariatensätze zwischen Quell- und Zieldaten, was hier nicht der Fall ist (die Quelldaten enthalten Parteizugehörigkeit und Wahlhistorie, während die Zieldaten aus dem Wählerregister von Georgia nur Demografien wie Alter, Rasse und Geschlecht enthalten).

Methodik
Die Autoren schlagen ein Transfer-Learning-Framework vor, das Sensitivitätsanalysen mit Transportierbarkeitsmethoden kombiniert, um sowohl ungemessene Unterschiede als auch nicht übereinstimmende Kovariaten ( $V \subset X$ ) zu handhaben.

Sensitivitätsmodell: Das Framework lockert die Transportierbarkeitsannahme durch die Einführung eines Sensitivitätsparameters $\Gamma_a$ (für Behandlungsstufen $a \in \{0, 1\}$ ). Dieser Parameter stellt das Chancenverhältnis (Odds Ratio) der kontrafaktischen Ergebnisse zwischen der Ziel- und der Quellpopulation dar, bedingt auf gemeinsamen Kovariaten $V$ . Wenn $\Gamma_a = 1$ gilt, hält die Transportierbarkeit; Abweichungen von 1 quantifizieren das Ausmaß der Verletzung. Das Modell nimmt eine exponentielle Tilting-Beziehung zwischen den bedingten Dichten der potenziellen Ergebnisse in den beiden Populationen an.
Identifikation: Unter diesem Sensitivitätsmodell ist der Target Average Treatment Effect (TATE) eine Funktion von $\Gamma_a$ und Störfunktionen (Outcome-Regression, Propensity Score und Dichteverhältnisse).
Schätzung: Es werden zwei Schätzer vorgeschlagen:
- Outcome-Regression (OR) Schätzer: Ein einfacher Plug-in-Schätzer, der die geschätzte Outcome-Regressionsfunktion $\hat{\rho}_a(V)$ durch den Sensitivitätsparameter gewichtet. Die Autoren empfehlen einen nichtparametrischen Perzentil-Bootstrap für die Inferenz und liefern eine theoretische Rechtfertigung für dessen Konsistenz und asymptotische Normalität.
- Effizienter Einflussfunktions-Schätzer (EIF): Ein semiparametrisch effizienter Schätzer basierend auf Cross-Fitting. Er nutzt die EIF, die für das Sensitivitätsmodell abgeleitet wurde. Die Autoren merken an, dass dieser Schätzer im Gegensatz zu Standard-Transportierbarkeits-Schätzern nicht doppelt robust ist, wenn die Transportierbarkeit verletzt ist; er erfordert eine konsistente Schätzung der Outcome-Regressionsfunktion $\rho_a.
Kalibrierungsverfahren: Um die Schwierigkeit bei der Auswahl aussagekräftiger Werte für die nicht identifizierbaren Sensitivitätsparameter zu adressieren, schlagen die Autoren ein datengesteuertes Kalibrierungsverfahren vor, das von der Design-Sensitivität inspiriert ist. Dabei wird die Quelldatenmenge in zwei unähnliche Teilmengen aufgeteilt (z. B. Rust Belt vs. Sun Belt oder hohe vs. niedrige Trump-Unterstützung). Das Verfahren ermittelt den Bereich der $\Gamma_a$ -Werte, in dem der transportierte Schätzer zwischen diesen Teilmengen mit dem „Oracle“-Schätzer (dem direkten Schätzer aus der Teilmenge, die als Ziel betrachtet wird) übereinstimmt. Dies generiert einen Referenzsatz von Sensitivitätsparametern, die das Ausmaß der in der Quelldatenmenge selbst vorhandenen ungemessenen Unterschiede widerspiegeln.

Wesentliche Beiträge

Gelockerte Kovariatenanforderungen: Das Framework erlaubt es, dass die Quelldaten mehr Kovariaten ( $X$ ) enthalten als die Zieldaten ( $V$ ), ein häufiges Szenario, in dem detaillierte Variablen aus einem RCT in den Ziel-Observationsdaten fehlen.
Theoretische Rechtfertigung für Bootstrap-Inferenz: Die Arbeit etabliert formal die theoretische Korrektheit der Verwendung von nichtparametrischen Perzentil-Bootstraps für die Inferenz in Transfer-Learning-Settings, eine Praxis, die zuvor nur qualitativ vorgeschlagen, aber nicht rigoros bewiesen wurde.
EIF-Schätzer unter Sensitivitätsanalyse: Die Autoren erweiterten die Theorie der effizienten Einflussfunktion auf Settings mit Sensitivitätsparametern. Sie zeigen auf, dass dieser Schätzer zwar semiparametrisch effizient ist, aber die Eigenschaft der „doppelten Robustheit“ verliert, wenn die Transportierbarkeit verletzt ist, was eine korrekte Spezifikation der Outcome-Regressionsfunktion erfordert.
Datengesteuerte Kalibrierung: Eine neuartige Kalibrierungsmethode wird eingeführt, um interpretierbare Referenzbeträge für Sensitivitätsparameter zu generieren, ohne gemessene Kovariaten wegzulassen, wodurch die Fallstricke der traditionellen Omitted-Variable-Kalibrierung vermieden werden.

Ergebnisse
Anwendung des Frameworks auf die Wahlkampfdaten 2020 in Georgia:

Unter Transportierbarkeit: Wenn man annimmt, dass Transportierbarkeit gilt (d. h. $\Gamma_0 = \Gamma_1 = 1$ ), bleibt die Werbekampagne in allen 159 Countys von Georgia wirkungslos.
Unter Sensitivitätsanalyse: Kleine Abweichungen von der Transportierbarkeit führen zu drastisch unterschiedlichen Schlussfolgerungen.
- Mit vordefinierten Sensitivitätsparametern (z. B. $\Gamma_0=0,99, \Gamma_1=1,01$ ) wird der Werbeeffekt in 154 Countys signifikant und positiv.
- Mit umgekehrten Parametern ( $\Gamma_0=1,01, \Gamma_1=0,99$ ) wird der Effekt in 158 Countys signifikant und negativ.
Kalibrierte Ergebnisse: Unter Verwendung der aus der Partitionierung der Quelldaten abgeleiteten kalibrierten Sätze:
- Rust Belt vs. Sun Belt Partition: Viele Countys sind sensitiv gegenüber der Richtung des Effekts. Countys mit einem höheren Anteil an Weißen und einem niedrigeren Anteil an Schwarzen zeigen tendenziell positive Effekte, während Countys mit einem höheren Latinx-Anteil tendenziell negative Effekte zeigen.
- Trump-Unterstützung Partition: Die meisten Countys sind gegenüber Verletzungen der Transportierbarkeit in dieser Größenordnung unempfindlich, was darauf hindeutet, dass die ungemessenen Unterschiede zwischen Trump-Unterstützern und Nicht-Unterstützern groß genug sind, dass nur spezifische, große Abweichungen der Sensitivitätsparameter die Schlussfolgerung ändern würden.
Subgruppenanalyse: Der Werbeeffekt ist in sechs von acht Subgruppen (definiert durch Geschlecht, Rasse und Wahlhistorie) sensitiv, wenn die Transportierbarkeit verletzt ist, insbesondere für weibliche, wiederkehrende Wähler, die weder Schwarz noch Latinx sind.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ihr Framework einen statistisch validen Ansatz zur Generalisierung kausaler Effekte bietet, wenn die strikte Annahme der Transportierbarkeit unhaltbar und die Kovariaten nicht übereinstimmend sind. Die Autoren betonen, dass ihre Ergebnisse die Vermutung stützen, dass Null-Effekte aus der ursprünglichen RCT nicht auf die Zielpopulation generalisierbar sind, wenn selbst kleine ungemessene Unterschiede bestehen.

Entscheidend ist, dass die Arbeit eine praktische Erkenntnis aus Rosenbaum (2010) hervorhebt: „Kleine Effekte sind sensitiv gegenüber kleinen [ungemessenen] Bias-Werten.“ Da der ursprüngliche Effekt in der Quellpopulation nahe bei Null lag, demonstriert die Studie, dass die Schlussfolgerung äußerst fragil gegenüber geringfügigen ungemessenen Unterschieden zwischen den Populationen ist. Die Autoren positionieren ihre Arbeit als ein Werkzeug für Praktiker, die einen theoretisch validen, einfachen Ansatz (speziell den OR-Schätzer mit Bootstrap) benötigen, um die Robustheit von Generalisierungsansprüchen zu bewerten, ohne sich auf die unpraktikable Annahme perfekter Transportierbarkeit verlassen zu müssen. Sie stellen explizit fest, dass das Framework über Wahlen hinaus anwendbar ist, etwa in klinischen Studien, in denen sich die für die Teilnahme berechtigten Patienten in ungemessener Weise von der breiteren berechtigten Bevölkerung unterscheiden.