Potential weights and implicit causal designs in linear regression
Diese Arbeit formalisiert ein minimales Kriterium für die Interpretation von linearen Regressionsschätzungen als kausale Effekte durch die Einführung „impliziter Designs“, die charakterisieren, wann das Gewichtungsschema einer Regression mit dem wahren Behandlungszuweisungsprozess übereinstimmt, und zeigt auf, dass quasi-experimentielle Interpretationen in der angewandten Forschung zwar allgegenwärtig, aber oft ungültig oder approximativ sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der herauszufinden versucht, ob ein neues Medikament tatsächlich eine Krankheit heilt. In der realen Welt können Sie nicht einfach das Medikament an alle geben und zusehen, was passiert; Sie benötigen eine Kontrollgruppe. Der Goldstandard ist eine Randomisierte Kontrollstudie (RCT), etwa wie das Werfen einer Münze, um zu entscheiden, wer das Medikament und wer eine Zuckerpille bekommt. Dies stellt sicher, dass die beiden Gruppen in jeder Hinsicht identisch sind, außer durch das Medikament.
In der Wirtschaftswissenschaft und den Sozialwissenschaften haben wir jedoch selten das Privileg, Münzen zu werfen. Stattdessen suchen Forscher oft nach „natürlichen Experimenten“ – Situationen, in denen etwas passiert ist, das wie ein Münzwurf aussieht (wie eine plötzliche politische Änderung oder ein zufälliges Wetterereignis). Sie verwenden dann ein Standard-Mathematik-Werkzeug namens Lineare Regression, um den Effekt zu berechnen.
Die Arbeit von Jiafeng Chen stellt eine einfache, aber tiefgründige Frage: „Wenn wir Regressionen auf diese ‚natürlichen‘ Situationen anwenden, messen wir dann tatsächlich einen kausalen Effekt oder täuschen wir uns nur selbst?“
Hier ist die Aufschlüsselung der Ergebnisse der Arbeit unter Verwendung alltäglicher Analogien.
1. Der „Geist in der Maschine“ (Implizite Designs)
Wenn ein Forscher eine Regression durchführt, sagt er oft: „Wir nehmen an, dass die Behandlung zufällig zugewiesen wurde, daher ist unser Ergebnis gültig.“ Aber sie schreiben selten exakt auf, wie diese Zufälligkeit zustande kam.
Chen argumentt, dass jede Regressionsgleichung im Geheimen eine spezifische, verborgene Geschichte darüber enthält, wie die Behandlung zugewiesen wurde. Er nennt dies das „Implizite Design“.
- Die Analogie: Stellen Sie sich vor, Sie bewerten einen Backwettbewerb. Sie haben eine Formel, um den Punktwert des Gewinners zu berechnen. Sie legen die Regeln des Wettbewerbs nicht explizit fest, aber die Formel, die Sie verwenden, impliziert bestimmte Regeln. Wenn Ihre Formel beispielsweise Personen, die Schokolade verwendet haben, doppelte Punkte gibt, dann impliziert Ihre Formel, dass die Juroren heimlich Schokolade bevorzugt haben.
- Die Behauptung der Arbeit: Wenn Sie eine Regression durchführen, nehmen Sie implizit eine sehr spezifische, starre Regel dafür an, wie die „Behandlung“ (wie ein neues Gesetz oder ein Jobtrainingsprogramm) den Menschen zugewiesen wurde. Wenn die reale Welt dieser exakten verborgenen Regel nicht gefolgt ist, ist Ihr Ergebnis nur ein mathematisches Artefakt und kein wahrer Ursache-Wirkungs-Zusammenhang.
2. Der „Perfekte Passform“-Test (Exakte quasi-experimentelle Interpretation)
Die Arbeit führt einen strengen Test ein: Damit ein Regressionsergebnis ein echter „kausaler“ Effekt ist, muss die reale Zuweisung der Behandlung exakt mit dem im Inneren der Mathematik verborgenen „Impliziten Design“ übereinstimmen.
- Die Analogie: Denken Sie an einen Schlüssel und ein Schloss. Die Regressionsgleichung ist das Schloss. Die Art und Weise, wie Menschen in der realen Welt die Behandlung erhielten, ist der Schlüssel.
- Wenn der Schlüssel perfekt in das Schloss passt (die reale Welt entspricht der verborgenen Mathematik), öffnet sich die Tür und Sie haben eine gültige kausale Antwort.
- Wenn der Schlüssel auch nur minimal die falsche Form hat (die reale Welt entspricht nicht der verborgenen Mathematik), wird die Tür sich nicht öffnen. Die Zahl, die aus der Maschine kommt, ist bedeutungslos.
Die schlechte Nachricht: Chen stellt fest, dass für viele gängige Arten von Regressionen (insbesondere jene, die versuchen, sehr flexibel oder komplex zu sein), der „Schlüssel“ (die reale Welt) fast nie in das „Schloss“ (die verborgene Mathematik) passt. Die verborgenen Regeln sind so spezifisch und fragil, dass es höchst unwahrscheinlich ist, dass die Natur ihnen gefolgt ist.
3. Der „Fast gut genug“-Test (Approximative Interpretation)
Da die „Perfekte Passform“ so selten ist, stellt die Arbeit die Frage: „Ist es nah genug dran, um nützlich zu sein?“
- Die Analogie: Stellen Sie sich vor, Sie versuchen, das Zentrum einer Zielscheibe mit einem Dartpfeil zu treffen.
- Exakt: Sie treffen das Zentrum. Perfekt.
- Approximativ: Sie verfehlen das Zentrum, liegen aber nah dran.
- Die Erkenntnis der Arbeit: Selbst wenn Sie das Zentrum verfehlen, kann Ihr Dartpfeil immer noch in einem Bereich landen, der nützlich ist, wenn Ihr Wurf nicht auf eine seltsame Weise durch den Wind (das Ergebnis) beeinflusst wurde.
- Chen zeigt, dass Regression oft „approximativ“ gültig ist. Sie funktioniert nur dann vernünftig, wenn die Fehler, die die Mathematik bei der Frage macht, wer die Behandlung erhielt, nicht mit den Fehlern korrelieren, die die Mathematik bei der Frage macht, was das Ergebnis war.
- In vielen realen Studien geschieht dieser „unkorrelierte Fehler“ durch Zufall. Die Mathematik liegt falsch bei der Zuweisung und falsch beim Ergebnis, aber diese beiden Irrtümer heben sich gegenseitig auf oder interagieren nicht negativ. Das ist der Grund, warum Regression oft so wirkt, als würde sie funktionieren, obwohl die strenge Theorie dies eigentlich nicht vorsieht.
4. Die „KI-Volkszählung“ (Was tun Forscher tatsächlich?)
Um zu sehen, wie verbreitet dies ist, nutzte der Autor eine KI, um über 1.000 aktuelle Wirtschaftsartikel zu lesen.
- Die Ergebnisse:
- Fast alle verwenden Regressionen.
- Fast niemand gibt das „Implizite Design“ (die verborgenen Regeln) explizit an.
- Fast niemand gibt explizit an, auf welche spezifische Gruppe von Menschen sich sein Ergebnis bezieht (den „Impliziten Estimand“).
- Als der Autor seinen „Perfekte Passform“-Test auf neun berühmte Studien anwandte, bestand keine von ihnen. Die verborgenen Regeln in ihrer Mathematik stimmten nicht mit der Realität überein.
5. Das Problem des „Gewichteten Durchschnitts“
Wenn Regression funktioniert (selbst approximativ), beschreibt sie meist nicht den „Durchschnittseffekt“ für alle. Sie beschreibt den Durchschnittseffekt für eine spezifische, seltsam ausgewählte Gruppe von Menschen.
- Die Analogie: Stellen Sie sich eine Umfrage vor, in der gefragt wird: „Wie sehr mögen Sie Pizza?“
- Wenn Sie nur Menschen fragen, die bereits ein Stück Pizza in der Hand halten, wird Ihr Ergebnis hoch ausfallen.
- Wenn Sie nur Menschen fragen, die Gemüse hassen, könnte Ihr Ergebnis anders aussehen.
- Eine Regression wirkt oft wie eine Umfrage, die versehentlich nur die Menschen befragt, die am leichtesten zu erreichen sind oder den Menschen, die der Modellvorstellung des Forschers am ähnlichsten sind. Das Ergebnis ist ein „gewichteter Durchschnitt“, bei dem einige Menschen zu 100 % zählen und andere zu 0 %, selbst wenn der Forscher das gar nicht beabsichtigt hat.
Zusammenfassung der Schlussfolgerung der Arbeit
- Regression ist eine Black Box: Sie verbirgt eine sehr spezifische, starre Geschichte darüber, wie Behandlungen zugewiesen werden.
- Die Geschichte ist meistens eine Lüge: In der realen Welt werden Behandlungen selten exakt so zugewiesen, wie es die Mathematik erfordert, damit das Ergebnis perfekt gültig ist.
- Aber sie funktioniert oft durch Glück: Selbst wenn die strengen Regeln nicht erfüllt sind, sind die Ergebnisse oft „nah genug dran“, weil die Fehler nicht auf eine schlechte Weise zusammenfallen.
- Die Lösung: Forscher sollten aufhören vorzugeben, die Mathematik sei Magie. Sie sollten explizit berechnen und berichten:
- Das Implizite Design: „Hier ist die exakte Geschichte, wie wir annehmen, dass die Behandlung zugewiesen wurde.“
- Der Implizite Estimand: „Hier ist die exakte Gruppe von Menschen, die unser Ergebnis tatsächlich repräsentiert.“
Das Fazit: Vertrauen Sie einem Regressionsergebnis nicht einfach deshalb, weil er aus einem berühmten Journal stammt. Die Mathematik könnte etwas sehr Spezifisches tun, das Sie nicht bemerkt haben. Wenn Sie wissen wollen, ob ein Ergebnis real ist, müssen Sie prüfen, ob die „verborgene Geschichte“ innerhalb der Mathematik mit der realen Welt übereinstimmt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.