Causal generalized linear models via Pearson risk invariance

Dieses Papier stellt eine Methode vor, die auf der Invarianz des Pearson-Risikos und der Maximierung der erwarteten Likelihood basiert, um kausale Generalisierte Lineare Modelle selbst bei nur einer Datenumgebung zu identifizieren, wobei die Ergebnisse im R-Paket `causalreg` implementiert sind.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden will, was wirklich die Ursache für ein bestimmtes Ereignis ist. Vielleicht wollen Sie wissen: „Was führt wirklich zu einer hohen Geburtenrate?" oder „Welche Faktoren machen einen Menschen wirklich reich?"

In der Welt der Datenanalyse gibt es viele Methoden, um Zusammenhänge zu finden. Aber die meisten dieser Methoden sind wie ein Wetterbericht: Sie sagen Ihnen nur, dass zwei Dinge oft zusammen auftreten (Korrelation), aber nicht, ob das eine das andere verursacht. Wenn Sie auf einem Markt mehr Eis verkaufen, wenn es heiß ist, ist das eine Korrelation. Aber wenn Sie die Hitze künstlich erzeugen, wird das Eis nicht plötzlich mehr verkauft – die Hitze ist die Ursache, nicht das Eis.

Dieses Papier von Alice Polinelli und ihren Kollegen stellt eine neue, clevere Methode vor, um genau diese wahren Ursachen zu finden. Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der „Hochzeits-Trick"

Stellen Sie sich vor, Sie beobachten eine Hochzeit. Sie sehen, dass die Braut ein weißes Kleid trägt und der Bräutigam einen Anzug. Die Daten sagen: „Weiße Kleider und Anzüge treten immer zusammen auf!"
Ein einfacher Algorithmus würde denken: „Ah, das Kleid verursacht den Anzug!" Das ist falsch. Beide werden durch die wahre Ursache (die Hochzeit) verursacht.

Bisherige Methoden, um die wahren Ursachen zu finden, brauchten oft viele verschiedene „Experimente" oder Umgebungen (z. B. Daten aus verschiedenen Ländern oder Jahren), um zu sehen, welche Zusammenhänge stabil bleiben und welche sich ändern. Das ist aber oft unmöglich, weil man nicht einfach die ganze Welt neu programmieren kann.

2. Die Lösung: Der „Unveränderliche Kompass" (Pearson-Risiko-Invarianz)

Die Autoren haben eine neue Idee entwickelt, die wie ein unveränderlicher Kompass funktioniert.

Stellen Sie sich vor, Sie bauen ein Haus (ein mathematisches Modell), um vorherzusagen, wie viel Regen in einem Jahr fällt.

• Der falsche Weg: Sie bauen ein Haus, das perfekt auf das Wetter heute passt. Aber wenn sich das Klima morgen leicht ändert, stürzt Ihr Haus ein.
• Der richtige Weg (die neue Methode): Sie suchen nach einem Haus, das nicht nur heute, sondern auch bei kleinen Änderungen im Klima (z. B. mehr Wind, andere Temperatur) stabil steht.

Das Papier sagt: Die wahre Ursache ist wie ein Fundament, das unter allen Bedingungen stabil bleibt. Die Autoren haben eine spezielle mathematische Messgröße namens Pearson-Risiko erfunden.

• Wenn Sie das falsche Modell verwenden, ist dieses „Risiko" (ein Maß für Fehler) chaotisch und ändert sich wild, sobald sich die Umgebung leicht ändert.
• Wenn Sie das richtige kausale Modell verwenden, ist dieses Risiko perfekt stabil (invariant). Es ist wie ein Anker, der im Wasser steht, egal wie die Wellen schlagen.

3. Der große Durchbruch: Ein Blick genügt!

Das ist der magische Teil der Arbeit:
Früher dachte man, man brauche viele verschiedene Umgebungen (viele verschiedene Datensätze), um diesen stabilen Anker zu finden.
Die Autoren haben jedoch bewiesen, dass man für bestimmte, sehr häufige Modelle (wie Poisson-Regression für Zählungen, z. B. „Wie viele Kinder?", oder Logistische Regression für Ja/Nein-Fragen) nur einen einzigen Datensatz braucht!

Die Analogie:
Stellen Sie sich vor, Sie versuchen, den perfekten Schlüssel für ein Schloss zu finden.

• Die alte Methode: Sie müssen das Schloss in 10 verschiedenen Räumen mit unterschiedlichem Licht testen, um zu sehen, welcher Schlüssel passt.
• Die neue Methode: Sie haben einen Schlüssel, der so perfekt geformt ist, dass er sofort klickt, sobald Sie ihn in das Schloss im ersten Raum stecken. Sie müssen nicht warten, bis das Licht sich ändert.

Das funktioniert, weil bei diesen speziellen Modellen die „Fehler" (das Risiko) mathematisch so vorhersehbar sind, dass man sie sofort erkennt, ohne viele Vergleiche anstellen zu müssen.

4. Wie funktioniert das in der Praxis? (Der Schritt-für-Schritt-Algorithmus)

Die Autoren schlagen einen Prozess vor, der wie ein geschickter Gärtner arbeitet:

1. Der grobe Schnitt: Sie nehmen alle möglichen Pflanzen (Variablen), die Sie haben.
2. Der Test: Sie prüfen jede Kombination von Pflanzen. Welche Kombination ergibt den „perfekten Anker" (das stabile Risiko)?
3. Die Auslese: Oft gibt es mehrere Kombinationen, die stabil aussehen. Hier kommt ein weiterer Filter ins Spiel (ein mathematischer Maßstab namens BIC), der die einfachste und eleganteste Lösung auswählt – also diejenige, die keine unnötigen Pflanzen enthält.
4. Der Schritt-für-Schritt-Weg: Wenn es zu viele Pflanzen gibt (z. B. 100 Variablen), ist es zu mühsam, alle Kombinationen zu testen. Deshalb schlagen sie eine „schrittweise" Methode vor: Sie fügen Pflanzen einzeln hinzu, solange das Modell stabil bleibt, und schneiden dann wieder zurück, wenn etwas überflüssig ist. Das ist viel schneller und fast genauso genau.

5. Was haben sie damit erreicht? (Beispiele aus der Welt)

Die Autoren haben ihre Methode an echten Daten getestet:

• Geburtenraten: Sie haben herausgefunden, welche Faktoren wirklich die Anzahl der Kinder bei Frauen beeinflussen (z. B. Bildungsjahre, Alter, Wohnort). Sie zeigten, dass mehr Bildung die Geburtenrate senkt – und zwar nicht nur als statistischer Zufall, sondern als kausaler Effekt.
• Einkommen: Sie untersuchten, was Menschen wirklich reich macht. Es stellte sich heraus, dass das Alter (in den frühen Jahren), der Bildungsgrad und der Beruf (z. B. Büroarbeit vs. körperliche Arbeit) die wahren Treiber sind.

Fazit

Dieses Papier ist wie ein neuer, hochpräziser Werkzeugkasten für Datenwissenschaftler. Es erlaubt uns, aus einem einzigen Datensatz die wahren Ursachen zu extrahieren, ohne aufwendige Experimente durchführen zu müssen.

Es ist, als hätten wir endlich eine Brille entwickelt, die uns nicht nur zeigt, dass Dinge zusammenhängen, sondern uns direkt zeigt, was den Stein ins Rollen bringt. Und das Beste daran: Wir brauchen dafür nicht die ganze Welt neu zu erfinden, sondern können mit den Daten arbeiten, die wir bereits haben.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Causal generalized linear models via Pearson risk invariance" auf Deutsch:

1. Problemstellung

Die Kausalitätsschätzung (Causal Inference) zielt darauf ab, kausale Beziehungen zwischen Variablen zu identifizieren, was für die Generalisierung von Machine-Learning-Modellen auf Verteilungen außerhalb der Trainingsdaten (Out-of-Distribution) entscheidend ist.

• Herausforderung: Bestehende Methoden zur kausalen Entdeckung, die auf der Invarianz bedingter Verteilungen basieren (z. B. Invariant Causal Prediction von Peters et al., 2016), benötigen Daten aus mehreren, hinreichend unterschiedlichen Umgebungen (Experimente oder Interventionen). Solche Daten sind in der Praxis jedoch oft nicht verfügbar.
• Einschränkung bestehender Ansätze: Viele Methoden beschränken sich auf lineare Strukturgleichungsmodelle mit gaußschen Fehlern. Für verallgemeinerte lineare Modelle (GLMs) und nichtlineare Effekte fehlen robuste Ansätze, die oft nur mit einem einzigen Datensatz auskommen.
• Ziel: Entwicklung einer Methode zur Identifikation der kausalen Eltern einer Zielvariable in verallgemeinerten linearen Modellen, die auch mit Daten aus einer einzigen Umgebung (single environment) funktioniert, sofern bestimmte Verteilungsannahmen erfüllt sind.

2. Methodik

Die Autoren schlagen einen modellbasierten Ansatz vor, der auf zwei charakteristischen Eigenschaften des wahren kausalen Modells innerhalb eines Strukturgleichungsmodells (SEM) mit einer Zielvariable aus der Exponential-Familie basiert.

Modellannahmen

• Die Zielvariable $Y$ ist bedingt auf ihre kausalen Eltern $X_{PA}$ durch ein verallgemeinertes lineares Modell (GLM) beschrieben:
  $$Y | X_{PA} \sim EDF(b(f_{PA}(x_{PA})), a(\phi))$$
  wobei $EDF$ die Exponential-Dispersion-Familie ist, $f_{PA}$ eine (möglicherweise nichtlineare) Link-Funktion ist und $a(\phi)$ der Dispersionsparameter ist.
• Es werden keine Annahmen über die Verteilungen der anderen Variablen im System getroffen, was die Methode flexibel gegenüber nicht-gaußschen und nichtlinearen Beziehungen macht.

Kerncharakterisierung (Theorem 2 & 3)

Das wahre kausale Modell $f_{PA}$ wird durch zwei Bedingungen eindeutig charakterisiert:

1. Maximierung der erwarteten Likelihood: $f_{PA}$ maximiert die erwartete Likelihood von $Y$ gegeben seine Eltern.
2. Pearson-Risiko-Invarianz: Das erwartete quadrierte Pearson-Residuum ist invariant gegenüber Änderungen in der Verteilung der Kovariaten (z. B. durch Interventionen).
   $$E_{X,Y} \left[ \frac{(Y - \dot{b}(f_{PA}(X)))^2}{\ddot{b}(f_{PA}(X))} \right] = a(\phi)$$
   Hier ist $\dot{b}$ und $\ddot{b}$ die erste bzw. zweite Ableitung der Kumulantenerzeugenden Funktion. Der Nenner berücksichtigt die inhärente Heteroskedastizität von GLMs.

Der entscheidende Durchbruch:
Für GLMs mit bekanntem Dispersionsparameter $a(\phi)$ (z. B. Poisson-Regression mit $a(\phi)=1$ oder logistische Regression) ist der Wert des Pearson-Risikos unter dem wahren kausalen Modell bekannt. Dies ermöglicht die Identifikation des kausalen Modells aus einem einzigen Datensatz, ohne mehrere Umgebungen zu benötigen.

Algorithmen

1. Populationsalgorithmus: Sucht nach Modellen, die die Pearson-Risiko-Bedingung erfüllen, und wählt dann das sparsamste Modell mittels BIC (Bayesian Information Criterion) aus, um Redundanzen (z. B. Variablen, die durch die Eltern d-getrennt sind) zu entfernen.
2. Empirischer Algorithmus:
   • Schätzung der Parameter mittels penalisierter Maximum-Likelihood.
   • Test der Nullhypothese, dass das Pearson-Risiko gleich dem theoretischen Wert $a(\phi)$ ist.
   • Für Poisson-Regression kann der Teststatistik asymptotisch als $\chi^2$-verteilt angenähert werden, was Bootstrapping überflüssig macht und die Rechenzeit drastisch reduziert.
3. Schrittweiser Algorithmus (Stepwise): Um die kombinatorische Komplexität ($2^p$) bei vielen Variablen zu umgehen, wird ein schrittweises Verfahren vorgeschlagen:
   • Vorwärts-Schritt: Hinzufügen von Variablen, solange das Pearson-Risiko nicht signifikant von $a(\phi)$ abweicht.
   • Rückwärts-Schritt: Entfernen von überflüssigen Variablen basierend auf dem BIC, um das sparsamste prädiktive Modell zu finden.

3. Wichtige Beiträge

• Ein-Umgebungs-Identifizierbarkeit: Die Methode kann kausale Strukturen in Poisson- und logistischen Regressionen identifizieren, ohne Daten aus verschiedenen Umgebungen zu benötigen, solange der Dispersionsparameter bekannt ist.
• Allgemeingültigkeit: Der Ansatz gilt für nichtlineare additive Strukturen (GAMs) und erfordert keine linearen Annahmen oder gaußschen Fehlerterme.
• Effizienz: Durch die Nutzung der asymptotischen $\chi^2$-Verteilung für Poisson-Modelle und den schrittweisen Suchalgorithmus wird die Rechenkomplexität im Vergleich zu exhaustiven Suchen oder Bootstrap-basierten Methoden erheblich gesenkt.
• Implementierung: Die Methode ist im R-Paket causalreg verfügbar.

4. Ergebnisse

Die Autoren validierten ihre Methode durch Simulationen und empirische Studien:

• Simulationen (Poisson & Logistisch):
  • In Poisson-Simulationen (mit nichtlinearen Effekten) identifizierte das Verfahren das wahre kausale Modell in 91% der Fälle (bei $n=1000$), während der PC-Algorithmus (ein etablierter Standard) deutlich schlechter abschnitt.
  • Die schrittweise Suche reduzierte die Rechenzeit um den Faktor 5,2 bei nur geringem Verlust an Genauigkeit.
  • Die Methode zeigte sich robust gegenüber Out-of-Distribution-Shifts, da das kausale Modell die beste Vorhersageleistung in gestörten Umgebungen aufweist.
• Empirische Anwendungen:
  1. Kontrolliertes Experiment (Lichttunnel): Identifikation der kausalen Faktoren für Lichtintensität. Das Verfahren erkannte die physikalisch korrekten Einflussgrößen (Lichtfarben, LED-Helligkeit), wobei nicht-kausale Korrelationen durch die Invarianz-Bedingung herausgefiltert wurden.
  2. Fruchtbarkeit von Frauen (GSS-Daten): Identifikation kausaler Determinanten für die Anzahl der Kinder. Das Modell erkannte nichtlineare Effekte von Bildungsjahren und Alter, die in linearen Modellen oft übersehen werden.
  3. Einkommen (US Census): Analyse von Faktoren für hohes Einkommen (>50k$). Das Verfahren identifizierte Alter, Bildung, Familienstand und Beruf als kausale Treiber und quantifizierte nichtlineare Zusammenhänge (z. B. den starken Anstieg des Einkommens in den frühen Berufsjahren).

5. Bedeutung und Fazit

Dieses Paper stellt einen bedeutenden Fortschritt im Bereich der kausalen Entdeckung dar, indem es die Lücke zwischen theoretischen Invarianz-Methoden und der praktischen Anwendung auf häufige, nicht-gaußsche Daten (wie Zähl- oder Binärdaten) schließt.

• Praktische Relevanz: Da viele reale Datensätze nur aus einer einzigen Beobachtungsquelle stammen, ist die Fähigkeit, Kausalität ohne multiple Umgebungen zu lernen, von großem Wert für Bereiche wie Epidemiologie, Ökonomie und Sozialwissenschaften.
• Flexibilität: Die Integration von nichtlinearen additiven Modellen ermöglicht es, komplexe reale Phänomene präziser zu modellieren als traditionelle lineare Ansätze.
• Zukunftsaussichten: Die Autoren sehen Potenzial in der Weiterentwicklung der Teststatistiken für andere Verteilungsfamilien und der weiteren Optimierung der Rechenkomplexität für sehr hochdimensionale Probleme.

Zusammenfassend bietet die vorgeschlagene Methode einen robusten, effizienten und theoretisch fundierten Rahmen für die kausale Inferenz in verallgemeinerten linearen Modellen, der insbesondere dort Anwendung findet, wo experimentelle Daten fehlen.