Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction

1. Problemstellung

Das Paper adressiert das Problem des Domain Adaptation (Anpassung an neue Domänen) im Kontext von beobachteten Daten mit unbeobachteten Störvariablen (unobserved confounding).

• Herausforderung: Praktiker trainieren Vorhersagemodelle oft auf einer Quell-Domäne ($S$) und setzen sie in einer Ziel-Domäne ($T$) ein, in der sich die Verteilungen der Kovariaten ($X$) und der Antwortvariablen ($Y$) verschoben haben.
• Konzept-Shift durch Confounding: Im Gegensatz zu reinen Kovariaten-Shifts (Covariate Shift) führen unbeobachtete Störvariablen $E$ (die sowohl $X$ als auch $Y$ beeinflussen) zu einem Konzept-Shift. Das bedeutet, dass die beste lineare Vorhersagefunktion (der „wahrer" Parametervektor $\beta$) sich zwischen den Umgebungen ändert. Ein Modell, das die Quellrisiken minimiert, ist in der Zielumgebung oft suboptimal oder sogar irreführend.
• Fehlende Labels: Im typischen Domain-Adaptation-Szenario liegen für die Zielumgebung nur ungelabelte Kovariaten vor ($P_T(X)$), keine Ziel-Labels ($Y$). Dies macht die direkte Minimierung des Zielrisikos unmöglich.
• Latente Struktur: Die Autoren postulieren, dass es eine latente, exogene und invariante Variable $Z$ gibt (ähnlich einer Instrumentenvariablen, aber unbeobachtet), die stabil über die Umgebungen hinweg ist, während die Störvariable $E$ den Shift verursacht.

2. Methodik

Die Autoren schlagen einen datengesteuerten Ansatz vor, der Repräsentationslernen mit Riemannscher Optimierung auf der Stiefel-Mannigfaltigkeit kombiniert.

A. Strukturales Kausales Modell (SCM)

Es wird ein lineares SCM definiert:
$$Y = \langle \beta^*, X \rangle + \langle \gamma, E \rangle + U$$
$$X = \Theta Z + \Delta E + W$$
Dabei ist $Z$ die latente invariante Komponente und $E$ die latente Störvariable, deren Verteilung sich zwischen $S$ und $T$ ändert. Das Ziel ist es, einen Unterraum zu finden, der von $\Delta$ (dem Einfluss von $E$) orthogonal ist, aber den Signalanteil von $\Theta$ (invariant) erfasst.

B. Zielfunktion und Surrogat-Risiko

Da das Zielrisiko $R_T(\beta)$ nicht direkt minimiert werden kann, wird ein Surrogat-Objektiv hergeleitet, das als obere Schranke für das Zielrisiko dient. Dieses Objektiv balanciert drei Terme:

1. Quellrisiko (Predictability): Der quadratische Fehler auf den gelabelten Quell-Daten.
2. Ridge-Regularisierung: Stabilisierung des linearen Gewichtsvektors $\alpha$.
3. Stabilitäts-Strafterm (Invariance): Ein Term, der die Differenz der Kovarianzmatrizen zwischen Ziel- und Quell-Domäne im gelernten Unterraum bestraft.

Das Optimierungsproblem lautet:
$$\min_{V, \alpha} \quad \mathbb{E}_S[(Y - \langle X, V\alpha \rangle)^2] + \upsilon \|\alpha\|^2 + \frac{\eta}{2} \|V^\top (\Sigma_T - \Sigma_S) V\|_F^2$$
Hierbei ist $V \in \mathbb{R}^{d \times \ell}$ eine Projektionsmatrix auf einen Unterraum der Dimension $\ell$, und $\alpha$ sind die Regressionskoeffizienten in diesem Unterraum.

C. Optimierung auf der Stiefel-Mannigfaltigkeit

Da $V$ orthogonal sein muss ($V^\top V = I_\ell$), wird das Problem als Optimierung auf der Stiefel-Mannigfaltigkeit $St(d, \ell)$ formuliert.

• Der Ansatz nutzt einen projektionsbasierten Gradientenabstieg (Projected Gradient Descent analog).
• Es wird ein Riemannscher Gradient berechnet und eine Retraktions-Map (basierend auf der Polarzerlegung) verwendet, um die Iterierten auf der Mannigfaltigkeit zu halten.
• Das Problem ist nicht-konvex, aber die Autoren zeigen, dass lokale Optima unter bestimmten Bedingungen gutartig sind.

3. Wichtige Beiträge

1. Theoretische Vereinheitlichung: Das Paper verbindet Konzepte der kausalen Inferenz (Invarianz gegenüber Störvariablen) mit Domain Adaptation (Verteilungsstabilität). Es wird gezeigt, dass unter dem vorgeschlagenen SCM die Suche nach einem invarianten Unterraum äquivalent zur Minimierung des Zielrisikos ist.
2. Konzept-Shift-Analyse: Es wird formal bewiesen, dass unbeobachtete Confounding zu einem Konzept-Shift führt (Proposition 1), d.h. der beste lineare Prädiktor ist umgebungsabhängig.
3. Unterraum-Invarianz: Es wird gezeigt (Proposition 2), dass die Einschränkung auf einen invarianten Unterraum $\Theta$ (der orthogonal zu $\Delta$ ist) den Effekt der Störvariable eliminiert und zu einem stabilen Prädiktor führt, der über Umgebungen hinweg konstant bleibt.
4. Optimierungslandschaft: Ein zentrales theoretisches Ergebnis (Theorem 1) besagt, dass bei hinreichend großer Regularisierung ($\eta$) nahezu alle lokalen Optima der nicht-konvexen Optimierung mit dem invarianten Unterraum übereinstimmen. Das bedeutet, dass einfache Gradientenverfahren gute Lösungen finden, ohne globale Optima garantieren zu müssen.
5. Risikogrenze: Es wird eine Schranke für die Differenz zwischen Ziel- und Quellrisiko hergeleitet (Theorem 2), die zeigt, dass der gelernte Prädiktor eine nahezu ideale Lücke zum Oracle-Risiko erreicht.

4. Ergebnisse und Validierung

Die Methode wurde sowohl theoretisch als auch empirisch auf realen Datensätzen validiert:

• Tabellini-Daten (Wirtschaft): Ein klassisches Beispiel mit Institutionen und Wirtschaftswachstum. Hier zeigte sich, dass durch Erhöhung des Stabilitätsparameters $\eta$ das Modell automatisch stabile Merkmale (wie historische Institutionen) priorisierte, die als Instrumentenvariablen fungieren, und so die Vorhersagegenauigkeit in der Zielumgebung (städtische vs. ländliche Gebiete) verbesserte.
• Weitere Datensätze:
  • Waldbrände (Portugal): Vorhersage der Brandfläche basierend auf Wetterdaten (Saisonale Shifts).
  • Fahrradverleih (Washington D.C.): Vorhersage der Mietzahlen (Frühling vs. Herbst).
  • Weinqualität: Vorhersage der Qualität (Rotwein vs. Weißwein).
• Ergebnisse: In allen Fällen konnte gezeigt werden, dass durch die Balance zwischen Vorhersagekraft (Quellrisiko) und Stabilität (Strafterm) das Zielrisiko signifikant reduziert werden konnte im Vergleich zu einem reinen Quellrisiko-Minimierer (OLS).
• Hyperparameter-Strategie: Es wurden heuristische, datengesteuerte Regeln zur Auswahl der Regularisierungsparameter ($\eta, \upsilon$) und der Unterraum-Dimension ($\ell$) entwickelt, die ohne Pilot-Daten auskommen.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zur Schnittstelle von Kausaler Inferenz und Maschinellem Lernen:

• Überwindung von Confounding: Es bietet einen Weg, Domain Adaptation auch dann durchzuführen, wenn unbeobachtete Störvariablen vorliegen, die traditionelle Methoden (wie reines Reweighting) versagen lassen.
• Praktische Anwendbarkeit: Die vorgestellte Methode ist datengesteuert und benötigt keine explizite Kenntnis der kausalen Struktur oder der Instrumentenvariablen. Sie „lernt" die Stabilität automatisch aus den Daten.
• Theoretische Garantie: Die Analyse der nicht-konvexen Landschaft gibt Vertrauen in die Anwendbarkeit von Gradientenverfahren in diesem komplexen Setting.
• Zukunftsperspektive: Die Autoren sehen Potenzial in der Erweiterung auf nichtlineare Modelle und mehrere Quellumgebungen.

Zusammenfassend demonstriert das Paper, wie traditionelle ökonometrische Konzepte (Instrumentenvariablen, Stabilität) in moderne ML-Verfahren integriert werden können, um robuste Vorhersagemodelle in sich wandelnden Umgebungen zu erstellen.