Conformal e-prediction in the presence of confounding

Dieser Beitrag erweitert die konforme e-Vorhersage auf Fälle mit beobachteter Verwechslung (Confounding) zwischen den Zufallsobjekten und ihren Labels, wobei sowohl unabhängige und identisch verteilte Daten als auch Szenarien mit Abhängigkeiten zwischen den Beobachtungen betrachtet werden.

Das Wesentliche

Stell dir vor, du bist ein Wettervorhersage-Experte, aber mit einem ganz besonderen Problem: Du willst nicht nur vorhersagen, wie das Wetter morgen wird, wenn sich die Natur einfach so verhält, sondern du willst wissen: „Was passiert mit dem Wetter, wenn ich morgen künstlich eine riesige Wolke aus einem Flugzeug herbeizaubere?"

Das ist im Grunde das Kernproblem dieses wissenschaftlichen Papiers von Vladimir Vovk und Ruodu Wang. Es geht darum, wie man Vorhersagen trifft, wenn man nicht nur zuschaut, sondern aktiv eingreift – und dabei noch etwas im Hintergrund verwirrend ist, das man nicht kontrollieren kann.

Hier ist die einfache Erklärung, unterteilt in die wichtigsten Ideen, mit ein paar anschaulichen Vergleichen:

1. Das Problem: Der „versteckte Störfaktor" (Confounding)

Stell dir vor, du beobachtest, dass Menschen, die viel Kaffee trinken, oft nervös sind.

• Die naive Annahme: Kaffee macht nervös.
• Die Realität: Es gibt einen dritten Faktor, nennen wir ihn Z (z. B. Stress am Arbeitsplatz). Stress führt dazu, dass Menschen mehr Kaffee trinken und dass sie nervös sind.

Wenn du jetzt in einer Studie einfach nur zuschaust (beobachtende Daten), siehst du nur die Verbindung zwischen Kaffee und Nervosität. Aber wenn du als Arzt eingreifen willst und sagst: „Ich gebe diesem Patienten jetzt eine Tablette (X), um zu sehen, ob er nervös wird (Y)", dann musst du wissen, was mit dem Stress (Z) passiert.

In der Wissenschaft nennt man das Confounder (Störfaktor). Das Papier zeigt, wie man Vorhersagen trifft, auch wenn dieser Störfaktor Z im Hintergrund steht und die Dinge vermischt.

2. Die Lösung: Ein „magischer Zähler" (Conformal e-Prediction)

Normalerweise sagen Statistiker: „Wir brauchen riesige Datenmengen und perfekte Zufallsbedingungen, um Vorhersagen zu treffen." Das funktioniert aber nicht immer, besonders wenn man eingreift (Intervention).

Die Autoren verwenden eine Methode namens Conformal e-Prediction.

• Die Analogie: Stell dir vor, du hast einen riesigen, magischen Zähler. Dieser Zähler prüft jede deiner Vorhersagen.
• Wenn deine Vorhersage falsch ist, springt der Zähler hoch.
• Wenn deine Vorhersage richtig ist, bleibt er niedrig.
• Das Tolle an diesem Papier ist: Sie haben einen neuen, speziellen Zähler gebaut, der auch dann funktioniert, wenn du den Kaffee (X) künstlich auf eine bestimmte Menge setzt, obwohl du den Stress (Z) nicht kontrollieren kannst.

Sie nennen das Ergebnis ein „e-Variable". Das ist wie ein Sicherheitsgurt. Solange dieser Gurt nicht reißt (der Wert unter 1 bleibt), bist du auf der sicheren Seite.

3. Zwei Szenarien: Der ruhige Fluss vs. der wilde Fluss

Das Papier behandelt zwei verschiedene Situationen:

Szenario A: Der ruhige Fluss (IID-Daten)
Hier kommen die Daten wie aus einem gut geölten Automaten: Immer gleich, zufällig und unabhängig.

• Was sie tun: Sie nehmen eine große Menge an historischen Daten (z. B. 1000 Patienten), zählen, wie oft welche Kombinationen von Stress, Kaffee und Nervosität vorkamen, und bauen daraus eine Formel.
• Das Ergebnis: Sie können dir sagen: „Wenn wir morgen künstlich 3 Tassen Kaffee geben, liegt die Wahrscheinlichkeit für Nervosität bei X." Und sie garantieren dir: „Unsere Vorhersage ist zu 99 % korrekt."

Szenario B: Der wilde Fluss (Kein stabiler Mechanismus für X)
Das ist der spannendere Teil. Hier ist das Problem: Die Daten für den Kaffee (X) kommen nicht mehr aus einem Zufallsautomaten. Vielleicht hat ein Arzt in der Vergangenheit bewusst nur sehr gestressten Patienten Kaffee gegeben, um sie wach zu halten. Die Daten sind also „verzerrt" oder „strategisch gewählt".

• Die Herausforderung: Wenn du jetzt sagst „Wir geben morgen allen Patienten Kaffee", basierst du auf Daten, die nicht fair verteilt waren.
• Die Lösung der Autoren: Sie sagen: „Macht euch keine Sorgen!" Auch wenn die Vergangenheit chaotisch war und der Arzt die Patienten nach Belieben ausgewählt hat, solange der Stress (Z) und die Nervosität (Y) sich immer noch nach gewissen Regeln verhalten, funktioniert ihr magischer Zähler trotzdem.
• Die Metapher: Stell dir vor, du hast eine Karte, die zeigt, wie sich ein Fluss verhält, auch wenn jemand in der Vergangenheit den Flusslauf willkürlich umgeleitet hat. Solange das Wasser (Z und Y) sich physikalisch korrekt verhält, kannst du vorhersagen, wohin es fließt, wenn du eine neue Schleuse (X) öffnest.

4. Warum ist das wichtig? (Die „Patienten-Notfall"-Regel)

Das Papier erwähnt ein sehr praktisches Beispiel: „Der Tod des Patienten".
Stell dir vor, du willst vorhersagen, ob ein Patient stirbt (Y), wenn du ein neues Medikament (X) gibst. Es gibt aber einen versteckten Faktor (Z), der das Ergebnis beeinflusst.

Mit ihrer Methode kannst du sagen:

„Wir sind uns so sicher, dass der Patient nicht stirbt, wenn wir dieses Medikament geben, dass wir es als 'sicher' markieren können, selbst wenn die Daten nicht perfekt sind."

Wenn der Wert ihres magischen Zählers (Fy) niedrig genug ist, kannst du mit hoher Sicherheit sagen: „Dieses Medikament ist sicher, wir können es geben." Das ist extrem wertvoll in der Medizin, wo man keine Fehler machen darf.

Zusammenfassung in einem Satz

Dieses Papier gibt uns ein neues, robustes Werkzeug an die Hand, um Vorhersagen über die Zukunft zu treffen, selbst wenn wir in die Vergangenheit eingreifen wollen und dabei von versteckten Faktoren verwirrt werden – wie ein Navigator, der auch dann den richtigen Kurs findet, wenn der Wind (die Daten) nicht aus der Richtung weht, von der er kommen sollte.

Der Clou: Sie garantieren nicht nur, dass sie „richtig liegen", sondern sie geben dir eine mathematische Garantie, wie oft sie falsch liegen könnten (und das ist sehr wenig), selbst bei kleinen Datenmengen. Das ist wie eine Versicherungspolice für deine Vorhersagen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Conformal e-prediction in the presence of confounding" von Vladimir Vovk und Ruodu Wang auf Deutsch.

1. Problemstellung

Das Papier adressiert eine zentrale Herausforderung in der kausalen Inferenz: Die Vorhersage von Ergebnissen unter Interventionen ($do(X=x)$), wenn in den beobachteten Daten Confounder (Störfaktoren) vorliegen.

• Kontext: In der Standard-Konformalen Vorhersage (Conformal Prediction) wird typischerweise von unabhängigen und identisch verteilten (IID) Daten ausgegangen. In der kausalen Inferenz (z. B. nach Pearls $do$-Kalkül) liegen jedoch oft Beobachtungsdaten vor, bei denen die Variable $X$ (Behandlung) von einer Confounder-Variable $Z$ beeinflusst wird, die auch $Y$ (Ergebnis) beeinflusst.
• Ziel: Es soll eine Vorhersage für $Y$ getroffen werden, nachdem $X$ auf einen festen Wert $x$ gesetzt wurde ($X := x$), basierend auf Daten aus einer Beobachtungsstudie.
• Herausforderung: Die Daten müssen so analysiert werden, dass sie die kausale Struktur (das Entfernen des Pfeils von $Z$ zu $X$ im kausalen Graphen) widerspiegeln, während gleichzeitig garantierte Finite-Sample-Validität (Gültigkeit für endliche Stichproben) gewährleistet bleibt, ohne auf asymptotische Annahmen zurückzugreifen.
• Szenarien: Das Papier betrachtet zwei Szenarien:
  1. Der Standardfall, in dem die Daten $(X, Y, Z)$ IID sind.
  2. Ein komplexerer Fall, in dem $X$ nicht durch einen stabilen stochastischen Mechanismus erzeugt wird, sondern durch eine nicht-triviale Strategie gewählt werden kann (z. B. in sequenziellen Experimenten), während $Z$ und $Y$ weiterhin stabilen Mechanismen folgen.

2. Methodik

Die Autoren erweitern das Konzept der Conformal e-prediction (Vorhersage mittels $e$-Variablen) auf kausale Settings.

A. Schätzung der kausalen Wahrscheinlichkeit

Für einen festen Wert $x$ wird die kausale Wahrscheinlichkeit $p_y = P(Y=y | do(X=x))$ definiert. Unter der Annahme, dass $Z$ die Confounder-Variable ist, entspricht dies:
$$p_y = \sum_{z \in Z} P(Z=z) P(Y=y | X=x, Z=z)$$
Da die Verteilung $P$ unbekannt ist, wird ein Schätzer $F_y$ aus einer Stichprobe der Größe $N$ konstruiert. Dieser Schätzer nutzt eine Laplace-Glättung (Hinzufügen von 1 zu Zählern und Nennern), um Nullwahrscheinlichkeiten zu vermeiden und die Erwartungswerte zu kontrollieren:
$$F_y := \sum_{z \in Z} \frac{|\{n : Z_n = z\}| + 1}{N + 1} \times \frac{|\{n : (X_n, Y_n, Z_n) = (x, y, z)\}| + 1}{|\{n : (X_n, Z_n) = (x, z)\}| + 1}$$

B. Die $e$-Variable und Vorhersageregionen

Das Kernstück der Methode ist die Konstruktion einer $e$-Variable (e-variable). Eine $e$-Variable ist eine nicht-negative Zufallsvariable mit einem Erwartungswert von höchstens 1.
Für eine beliebige Wahrscheinlichkeitsverteilung $Q$ auf $Y$ (z. B. eine Gleichverteilung oder eine auf ein spezifisches kritisches Ereignis konzentrierte Verteilung) wird definiert:
$$E := \frac{Q(\{Y_{N+1}\})}{F_{Y_{N+1}}}$$
Es wird gezeigt, dass $E$ eine gültige $e$-Variable ist, d.h. $E_Q[E] \leq 1$.

Basierend darauf werden $e$-Vorhersageregionen $\Gamma_\alpha$ definiert:
$$\Gamma_\alpha := \left\{ y \in Y : \frac{Q(\{y\})}{F_y} < \alpha \right\}$$
Hierbei ist $\alpha$ ein Signifikanzniveau (oft groß gewählt, z. B. 10 oder 100).

C. Behandlung von Abhängigkeiten (Sektion 3)

Im zweiten Szenario wird angenommen, dass $X_n$ nicht IID ist, sondern durch eine Strategie gewählt wird, die von der Vergangenheit abhängt.

• Y-oblivious Interpretation: Die Strategie zur Wahl von $X_{n+1}$ darf von allen vorherigen $X_i$ und $Z_i$ abhängen, aber nicht von den vorherigen $Y_i$.
• Unter dieser Bedingung bleibt die Eigenschaft der $e$-Variable erhalten, auch wenn die strikte IID-Annahme für $X$ aufgegeben wird.

3. Wichtige Beiträge und Ergebnisse

1. Erweiterung auf Confounding: Das Papier liefert den ersten formalen Rahmen für conformal e-prediction in Gegenwart von Confoundern. Es verbindet kausale Inferenz (do-Calculus) mit der Theorie der $e$-Variablen für Finite-Sample-Garantien.
2. Lemma 1 und Korollar 2:
   • Es wird bewiesen, dass der Erwartungswert des Verhältnisses der wahren kausalen Wahrscheinlichkeit zum Schätzer $\leq 1$ ist ($E[p_y / F_y] \leq 1$).
   • Daraus folgt, dass das Verhältnis $Q(Y_{N+1}) / F_{Y_{N+1}}$ eine $e$-Variable ist.
3. Validitätsgarantie:
   • Die Vorhersageregionen $\Gamma_\alpha$ erfüllen die starke Validitätseigenschaft: $\int_0^\infty P(Y \notin \Gamma_\alpha) d\alpha \leq 1$.
   • Dies impliziert, dass die Fehlerwahrscheinlichkeit bei einem Niveau $\alpha$ durch $1/\alpha$ beschränkt ist (Markov-Ungleichung).
4. Robustheit gegenüber Strategien: Die Methode funktioniert auch dann, wenn $X$ nicht stochastisch, sondern strategisch gewählt wird, solange die Wahl von $X$ nicht von den zukünftigen oder vergangenen Ergebnissen $Y$ abhängt (Y-oblivious).
5. Optimalität: Für große $N$ und kleine $|Z|$ nähern sich die berechneten Regionen den „Oracle"-Regionen an, die die wahren kausalen Wahrscheinlichkeiten $p_y$ verwenden würden.

4. Bedeutung und Implikationen

• Finale-Sample-Sicherheit: Im Gegensatz zu vielen kausalen Methoden, die auf großen Stichproben oder asymptotischen Normalverteilungen basieren, bietet dieser Ansatz strenge Garantien für jede endliche Stichprobengröße.
• Flexibilität bei Hypothesentests: Durch die Wahl von $Q$ kann die Methode flexibel angepasst werden.
  • Gleichverteilung: Für allgemeine Vorhersageintervalle.
  • Fokus auf ein Ereignis: Wenn $Q$ auf ein kritisches Ereignis (z. B. „Tod des Patienten") konzentriert ist, kann man mit hoher Sicherheit vorhersagen, dass dieses Ereignis nicht eintritt, sobald $F_{y^*} \leq 1/\alpha$.
• Erweiterbarkeit: Die Autoren zeigen, dass der Ansatz auf komplexere kausale Graphen übertragbar ist, die das Back-Door-Kriterium erfüllen (Anpassung an eine Menge von Confoundern $Z$).
• Verbindung zu Randomness Prediction: Der Ansatz geht über klassische Konformale Vorhersage hinaus und nähert sich dem Konzept der „Randomness Prediction", was ihn besonders für Szenarien geeignet macht, in denen die IID-Annahme für die Eingabevariablen verletzt sein könnte.

5. Offene Fragen und zukünftige Forschung

Das Papier identifiziert mehrere Richtungen für weitere Arbeiten:

• Optimierung der Regularisierung: Die aktuellen Schätzer verwenden eine Glättung mit $+1$. Simulationen deuten darauf hin, dass schwächere Regularisierung (z. B. $+c$ mit $c<1$) möglich sein könnte, was die Vorhersageregionen verkleinern würde. Die Bestimmung der zulässigen Konstanten ist ein offenes Problem.
• Stärkere Abhängigkeiten: Der Beweis für den Fall, in dem $X$ von der gesamten Vergangenheit (einschließlich $Y$) abhängt, funktioniert mit der aktuellen Methode nicht. Hier könnten Konformale Test-Martingale eine Lösung bieten.
• Regression: Die aktuellen Ergebnisse gelten für diskrete Variablen. Die Erweiterung auf Regression (kontinuierliche $Y$) für Vorhersageintervalle ist ein natürlicher nächster Schritt.

Zusammenfassend stellt dieses Papier einen wichtigen theoretischen Fortschritt dar, der die Lücke zwischen kausaler Inferenz und robusten, distributionfreien Vorhersagemethoden schließt, insbesondere in Situationen mit Confounding und potenziell nicht-stochastischen Eingabestrategien.