Interventional Time Series Priors for Causal Foundation Models

Die Arbeit stellt CausalTimePrior vor, ein Framework zur Generierung synthetischer zeitlicher struktureller kausaler Modelle mit Beobachtungs- und Interventionsdaten, das Prior-Data-Fitted-Netzwerke (PFNs) befähigt, kausale Effekte in Zeitreihen im Kontext zu schätzen.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungsarbeit „CausalTimePrior", als ob wir sie über einen Kaffee diskutieren würden.

Das große Problem: Zeitreihen sind wie ein Film, nicht wie ein Foto

Stell dir vor, du möchtest verstehen, wie die Welt funktioniert.

• Tabellarische Daten (wie eine Excel-Tabelle) sind wie ein Foto. Es zeigt einen Moment: „Wenn ich diesen Regler drehe, passiert das."
• Zeitreihen (wie Aktienkurse oder Wetterdaten) sind wie ein Film. Dinge passieren nacheinander. Was heute passiert, hängt von gestern ab.

Bisher gab es für „Fotos" (Tabellen) schon sehr kluge KI-Modelle (genannt PFNs), die lernen konnten, was passiert, wenn man etwas verändert (z. B. „Was passiert mit dem Umsatz, wenn wir den Preis senken?"). Diese Modelle wurden mit synthetischen Daten trainiert – also mit künstlich erzeugten Beispielen, bei denen die Wissenschaftler genau wussten: „Hier haben wir den Regler gedreht, und hier ist das Ergebnis."

Das Problem bei Zeitreihen (dem Film) war bisher: Wir hatten zwar viele Filme, aber niemand hatte die Fernbedienung.
Wir konnten den Film ansehen (beobachten), aber wir konnten nicht simulieren, was passiert, wenn wir während des Films einen Regler umdrehen (eine Intervention). Ohne diese „Fernbedienung"-Daten konnten die KI-Modelle nicht lernen, echte Ursache-Wirkungs-Zusammenhänge vorherzusagen.

Die Lösung: CausalTimePrior – Der „Regisseur" für künstliche Filme

Die Autoren (Dennis Thumm und Ying Chen) haben einen neuen Generator namens CausalTimePrior entwickelt. Man kann sich das wie einen Regisseur vorstellen, der nicht nur einen Film dreht, sondern sofort auch eine „Was-wäre-wenn"-Szene (eine Alternative Realität) dazu produziert.

Hier ist, was dieser Regisseur besonders macht:

1. Er dreht zwei Versionen gleichzeitig:

   • Version A (Beobachtung): Der normale Film, wie er passiert.
   • Version B (Intervention): Der Film, in dem der Regisseur mitten drin eingreift. „Stop! Ändere das Wetter!" oder „Stop! Erhöhe den Zinssatz!"
     Der KI-Modell bekommt beide Versionen und lernt: „Aha, wenn ich das tue, ändert sich der Rest des Films so."

2. Er ist extrem kreativ (Vielfalt):
   Frühere Generatoren waren langweilig. Sie dachten nur an einfache, gerade Linien. Dieser neue Regisseur kann:

   • Nicht-lineare Effekte: Kleine Änderungen können riesige Lawinen auslösen (wie beim Schmetterlingseffekt).
   • Weiche und harte Eingriffe: Er kann einen Schalter komplett umlegen (hart) oder nur ein bisschen drehen (weich).
   • Zeitliche Veränderungen: Er kann den Kurs ändern, der sich im Laufe des Films wandelt (z. B. eine langsame Erhöhung statt eines plötzlichen Sprungs).

3. Der Clou: Der „Kanalwechsel" (Regime-Switching)
   Das ist das wirklich Neue. In der echten Welt ändern sich die Regeln manchmal.

   • Beispiel: Ein Auto fährt auf einer Straße. Plötzlich regnet es, und die Straßen werden rutschig. Die Physik des Fahrzeugs ändert sich nicht, aber die Regeln, wie es auf die Straße reagiert, schon.
     Frühere Modelle konnten das nicht. CausalTimePrior kann Szenarien simulieren, in denen die „Gesetze der Physik" mitten im Film wechseln. Das macht die KI viel robuster für die echte Welt.

Was haben sie damit erreicht? (Das Experiment)

Die Autoren haben eine einfache KI (ein sogenanntes PFN) mit diesen künstlichen „Was-wäre-wenn"-Filmen trainiert.

• Das Ergebnis: Die KI konnte danach auf neuen, unbekannten Filmen (Daten, die sie nie gesehen hat) vorhersagen, was passiert, wenn man dort eingreift.
• Der Vergleich: Normale Vorhersagemodelle (die nur Muster erkennen, wie ein VAR-Modell) machen oft Fehler, wenn sie Korrelationen mit Kausalität verwechseln.
  • Beispiel: Wenn Eiscreme verkauft wird und gleichzeitig Ertrinkende zunehmen, sagen normale Modelle: „Eiscreme verursacht Ertrinken!" (weil beides im Sommer passiert).
  • Die neue KI lernt durch den „Regisseur": „Nein, das ist nur Zufall. Wenn wir die Eiscreme verbieten, ertrinken die Leute trotzdem, weil es warm ist." Sie ignoriert die falschen Zusammenhänge.

Warum ist das wichtig?

Stell dir vor, du bist ein Arzt oder ein Politiker.

• Du willst wissen: „Was passiert mit der Wirtschaft, wenn wir morgen die Zinsen senken?"
• Du kannst das nicht einfach ausprobieren (das wäre zu riskant).
• Mit CausalTimePrior trainierte KIs können diese Fragen beantworten, indem sie auf Basis von Millionen simulierter „Was-wäre-wenn"-Szenarien lernen, wie die Welt funktioniert, ohne dass wir reale Katastrophen riskieren müssen.

Zusammenfassung in einem Satz

Die Autoren haben einen künstlichen Universum-Generator gebaut, der nicht nur zeigt, wie die Welt läuft, sondern auch simuliert, was passiert, wenn wir sie verändern – und zwar so realistisch und vielfältig, dass eine KI daraus lernen kann, die Zukunft besser vorherzusagen als je zuvor.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Interventional Time Series Priors for Causal Foundation Models" von Dennis Thumm und Ying Chen, basierend auf dem vorliegenden Text.

1. Problemstellung

Das zentrale Problem, das in diesem Paper adressiert wird, ist die Lücke bei der Anwendung von Prior-Data Fitted Networks (PFNs) – einer Klasse von Foundation-Modellen, die für tabellarische Daten erfolgreich eingesetzt wurden – auf Zeitreihen.

• Herausforderung: PFNs funktionieren, indem sie auf synthetischen Daten trainiert werden, die aus einer Verteilung über datengenerierende Prozesse stammen. Für kausale Inferenz benötigen diese Modelle sowohl beobachtende Daten (observational data) als auch interventionsbasierte Daten (interventional data), um kausale Effekte zu lernen.
• Aktueller Stand: Bestehende Benchmarks für Zeitreihen (wie CausalTime, TimeGraph, CauseMe) generieren zwar Zeitreihen mit bekannten kausalen Graphen, liefern jedoch nur beobachtende Daten. Ohne interventionalen Ground-Truth können Modelle nicht lernen, Vorhersagen unter Eingriffen (Interventionen) zu treffen, was den Kern der kausalen Inferenz darstellt.
• Folge: Es fehlt ein synthetischer Generator, der zeitliche strukturelle kausale Modelle (TSCMs) zusammen mit passenden interventionalen Zeitreihen erzeugt, um kausale Foundation-Modelle für Zeitreihen zu trainieren.

2. Methodik: CausalTimePrior

Die Autoren stellen CausalTimePrior vor, ein prinzipieller Rahmen (Framework) zur Generierung synthetischer zeitlicher struktureller kausaler Modelle (TSCMs) mit gepaarten beobachtenden und interventionalen Zeitreihen.

A. Temporale Strukturelle Kausale Modelle (TSCMs)

Das Framework basiert auf dem Dynamic Structural Causal Model (DSCM) für diskrete Zeit. Ein TSCM $S = (G, F, P_\epsilon)$ besteht aus:

• Graph $G$: Ein zeitverzögerter DAG (Directed Acyclic Graph), der instantane ($G_0$) und verzögerte Kanten ($G_k$) für Lags $k \in \{1, \dots, K\}$ definiert.
• Mechanismen $F$: Nichtlineare autoregressive Gleichungen, bei denen $X_t^{(i)} = f_i(\text{Pa}(X_t^{(i)})) + \epsilon_t^{(i)}$.
• Prior-Verteilung:
  • Graph-Prior: Zufällige Anzahl von Variablen ($N$), Lags ($K$) und Kantenwahrscheinlichkeiten (Erdős-Rényi-Modell mit topologischer Sortierung für Azyklizität).
  • Mechanismus-Prior: Eine Mischung aus linearen und nichtlinearen Funktionen (z. B. $\sin, \cos, \tanh, \exp$) mit zufälligen Gewichten und Bias.
  • Rausch-Prior: Verschiedene Verteilungen (Normal, Uniform, Laplace).

B. Interventionsarten

Das Framework unterstützt drei Arten von Interventionen, um die Trainingsdaten zu erweitern:

1. Harte Interventionen (Hard): Ersetzen des Wertes einer Variable durch eine Konstante ($do(X=c)$), wodurch eingehende Kanten durchtrennt werden.
2. Weiche Interventionen (Soft): Verschiebung des Mechanismus durch Hinzufügen eines Terms ($\delta$).
3. Zeitvariierende Interventionen: Der Interventionswert folgt einem Profil (Schritt, Rampe, Sinus) über die Zeit.

C. Regime-Switching (Besonderheit)

Ein entscheidendes Merkmal ist die Unterstützung von Regime-Switching-Dynamiken. Hier wechseln die kausalen Strukturen und Mechanismen basierend auf einem Markov-Prozess ($d_t$). Dies ermöglicht das Training von Modellen, die mit strukturellen Brüchen umgehen können, was in realen Zeitreihen häufig vorkommt.

D. Daten-Pipeline

Für jedes Trainingsbeispiel wird:

1. Ein TSCM aus dem Prior gesampelt.
2. Eine Interventions-Spezifikation (Ziel, Zeitpunkt, Typ, Wert) generiert.
3. Eine beobachtende Zeitreihe ($X^{obs}$) durch Vorwärtssimulation erzeugt.
4. Eine interventionalle Zeitreihe ($X^{int}$) unter der Bedingung $do(X=c)$ erzeugt.
5. Ein Tupel $(X^{obs}, \text{Interventions-Spec}, Y^{int})$ gebildet, um das PFN zu trainieren.

3. Hauptbeiträge

1. CausalTimePrior Framework: Der erste praktische Prior über diskrete dynamische SCMs, der gepaarte beobachtende und interventionalle Zeitreihen für das Training von kausalen Foundation-Modellen generiert.
2. Regime-Switching & Interventionen: Die Kombination von Regime-Switching-Dynamiken (Markov-getriebene strukturelle Brüche) mit interventionalen Zeitreihengenerierung. Dies ist eine Neuheit, da bisherige Generatoren entweder nur Beobachtungsdaten lieferten oder keine Regime-Wechsel unterstützten.
3. Vielfalt der Interventionen: Unterstützung von harten, weichen und zeitvariierenden Interventionen, was eine breite Abdeckung kausaler Szenarien ermöglicht.
4. Proof-of-Concept: Demonstration, dass ein PFN, das auf diesem Prior trainiert wurde, kausale Effekte aus reinen Beobachtungsdaten im Kontext (in-context) schätzen kann.

4. Ergebnisse und Experimente

Die Autoren validierten das Framework mit einem Datensatz von 100.000 generierten TSCMs und trainierten ein einfaches PFN (2-Layer GRU) darauf.

• Prior-Validierung:
  • Hohe strukturelle Vielfalt (nichtlineare Mechanismen, verschiedene Graphenstrukturen, Regime-Switching).
  • 0% Divergenzrate (stabile Simulation).
  • Gepaarte Daten zeigen realistische Statistiken; Interventionen erzeugen plausible kontrafaktische Ergebnisse.
• Leistung des PFN (Proof-of-Concept):
  • Das Modell lernte, kausale von nicht-kausalen Abfragen zu unterscheiden.
  • Verhältnis Vorhersage/Grundwahrheit (Pred/GT): 0,95 für intervenierte Abfragen vs. 0,46 für nicht-kausale Abfragen (das Modell sagt bei nicht-kausalen Variablen korrekt nahe Null voraus).
  • Vergleich mit Baselines: Das PFN erreicht eine RMSE (Root Mean Square Error), die mit einem pro-Dataset angepassten VAR-Modell (Vector Autoregression) vergleichbar ist (176,4 vs. 176,5), ohne dass für jeden neuen Datensatz ein neues Modell trainiert werden muss.
  • Generalisierung: Das Modell zeigt eine gewisse Robustheit gegenüber Out-of-Distribution (OOD) Daten (größere Graphen, dichtere Kanten), wobei die Leistung natürlich leicht abnimmt.
• Ablationsstudie: Training mit gemischten Interventionsarten (hart, weich, zeitvariierend) führte zu einer höheren Genauigkeit bei der Bestimmung der Effekt-Richtung und -Größe im Vergleich zum Training nur mit harten Interventionen.

5. Signifikanz und Ausblick

• Bedeutung: Das Paper schließt eine kritische Lücke im Bereich der kausalen Zeitreihenanalyse. Es ermöglicht erstmals das Training von Foundation-Modellen für Zeitreihen, die In-Context-Learning für kausale Effekte nutzen können, ohne für jeden neuen Datensatz neu trainiert werden zu müssen.
• Zukunftsperspektiven:
  • Skalierung auf größere Modelle (z. B. Transformer statt GRU).
  • Erweiterung auf kontinuierliche Zeitprozesse (SDEs/Neural ODEs).
  • Validierung an realen, semi-synthetischen Datensätzen.
  • Explizite Stratifikation über kanonische kausale Motive (Confounder, Mediatoren, Collider).

Zusammenfassend stellt CausalTimePrior eine fundamentale Infrastruktur bereit, um die nächste Generation von kausalen KI-Modellen für Zeitreihen zu entwickeln, die in der Lage sind, komplexe, sich ändernde kausale Strukturen zu verstehen und Eingriffe vorherzusagen.