🤖 machine learning

A Causal DAG Prior for Synthetic Time-Series Classification Datasets

Dieses Paper führt einen auf kausalen DAGs basierenden Prior ein, der multivariate, multiklassen-basierte Zeitreihen-Klassifikationsdatensätze mit kreuzmodalen temporalen Strukturen synthetisiert und zeigt, dass das Fine-Tuning von TabPFN v2.5 auf diesen synthetischen Datensätzen die Leistung auf realen Benchmarks im Vergleich zu bestehenden Modellen signifikant verbessert.

Ursprüngliche Autoren: Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Wettermuster zu erkennen. Sie haben zwei Arten von Daten: statische Fakten (wie „es ist Sommer“ oder „der Boden ist sandig“) und bewegte Geschichten (wie ein Video der Windgeschwindigkeit, die sich über die Zeit verändert, oder eine Grafik, die steigt und fällt, wenn die Temperatur zu- oder abnimmt).

Die meisten aktuellen KI-Systeme behandeln diese beiden Dinge getrennt. Sie schauen sich zuerst die statischen Fakten an und dann die bewegten Geschichten, um am Ende zu versuchen, die Antworten zusammenzufügen. Das ist so, als würde man versuchen, ein Puzzle zu lösen, indem man zuerst die Randstücke betrachtet, dann die Mittelstücke und dann hofft, dass sie zusammenpassen.

Dieses Paper stellt einen neuen Weg vor, wie man die KI lehrt: einen „Causal DAG Prior“.

Hier ist die einfache Aufschlüsselung dessen, was sie getan haben und warum es wichtig ist:

1. Das Problem: Das „Zweistufen-Chaos“

Heutige KI-Modelle für Zeitreihendaten (wie Herzfrequenzmonitore oder Aktienkurse) arbeiten normalerweise in zwei Schritten:

Schritt 1: Ein riesiges Gehirn liest Millionen von unbeschrifteten Videos, um zu lernen, was „Bewegung“ eigentlich ist.
Schritt 2: Ein kleinerer, separater Lehrer versucht, diesem Gehirn beizubringen, wie man das Label errät (z. B. „Sturm“ vs. „Sonnig“) mithilfe einer sehr geringen Menge an beschrifteten Daten.

Das Problem ist, dass das große Gehirn das Label nie während es die Bewegung lernt, sieht. Es ist, als würde man das Autofahren lernen, indem man einen Film schaut, und erst nachdem man den Film beendet hat, wird einem gesagt: „Du bist gegen die Wand gefahren“. Die beiden Schritte sprechen nicht miteinander.

2. Die Lösung: Der „Synthetische Spielplatz“

Die Autoren wollten ein einziges, intelligentes System bauen, das alles gleichzeitig lernt. Um dies zu erreichen, brauchten sie eine massive Menge an Übungsdaten (beschriftete Beispiele), an denen sie trainieren konnten. Aber reale Daten sind knapp und chaotisch.

Deshalb bauten sie einen Synthetischen Generator. Denken Sie an diesen Generator als eine Art „Videospiel-Engine“ für Daten.

Der Bauplan (Der DAG): Anstatt nur zufällige Zahlen zu erzeugen, zeichnet die Engine eine Landkarte von Ursache und Wirkung. Sie entscheidet zum Beispiel: „Der Bodentyp (statisch) verursacht, dass die Luftfeuchtigkeit steigt (bewegt), und die Luftfeuchtigkeit verursacht, dass die Pflanze wächst (bewegt), und die endgültige Pflanzengröße bestimmt die Ernteart (Label).“
Die Magie: Diese Landkarte verbindet die statischen Fakten und die bewegten Geschichten auf natürliche Weise. Sie simuliert, wie reale Variablen einander über die Zeit hinweg beeinflussen.
Der Output: Die Engine spuckt tausende vollständige, beschriftete Datensätze aus, in denen die „Geschichte“ (Zeitreihe) und die „Fakten“ (Tabellendaten) perfekt durch Ursache und Wirkung miteinander verknüpft sind.

3. Das Experiment: Den „Lehrer“ testen

Um zu sehen, ob dieser neue „Spielplatz“ tatsächlich hilft, nahmen sie ein sehr intelligentes, bereits existierendes KI-Modell namens TabPFN (das sehr gut darin ist, Rätsel mit statischen Fakten zu lösen) und gaben ihm ein spezielles Training mit ihren synthetischen Daten.

Sie nahmen einige kleine Anpassungen vor, damit das Modell die „bewegten Geschichten“ lesen konnte, ohne den Fluss der Zeit zu verlieren, aber sie änderten nicht das Gehirn des Modells. Sie änderten lediglich das, wovon es lernte.

4. Die Ergebnisse: Der „Cross-Modal“-Vorteil

Sie testeten dieses neue Setup auf 75 realen Datensätzen (wie Herzschlägen, Gesten und Stromverbrauch).

Die Kontrollgruppe: Sie testeten das ursprüngliche KI-Modell (das ihre synthetischen Daten nie gesehen hatte).
Die „Bare Bones“-Gruppe: Sie testeten das Modell, das nur mit synthetischen Daten trainiert wurde, die wie statische Fakten aussahen (unter Ignorierung des Zeitreihen-Teils).
Der Gewinner: Das Modell, das mit ihrem vollständigen kausalen Generator (wo statische Fakten und bewegte Geschichten durch Ursache und Wirkung verknüpft waren) trainiert wurde, schnitt signifikant besser ab als alle anderen.

Die zentrale Erkenntnis:
Das Paper beweist, dass das KI-Modell nicht einfach nur klüger wurde, weil es mehr Daten sah. Es wurde klüger, weil es lernte, wie statische Fakten und bewegte Geschichten einander beeinflussen.

Als das Modell einen Datensatz sah, in dem „Bodentyp“ die „Änderungen der Luftfeuchtigkeit“ verursachte, lernte es, nach genau diesem Muster zu suchen. Als sie den Zeitreihen-Teil des Trainings entfernten (die „Bare Bones“-Gruppe), wurde das Modell nicht besser als das Original. Dies beweist, dass die Verbindung zwischen den beiden Arten von Daten das Geheimrezept ist.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie lernen, einen Kuchen zu backen.

Der alte Weg: Sie schauen ein Video von jemandem, der Zutaten mischt (Schritt 1), dann reicht man Ihnen eine Liste der Zutaten und fragt Sie: „Ist das ein Kuchen?“ (Schritt 2). Sie müssen raten, wie das Mischen mit der Liste zusammenhängt.
Der neue Weg (Dieses Paper): Sie erhalten ein magisches Kochbuch, das tausende Übungskuchen generiert. Für jeden Kuchen erklärt das Buch: „Weil wir Mehl verwendet haben (statischer Fakt), ist der Teig aufgegangen (bewegte Geschichte), was bedeutet, dass es ein Biskuitkuchen ist (Label).“
Ergebnis: Durch das Üben mit diesem magischen Kochbuch lernen Sie die Beziehung zwischen den Zutaten und dem Aufgehen des Teigs. Wenn Sie später vor einem echten Kuchen stehen, raten Sie nicht einfach nur; Sie verstehen die Ursache-Wirkungs-Beziehung und bekommen die Antwort viel häufiger richtig.

Das Paper kommt zu dem Schluss, dass wir durch das Lehren von KI-Modellen über diese cross-modalen Ursache-Wirkungs-Beziehungen mittels synthetischer Daten wesentlich bessere Klassifikatoren für Zeitreihenprobleme entwickeln können.

Technisches Resümee: Ein kausaler DAG-Prior für synthetische Zeitreihen-Klassifikationsdatensätze

Problemstellung

Aktuelle Foundation-Model-Pipelines für die Zeitreihen-Klassifikation (TSC) folgen typischerweise einem zweistufigen Paradigma: Ein großer Transformer wird auf unbeschrifteten Zeitreihen-Korpora vortrainiert, um als Encoder zu fungieren, gefolgt von einem datensatzspezifischen Klassifikator (z. B. linearer Kopf, k-NN oder TabPFN), der auf gefrorenen Embeddings angepasst wird. Dieser Ansatz leidet unter einer Diskrepanz, da der Encoder weder Trainingslabels noch andere Stichproben als Kontext während der Merkmalsextraktion nutzen kann, und die beiden Stufen unterschiedliche Ziele optimieren.

Während In-Context Learning (ICL) eine einstufige Alternative für tabellarische Daten bietet (exemplifiziert durch TabPFN), erfordert die Anwendung auf TSC einen synthetischen Generator, der vollständige, beschriftete Datensätze mit inhärenter zeitlicher Struktur erzeugen kann. Bestehende synthetische Priors für Zeitreihen, wie KernelSynth und CauKer, generieren zwar Zeitreihen, produzieren jedoch keine Klassenlabels, was zu unvollständigen Datensätzen führt. Zudem nutzt die gleichzeitige Arbeit von TiCT synthetische Priors, die nicht nativ multivariat, multiklassig oder multimodal sind. Es besteht eine kritische Lücke bei einem Prior, der ganze beschriftete Datensätze $(X, y)$ sampelt, indem es die kausalen Beziehungen zwischen zwei Modalitäten explizit modelliert: tabellarische Attribute und Zeitreihen.

Methodik

Der kausale DAG-Prior

Die Autoren führen einen synthetischen kausalen Prior ein, der vollständige, beschriftete multivariate TSC-Datensätze mithilfe eines einzigen gerichteten azyklischen Graphen (DAG) basierend auf strukturellen Kausalmodellen (SCMs) generiert. Im Gegensatz zu Ansätzen, die dynamische SCMs rekurrent entfalten (was zu Instabilität führen kann), injiziert dieses Design die zeitliche Struktur nicht-rekurrent innerhalb eines azyklischen Graphen.

Graphstruktur und Knotentypen:

Typisierte Knoten: Der DAG enthält Knoten zweier Typen: tabellarisch (Skalare, $\in \mathbb{R}$ ) und serienwertig (Trajektorien, $\in \mathbb{R}^T$ ).
Wurzel-Initialisierung:
- Tabellarische Wurzeln: Werden aus Zufallsnormalverteilungen oder Gleichverteilungen gesampelt.
- Serienwertige Wurzeln: Ein zufälliger Kernel (eine Komposition aus linearen, RBF- und periodischen Basiskerneln) wird einmal pro Datensatz gesampelt. Pro Stichprobe werden dann Trajektorien aus dem durch diesen Kernel definierten Nullmittelwert-Gauß-Prozess gezogen.
Kausale Kanten und Mechanismen: Kanten repräsentieren computergestützte Abbildungen, deren Auswahl basierend auf dem Kindknotentyp erfolgt:
- Tabellarische Kinder: Werden über kleine neuronale Netze mit punktweisen Nichtlinearitäten oder Diskretisierungsfunktionen abgebildet (Konvertierung numerischer Ausgaben in Kategorien).
- Serienwertige Kinder: Werden über einzelne zufällige 1-D-Konvolutionen (Conv1D) mit kausaler Padding, zufälliger Dilatation und nichtlinearer Aktivierung abgebildet. Diese Operation ermöglicht das Cross-Channel-Mixing (Konkatenation der Elternknoten) und die zeitliche Abhängigkeit.
- Cross-modale Interaktionen: Der Graph unterstützt nativ Tabular $\to$ Series, Series $\to$ Tabular sowie Series $\to$ Series kausale Effekte.
Datensatzgenerierung: Frische Initialisierungsdaten werden durch den DAG propagiert. Ausgewählte serienwertige Knoten bilden die Eingangsmerkmale $X \in \mathbb{R}^{n \times m \times T}$ , während ein diskretisierter tabellarischer Knoten das Klassenlabel $y \in \{1, \dots, K\}^n$ definiert.
Augmentierung: Um reale Herausforderungen zu simulieren, wendet der Generator prädiktive Trunkierung (variable Längen der Beobachtungen), Wert-Ebene-Missingness, zufällige zeitliche Granularität (gestrichenes Pooling/Step-Repeat) und per-Kanal-Wert-Warps an.

Probe: Anpassung von TabPFN v2.5

Zur Validierung des Priors finetunen die Autoren TabPFN v2.5, ein Transformer-basiertes Modell, das auf tabellarischen kausalen Priors vortrainiert wurde. Das Ziel ist nicht die Neugestaltung der Architektur, sondern die Isolierung des Beitrags des synthetischen Priors. Es werden minimale Anpassungen vorgenommen, um die zeitliche Struktur zu bewahren:

Tokenisierung: Die Eingangsdaten werden zu $n \times (m \cdot T)$ flachgedrückt. Um die Kanalgrenzen zu respektieren, wird die Zeitachse jedes Kanals auf ein Vielfaches der Token-Gruppengröße $G$ aufgefüllt (Padding). Tokens werden gebildet, indem $G$ aufeinanderfolgende Zeitschritte desselben Kanals gruppiert werden, um eine Vermischung der Kanäle innerhalb eines Tokens zu verhindern.
Normalisierung: Das standardmäßige Z-Scoring pro Spalte (welches zeitliche Muster innerhalb eines Patches zerstören würde) wird deaktiviert. Stattdessen wird das Z-Scoring pro Kanal vor der Tokenisierung angewendet.
Inferenz: Das Modell führt In-Context Learning durch, indem es auf den gesamten beschrifteten Trainingsdatensatz in einem einzigen Vorwärtspass konditioniert.

Zentrale Beiträge

Ein cross-modaler kausaler Prior: Die Einführung eines synthetischen Priors, der ganze beschriftete Datensätze aus einem DAG sampelt, der sowohl tabellarische als auch serienwertige Knoten enthält. Dies ermöglicht die Modellierung komplexer kausaler Regime (z. B. Bodentyp $\to$ Feuchtigkeitsverlauf $\to$ Wachstumsverlauf $\to$ Ertrag), die bestehende Priors nicht generieren können.
Isolierung der zeitlichen Struktur: Durch das Finetuning eines tabellarischen Foundation-Modells (TabPFN) mit minimalen architektonischen Änderungen zeigen die Autoren, dass die Leistungssteigerungen spezifisch durch die cross-modale zeitliche Struktur des Priors getrieben werden und nicht durch architektonische Verbesserungen oder generische Finetuning-Rezepte.
Skalierbares, nicht-rekurrentes Design: Die Verwendung eines azyklischen Graphen mit nicht-rekurrentem zeitlichem Injection vermeidet die Trainingsinstabilität und die Skalierungsschwierigkeiten, die mit rekurrenten Dynamiken in untrainierten Priors verbunden sind.

Experimentelle Ergebnisse

Die Autoren evaluierten den Ansatz auf 75 UCR/UEA-Datensätzen, die in das Betriebsspektrum von TabPFN passen ( $K \le 10$ Klassen, $m \cdot T \le 500$ ).

Vergleichskonfigurationen:

(A) Standard TabPFN: Vortrainierte Gewichte, Standard-Tabular-Preprocessing.
(B) Pretrained + Custom Inference: Gleiche Gewichte wie (A), aber mit dem zeitstrukturerhaltenden Preprocessing (Patch-alignierte Tokenisierung, per-Kanal Z-Scoring).
(C) Finetuned (Unser Ansatz): Konfiguration (B) finetuned auf den vollen kausalen DAG-Prior.
(D) Finetuned, Tabular-Only Ablation: Konfiguration (B) finetuned auf einem Prior, bei dem alle serien-spezifischen Komponenten (GP-Roots, Conv1D, Zeitreihen-Augmentierungen) deaktiviert sind ( $T=1$ ).

Ergebnisse:

Leistung: Konfiguration (C) erreichte die beste mittlere Genauigkeit und den besten ROC–AUC über beide Ensemble-Größen ( $e=1$ $e = 1$ und $e=8$ $e = 8$ ) hinweg.
- Bei $e=8$ erreichte (C) eine Genauigkeit von 0,8575 und einen ROC–AUC von 0,9444, womit es das Standard-Upstream-Modell (A) (0,8525 / 0,9405) und die rein tabellarische Ablation (D) (0,8493 / 0,9393) übertraf.
Statistische Signifikanz:
- Das Finetuning auf den vollen Generator (C) übertraf die rein tabellarische Ablation (D) signifikant mit einem Wilcoxon-Signed-Rank-p-Wert von $3,0 \times 10^{-8}$ auf ROC–AUC.
- Die rein tabellarische Ablation (D) zeigte keine statistisch signifikante Verbesserung gegenüber dem unveränderten Upstream-Modell (A) ( $p=0,10$ für AUC) und wurde sogar vom benutzerdefinierten Inferenz-Baseline (B) übertroffen ( $p=1,7 \times 10^{-4}$ ).
Schlussfolgerung zum Mechanismus: Die Ergebnisse bestätigen, dass die serien-spezifischen Mechanismen (GP-Roots und Conv1D) für die Leistungssteigerung notwendig sind; ein bloßes Finetuning auf einem DAG-Prior mit der korrekten Eingangsform, aber ohne zeitliche Struktur, ist unzureichend und kann sogar kontraproduktiv sein.

Bedeutung und Ansprüche

Das Paper behauptet, eine Lücke in der Literatur bezüglich synthetischer Priors für TSC zu schließen. Durch die Einführung eines Priors, der nativ die kausalen Beziehungen zwischen tabellarischen Attributen und Zeitreihen modelliert, ermöglichen die Autoren das Training von In-Context-Klassifikatoren, die den vollen Raum der cross-modalen Strukturen nutzen können.

Die primäre Bedeutung liegt in der Isolierung des Lernsignals: Die Autoren demonstrieren, dass die Verbesserung der TSC-Leistung direkt auf die im synthetischen Prior kodierte cross-modale zeitliche Struktur zurückzuführen ist und nicht auf die Architektur selbst. Dies validiert die Hypothese, dass „prior-fitted networks“ nützliche induktive Biases für Zeitreihen lernen können, wenn der Prior die kausalen Mechanismen der Domäne korrekt erfasst.

Die Autoren bleiben bescheiden hinsichtlich des Umfangs und merken an:

Das resultierende Modell ist ein „Probe“ (Sonde) und kein State-of-the-Art TSC Foundation Model (da das Backbone nicht neu gestaltet wurde).
Die Evaluierung ist auf das spezifische Betriebsspektrum von TabPFN ( $m \cdot T \le 500$ ) beschränkt, was lange oder hochdimensionale Serien ausschließt.
Die Arbeit beweist den inkrementellen Wert von Serien-Mechanismen gegenüber einem tabellarischen Prior, erhebt aber keinen Anspruch auf absolute Überlegenheit gegenüber allen existierenden TSC-Methoden.
Das Framework ist auf andere strukturierte Daten (z. B. Bilder, Video) erweiterbar, indem Knotentypen und Mechanismen geändert werden, was auf ein breiteres Potenzial für multimodale kausale Priors hindeutet.