💻 computer science

Learning Causal Orderings for In-Context Tabular Prediction

Das Papier stellt TabOrder vor, ein neuartiges Modell, das unüberwachte kausale Variablenordnungen lernt, um Aufmerksamkeitsmechanismen bei tabellarischen Vorhersagen einzuschränken, wodurch die Robustheit unter Verteilungsverschiebungen und Interventionen verbessert wird, während gleichzeitig Vorhersage- und Imputationsaufgaben adressiert werden.

Ursprüngliche Autoren: Sascha Xu, Sarah Mameche, Jilles Vreeken

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sascha Xu, Sarah Mameche, Jilles Vreeken

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Korrelation vs. Kausalität

Stellen Sie sich vor, Sie sind ein Koch, der versuchen soll vorherzusagen, wie ein Kuchen schmecken wird. Sie haben ein riesiges Kochbuch (einen Datensatz) mit Tausenden von Rezepten.

Die meisten modernen KI-Köche (genannt Tabular Foundation Models) sind unglaublich gut darin, Ihr Kochbuch zu lesen und zu sagen: „Wenn ich Mehl und Eier sehe, wette ich, dass der Kuchen süß sein wird." Sie sind hervorragend darin, Muster (Korrelationen) zu erkennen.

Allerdings verstehen sie Ursache und Wirkung nicht. Sie wissen nicht, dass man das Mehl zuerst mischen muss, bevor man Wasser hinzufügt. Wenn Sie das Rezept plötzlich ändern (eine Intervention) – sagen wir, Sie verwenden keine Eier mehr, behalten aber das Mehl –, könnte die KI verwirrt werden, weil sie nur gelernt hat, dass „Mehl und Eier normalerweise zusammen vorkommen", nicht aber, dass die Reihenfolge des Mischens wichtig ist. Wenn sich die Regeln der Küche ändern, brechen die Vorhersagen der KI zusammen.

Die Lösung: TABORDER

Die Autoren stellen ein neues KI-Modell namens TABORDER vor. Denken Sie an TABORDER nicht nur als Koch, sondern als einen Koch, der auch den Zeitplan der Küche lernt.

Anstatt nur auf die Zutaten zu schauen, fragt TABORDER: „Welche Zutat kommt zuerst? Welche bewirkt, dass die nächste passiert?"

Es erstellt eine mentale Karte der Kausalen Reihenfolge. Es lernt, dass:

Man zuerst die Eier kaufen muss.
Dann muss man sie aufschlagen.
Dann muss man sie mischen.

Indem es diese Sequenz versteht, kann TABORDER den Geschmack des Kuchens auch dann vorhersagen, wenn Sie das Rezept später ändern, weil es die grundlegenden Regeln kennt, wie die Zutaten interagieren, und nicht nur, wie sie normalerweise zusammen auftreten.

Wie es funktioniert: Das „Ampel"-System

Das Paper beschreibt einen cleveren Weg, wie das Modell diese Reihenfolge lernt, ohne dass ein Lehrer ihm die Antwort sagt (unüberwachtes Lernen).

Stellen Sie sich eine Schlange von Leuten vor, die darauf warten, in einen Club zu kommen.

Standard-KI: Lässt jeden jeden anderen ansehen, um zu entscheiden, wer hereinkommt. Es ist chaotisch und verlässt sich darauf, wer neben wem steht.
TABORDER: Weist jedem eine geheime „Punktzahl" zu (wie eine VIP-Nummer).
- Wenn Person A eine niedrigere Punktzahl hat als Person B, darf Person A Person B ansehen.
- Aber Person B darf Person A nicht ansehen.

Dies erzeugt eine Einbahnstraße. Das Modell zwingt die Daten, in eine bestimmte Richtung zu fließen. Wenn das Modell die falsche Reihenfolge errät (z. B. wenn es dem „Dessert" erlaubt, das „Vorspeise" anzusehen), stimmt die Mathematik nicht, und die Vorhersage wird unübersichtlich. Das Modell lernt, seine eigenen Punktzahlen zu korrigieren, damit die Mathematik perfekt funktioniert.

Umgang mit fehlenden Daten: Der Trick mit der „fehlenden Zutat"

Daten aus der realen Welt sind unordentlich; manchmal fehlen Zutaten auf der Rezeptkarte.

Alte KI: Rät vielleicht die fehlende Zutat basierend auf dem, was in der Nähe ist, aber wenn auch die nahen Zutaten fehlen, gerät sie in Verwirrung.
TABORDER: Hat eine spezielle Regel: „Wenn eine 'Ursache' (eine frühere Zutat) fehlt, werde ich unsicherer bezüglich der 'Wirkung' (der späteren Zutat)."

Das Paper zeigt, dass diese Unsicherheit der KI tatsächlich hilft, die richtige Reihenfolge herauszufinden. Wenn die KI versucht zu erraten, dass „Dessert" die „Vorspeise" verursacht, aber die „Vorspeise" fehlt, bricht die Mathematik zusammen. Wenn sie jedoch annimmt, dass „Vorspeise" das „Dessert" verursacht, und die „Vorspeise" fehlt, weiß das Modell genau, wie viel Unsicherheit hinzuzufügen ist. Dieses „Unsicherheits-Signal" wirkt wie ein Kompass und führt das Modell zur richtigen Zeitlinie.

Was sie herausfanden (Die Ergebnisse)

Die Autoren testeten TABORDER auf zwei Hauptwegen:

Synthetische Tests (Die Simulation): Sie erstellten fiktive Welten mit bekannten Regeln (wie in einem Videospiel). TABORDER konnte die richtige Zeitlinie der Ereignisse fast genauso gut herausfinden wie spezialisierte Werkzeuge, die nur dafür entwickelt wurden, tat dies jedoch gleichzeitig, während es auch die Ergebnisse vorhersagte.
Tests in der realen Welt (Das Biologie-Labor): Sie verwendeten einen berühmten Datensatz über Zellsignalisierung (wie Zellen miteinander sprechen).
- Das Ergebnis: Als sie „eingriffen" (eine Simulation, bei der ein Medikament ein spezifisches Protein stoppt), funktionierte TABORDER weiterhin gut. Andere Modelle versagten, weil sie sich auf die alten Muster verließen, die nicht mehr existierten.
- Die Erkenntnis: TABORDER konnte auch erkennen, wo die Intervention stattfand. Wenn sie ein „Hub"-Protein (ein zentraler Anführer) blockierten, änderte sich das Verständnis des Modells für die gesamte Zeitlinie. Wenn sie ein untergeordnetes Protein blockierten, änderte sich nur dieser spezifische Teil der Zeitlinie. Dies entspricht dem, was Biologen über die Funktionsweise von Zellen wissen.

Das Fazit

TABORDER ist eine neue Art von KI für tabellarische Daten (Tabellen), die kausalen Sequenzen selbstständig lernt.

Warum es wichtig ist: Sie merkt sich nicht nur Muster; sie lernt die „Regeln des Spiels".
Der Vorteil: Wenn sich die Welt ändert (Verteilungsverschiebung) oder wenn wir eingreifen (wie in einem Arzneimittelversuch), bricht TABORDER nicht zusammen. Sie bleibt robust, weil sie die zugrunde liegende Ordnung der Dinge versteht und nicht nur die oberflächlichen Verbindungen.

Sie schließt die Lücke zwischen „intelligenten Mustererkennern" und „logischen kausalen Denkern" und macht KI-Vorhersagen in sich verändernden Umgebungen sicherer und zuverlässiger.

Technische Zusammenfassung: Erlernen kausaler Ordnungen für kontextbasierte tabellarische Vorhersagen

1. Problemstellung

Kontextbasierte Lernarchitekturen, wie Tabular Foundation Models (TFMs), haben durch die Nutzung großskaliger Vorab-Trainings starke Vorhersageleistungen auf tabellarischen Daten erzielt. Diese Modelle sind jedoch primär assoziativ; sie verlassen sich auf korrelative Strukturen statt auf explizite kausale Richtungsabhängigkeiten. Folglich können ihre Vorhersagen unter Verteilungsverschiebungen oder Interventionen unzuverlässig sein, da sie nicht-kausale statistische Assoziationen ausnutzen könnten, die keine Generalisierungsfähigkeit besitzen.

Obwohl etablierte Methoden zur kausalen Entdeckung existieren, um gerichtete azyklische Graphen (DAGs) zu rekonstruieren, sind diese häufig datensatzspezifisch, rechenintensiv und von modernen Vorhersagearchitekturen entkoppelt. Umgekehrt stützen sich neuere amortisierte Ansätze zur kausalen Entdeckung auf überwachtes Training über synthetische Graphen und erfordern Ground-Truth-kausale Labels. Es besteht eine Lücke bei der systematischen Integration der Entdeckung kausaler Strukturen in Vorhersagearchitekturen innerhalb eines unüberwachten, kontextbasierten Lernrahmens, der fehlende Daten und Interventionen bewältigen kann.

2. Methodik: TABORDER

Die Autoren schlagen TABORDER vor, eine transformer-basierte Architektur, die entwickelt wurde, um gleichzeitig kausale Variablenordnungen zu inferieren und robuste Vorhersagen durchzuführen. Die Kerninnovation ist die Verwendung von kausal ordnungsbeschränkter Aufmerksamkeit.

Architekturentwurf

TABORDER fungiert als Dual-Transformer-System, das einen Datensatz $D$ mit fehlenden Einträgen, die durch eine Maske $M$ indiziert sind, verarbeitet:

Einbettung: Jede Zelle $x_i^{(r)}$ und ihre Indikatorvariable für das Fehlen werden in eine Vektordarstellung eingebettet.
Zweig zur Ordnungsinferenz: Ein Standard-Multi-Head-Self-Attention-Transformer verarbeitet die Einbettungen, um einen skalaren Score $s_i$ für jede Variable $X_i$ zu inferieren. Niedrigere Scores deuten auf eine frühere Position in der kausalen Ordnung hin. Diese Scores werden über die Zeilen gemittelt, um eine globale Ordnung $\hat{\pi}$ zu erzeugen.
Zweig zur Vorhersage mit ordnungsbeschränkter Aufmerksamkeit: Ein zweiter Transformer modelliert die bedingte Verteilung jeder Zelle. Entscheidend ist, dass seine spaltenweise Aufmerksamkeit durch eine Maske eingeschränkt ist, die von den gelernten Scores $s$ abgeleitet wird. Konkret kann Variable $X_i$ nur auf Variablen $X_j$ achten, für die $s_j \leq s_i$ gilt. Dies erzwingt eine geordnete Faktorisierung der gemeinsamen Verteilung:
$p_\theta(x^{(r)} | D, \pi) = \prod_{k=1}^d p_\theta(x_{\pi(k)}^{(r)} | x_{\pi(1:k-1)}^{(r)}, D)$
Dies verhindert, dass das Modell „anti-kausale" Merkmale (zukünftige Ursachen) nutzt, um ein Ziel zu vorhersagen, und reduziert dadurch die Empfindlichkeit gegenüber spuriosen Korrelationen.

Umgang mit fehlenden Daten und Unsicherheit

Das Modell berücksichtigt das Fehlen von Daten in kausalen Eltern explizit. Unter der Annahme eines Additive Noise Model (ANM) ( $X_i = f(X_{pa(i)}) + N_i$ ) decodiert das Modell einen bedingten Mittelwert $\hat{\mu}$ und eine Varianz $\hat{\sigma}^2$ .

Varianzinkrement: Wenn ein kausaler Elternteil fehlt, erhöht das Modell die Vorhersagevarianz für die Zielvariable um einen lernbaren Betrag $\delta_{i,j}$ . Dies erfasst die erhöhte Unsicherheit, wenn relevante Eingaben nicht beobachtet werden.
Trainingsziel: Das Modell wird end-to-end trainiert, indem die Log-Likelihood der maskierten Einträge maximiert wird. Das Ziel koppelt das Erlernen von Ordnungen und die Vorhersage: Ordnungen, die die maskierten Daten besser erklären (durch Minimierung der Residualvarianz), erhalten eine höhere Likelihood.

Theoretische Begründung

Die Autoren begründen den likelihood-basierten Ansatz im Rahmen des Additive Noise Model (ANM). Sie zeigen, dass für kausale additive Modelle die likelihood-optimale Ordnung konsistent mit der topologischen Ordnung des wahren zugrunde liegenden DAG ist. Darüber hinaus beweisen sie einen Satz bezüglich der fehlendheitsbewussten Likelihood-Asymmetrie: Die Berücksichtigung von Fehlenden durch Varianzinkremente verstärkt die Likelihood-Lücke zwischen der korrekten kausalen Richtung und falschen Richtungen, was die Identifizierung kausaler Ordnungen auch bei Vorhandensein fehlender Daten erleichtert.

3. Hauptbeiträge

Integration kausaler Entdeckung und Vorhersage: TABORDER schließt die Lücke zwischen dem Erlernen kausaler Strukturen und der kontextbasierten tabellarischen Vorhersage, indem es kausale Ordnungen unüberwacht innerhalb eines vorhersagenden Transformer-Rahmens inferiert.
Ordungsbeschränkte Aufmerksamkeit: Die Einführung einer differenzierbaren, gelernten Aufmerksamkeitsmaske, die den Informationsfluss darauf beschränkt, Variablen in einer gelernten kausalen Ordnung voranzugehen, und sicherstellt, dass Vorhersagen nur auf potenziellen Ursachen basieren.
Fehlendheitsbewusstes kausales Lernen: Die Gestaltung eines Mechanismus, bei dem das Fehlen in kausalen Eltern die Vorhersagevarianz explizit erhöht, was theoretisch und empirisch hilft, kausale Richtungen zu unterscheiden.
Unüberwachtes Lernen: Im Gegensatz zu amortisierten Methoden zur kausalen Entdeckung benötigt TABORDER während des Trainings keine Ground-Truth-kausale Graphen; es lernt optimale Ordnungen ausschließlich durch Likelihood-Maximierung auf maskierten Daten.

4. Experimentelle Ergebnisse

Die Autoren bewerten TABORDER auf synthetischen Daten mit bekannten kausalen Strukturen und realen Benchmarks.

Inferenz kausaler Ordnungen: Auf synthetischen Daten, die aus nicht-linearen Gauß-Prozess-ANMs generiert wurden, erreicht TABORDER eine topologische Divergenz ( $d_{TOP}$ ), die mit spezialisierten Algorithmen zur kausalen Entdeckung (z. B. CAM, SCORE, NOTEARS) vergleichbar ist, leitet jedoch Ordnungen in nahezu sofortiger Zeit durch einen einzigen Vorwärtsdurchlauf ab. Auf dem realen Sachs-Protein-Signaling-Datensatz entdeckt TABORDER kausale Ordnungen mit geringer Divergenz ( $d_{TOP} \approx 0.21$ ) im Vergleich zum Konsensusgraphen und übertrifft andere Baselines.
Vorhersageleistung und Imputation: Bei Aufgaben zur Imputation fehlender Werte (OpenML CC18 und CTR23 Benchmarks) erzielt TABORDER wettbewerbsfähige Leistungen, insbesondere bei hohen Fehlendheitsraten ( $\geq 40\%$ ), und übertrifft Standardmethoden wie KNN, MICE und GAIN.
Robustheit gegenüber Interventionen: In einer Dreivariablen-Kette ( $X \to Y \to Z$ ) mit einer Intervention am Mechanismus $Y \to Z$ behält TABORDER eine genaue Vorhersage des Mediators $Y$ gegeben $X$ und $Z$ bei. Im Gegensatz dazu verschlechtern sich Standard-TFMs (wie TABPFN) und XGBoost erheblich, da sie sich auf die unterbrochene nicht-kausale Assoziation zwischen $Y$ und $Z$ verlassen.
Biologische Erkenntnisse: Auf dem Sachs-Datensatz unter verschiedenen Interventionsbedingungen leitet TABORDER Ordnungen ab, die biologisch plausible Reorganisationen widerspiegeln. Beispielsweise führen upstream-Interventionen (z. B. PKC-Hemmung) zu globalen Änderungen in der inferierten Ordnung, während downstream-Interventionen lokale Änderungen verursachen, was mit bekannten Dynamiken von Signalwegen übereinstimmt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass TABORDER einen prinzipiellen Ansatz bietet, um kontextbasiertes Lernen für tabellarische Daten robuster gegenüber Verteilungsverschiebungen und Interventionen zu machen, indem kausale Richtungsabhängigkeiten explizit modelliert werden.

Robustheit: Durch die Erzwingung, dass Vorhersagen nur auf Vorgängern in einer gelernten kausalen Ordnung basieren, vermeidet das Modell die Ausnutzung spurioser Korrelationen, die unter Intervention versagen.
Effizienz: Im Gegensatz zur klassischen kausalen Entdeckung, die Optimierungsprobleme pro Datensatz löst, leitet TABORDER Strukturen effizient innerhalb eines einzigen Vorwärtsdurchlaufs ab, was sie für nachgelagerte Aufgaben skalierbar macht.
Theoretische Fundierung: Die Arbeit etabliert, dass die Likelihood-Maximierung bei Vorhandensein fehlender Daten unter Standard-ANM-Annahmen als Proxy für kausale Entdeckung dienen kann und eine theoretische Basis für unüberwachtes Ordnungs-Lernen bietet.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die aktuelle Implementierung sich auf topologische Ordnungen statt auf vollständige DAGs konzentriert und reellwertige Merkmale voraussetzt. Sie schlagen vor, dass die inferierten Strukturen zwar robust sind, jedoch Hypothesen darstellen, die einer Domänenvalidierung bedürfen, und dass zukünftige Arbeiten reichhaltigere Trainingspriors und Daten gemischter Typen erforschen könnten.