🤖 machine learning

Do Tabular Foundation Models Agree with Themselves?

Diese Arbeit zeigt auf, dass Tabular Foundation Models (TFMs) keine getreuen gemeinsamen Verteilungen erzeugen können, da sie sowohl die Anforderungen an die Marginalisierungs- als auch an die Faktorisierungskonsistenz über alle evaluierten Datensätze und Aufgaben hinweg verletzen.

Ursprüngliche Autoren: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

Veröffentlicht 2026-08-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Hinweisen an einem Tatort zu suchen, suchen Sie nach Hinweisen in einer riesigen Tabelle. Dies ist die Welt der Tabular Foundation Models (Tabellarische Fundamentmodelle), ein heißes neues Gebiet der künstlichen Intelligenz, in dem Computer lernen, Dinge basierend auf Zeilen und Spalten von Daten vorherzusagen, wie zum Beispiel vorherzusagen, ob ein Kredit zurückgezahlt wird oder wie hoch der Preis eines Hauses sein könnte. Diese Modelle basieren auf einer klugen Idee namens Bayesscher Inferenz, was im Grunde eine schicke Art zu sagen ist: „Lass uns unsere Überzeugungen basierend auf neuen Beweisen aktualisieren.“ Denken Sie an einen Wetterprognostiker, der mit einer allgemeinen Vermutung über Regen beginnt, aber sobald er dunkle Wolken sieht, seine Vorhersage aktualisiert und sagt: „Okay, es wird definitiv regnen.“

Lange Zeit hofften Wissenschaftler, dass diese KI-Modelle perfekte „Wetterprognostiker“ für Daten seien. Sie glaubten, dass, wenn man das Modell bitten würde, eines zu sagen, und dann dieses Vorhersageergebnis nutzt, um etwas anderes zu erraten, die gesamte Geschichte, die es erzählt, perfekt zusammenpassen würde – genau wie ein gut geschriebener Roman, in dem sich jedes Kapitel logisch mit dem nächsten verbindet. Aber hier ist der Haken: In der realen Welt wissen wir oft nicht die „wahre“ Antwort, um sie zu überprüfen. Es ist, als würde man versuchen, den Aufsatz eines Schülers zu bewerten, ohne den Lösungsschlüssel zu haben. Anstatt also zu fragen: „Ist dieses Modell richtig?“, stellten eine Gruppe von Forschern eine einfachere, kniffligere Frage: „Erzählt dieses Modell sich selbst überhaupt eine konsistente Geschichte?“ Sie wollten wissen, ob die KI nur zufällige Zahlen erfindet, die zufällig gut aussehen, oder ob sie tatsächlich den strengen Regeln der Logik und Wahrscheinlichkeit folgt.

Das Papier, von dem Sie gleich hören werden, mit dem Titel „Do Tabular Foundation Models Agree with Themselves?“ (Stimmen tabellarische Fundamentmodelle mit sich selbst überein?), taucht direkt in dieses Rätsel ein. Die Forscher, angeführt von Christian Klötergens und seinem Team, beschlossen, die populärsten KI-Modelle für tabellarische Daten (wie TabPFN, TabICL und TabFM) einem strengen „Logiktest“ zu unterziehen. Sie baten die Modelle nicht nur, vorherzusagen, sondern sie ließen sie dieselbe Geschichte auf zwei verschiedene Arten erzählen und prüften, ob die Geschichten übereinstimmten.

Stellen Sie sich vor, Sie versuchen, den Geschmack eines mysteriösen Smoothies zu erraten.

Test 1 (Marginalisierungskonsistenz): Sie fragen die KI: „Welche Geschmacksrichtung hat dieser Smoothie?“ Dann fragen Sie sie: „Wenn der Smoothie rot ist, welche Geschmacksrichtung hat er? Und wenn er blau ist, welche Geschmacksrichtung hat er?“ Schließlich mischen Sie diese beiden Antworten basierend darauf, wie wahrscheinlich es ist, dass der Smoothie rot oder blau ist. Wenn die KI konsistent ist, sollte diese „gemischte“ Antwort exakt dieselbe sein wie die erste direkte Antwort.
Test 2 (Faktorisierungskonsistenz): Sie bitten die KI, die Geschichte der Zutaten des Smoothies in zwei verschiedenen Reihenfolgen zu erzählen. Zuerst rät sie zur Frucht, dann zum Süßungsmittel. Zweitens rät sie zum Süßungsmittel, dann zur Frucht. Wenn die KI die Daten wirklich versteht, sollte das fertige Bild des Smoothies identisch sein, egal welche Zutat sie zuerst erraten hat.

Die Forscher führten diese Tests mit einer riesigen Vielfalt an realen Datensätzen durch, von Weinqualitätsbewertungen über Autopreise bis hin zu medizinischen Unterlagen. Sie verwendeten ein mathematisches Lineal namens Total Variation Distance, um zu messen, wie weit die Antworten auseinanderlagen. Ein Wert von 0 bedeutet, dass das Modell perfekt konsistent ist; ein höherer Wert bedeutet, dass es sich widerspricht.

Die Ergebnisse waren ein Schock. Jedes einzelne getestete Modell fiel durch beide Tests durch. Bei jedem Datensatz, sowohl bei einfachen Ja/Nein-Fragen (Klassifikation) als auch bei Fragen zur Vorhersage von Zahlen (Regression), lieferten die Modelle unterschiedliche Antworten, je nachdem, wie man die Frage stellte. Es ist, als hätte die KI Ihnen gesagt, der Smoothie sei „Erdbeere“, wenn man sie direkt fragt, aber als man sie zuerst nach der Farbe fragte, entschied sie plötzlich, er sei „Blaubeere“, obwohl die Farbe dieselbe war.

Das Papier fand heraus, dass einige Modelle etwas besser darin waren, eine konsistente Geschichte zu erzählen als andere (zum Beispiel war ein Modell namens TabFM der konsistenteste Klassifikator, und TabPFNv3 war der Regressor, der der Konsistenz am nächsten kam), aber keines von ihnen war wirklich konsistent. Tatsächlich waren die Inkonsistenzen so weit verbreitet, dass die Forscher zu dem Schluss kamen, dass diese Modelle keine einzige, einheitliche „gemeinsame Verteilung“ (joint distribution) der Daten darstellen. Auf einfache Sprache bezogen: Die Modelle halten sich nicht an die strengen Gesetze der Wahrscheinlichkeit, die sie eigentlich nachzuahmen versuchen sollen. Sie „halluzinieren“ im Grunde verschiedene Versionen der Realität, je nachdem, in welcher Reihenfolge man ihnen Fragen stellt.

Die Autoren entdeckten auch etwas Interessantes: Ein „gutes“ Vorhersagemodell zu sein (meistens die richtige Antwort zu geben), bedeutet nicht zwangsläufig, ein „konsistentes“ Vorhersagemodell zu sein. Ein Modell kann sehr genau darin sein, den Preis eines Hauses zu erraten, aber dennoch sich selbst widersprechen, wenn man es bittet, seine Argumentation in einer anderen Reihenfolge zu erklären. Dies deutet darauf hin, dass Konsistenz ein separater, verborgener Fehler ist, den aktuelle Benchmarks übersehen.

Was bedeutet das also für die Zukunft? Das Papier sagt nicht, dass diese Modelle nutzlos sind – sie sind immer noch die besten Werkzeuge, die wir für viele Aufgaben haben. Es klingt jedoch einen lauten Alarm, dass wir diesen Modellen nicht blind vertrauen können, wenn wir Informationen über komplexe Beziehungen zwischen Variablen benötigen, die logisch kohärent sein müssen. Die Forscher schlagen vor, dass zukünftige Modelle so gebaut werden müssen, dass „Konsistenz“ ein Kernmerkmal ist, indem sie beispielsweise darauf trainiert werden, diese Widersprüche zu bestrafen, anstatt sich nur darauf zu konzentrieren, die endgültige Antwort richtig zu bekommen. Bis dahin müssen wir uns daran erinnern, dass diese mächtigen KI-„Detektive“ großartig darin sind, Hinweise zu finden, aber manchmal verschiedene Versionen der Geschichte erzählen, je nachdem, wer fragt.

Titel: Stimmen Tabular Foundation Models mit sich selbst überein?

Problemstellung
Tabular Foundation Models (TFMs), wie etwa TabPFN, TabICL und TabFM, stellen derzeit den Stand der Technik für die tabellarische Vorhersage dar. Diese Modelle werden als Transformer konstruiert, die darauf trainiert sind, die bayessche posteriore prädiktive Verteilung (PPD) unter einem synthetischen Prior zu approximieren. Obwohl ihre prädiktiven Köpfe univariat sind, nutzen Praktiker sie zur Modellierung multivariater Verteilungen, indem sie Zielvariablen autoregressiv sampeln und diese als Merkmale anhängen. Die Treue der daraus resultierenden gemeinsamen Verteilung wurde jedoch bisher nicht untersucht. Da die wahre Verteilung von realen Datensätzen entscheidend unbekannt ist, können TFMs nicht gegen die wahre bayessche Posterior-Verteilung evaluiert werden. Dies hinterlässt eine Lücke im Verständnis darüber, ob die univariaten Vorhersagen dieser Modelle tatsächlich zu einer einzigen, wohldefinierten gemeinsamen Verteilung kohärieren.

Methodik
Um das Problem der Unfähigkeit zu adressieren, die Distanz zu einem wahren Posterior zu messen, schlagen die Autoren einen label-freien Ansatz vor: zu bestimmen, ob die Vorhersagen eines Modells überhaupt durch irgendeine gemeinsame Verteilung induziert worden sein könnten. Eine wohldefinierte gemeinsame Verteilung legt strikte mathematische Bedingungen für ihre Marginals und Conditionals fest. Die Autoren formalisieren zwei Konsistenzanforderungen, die jedes durch eine gültige gemeinsame Verteilung induzierte Modell erfüllen muss:

Marginalisierungskonsistenz: Dies erfordert, dass marginalisierte Conditionals den direkt vorhergesagten Marginals entsprechen. Konkret gilt: Wenn ein Modell eine Zielvariable $A$ direkt vorhersagt und gleichzeitig $A$ bedingt auf einer zweiten Zielvariable $B$ vorhersagt (wobei $B$ unter Verwendung der eigenen Vorhersage des Modells für $B$ marginalisiert wird), müssen die resultierenden Verteilungen identisch sein. Dies ist ein Instanz des Satzes der totalen Wahrscheinlichkeit und der Martingaleigenschaft kohärenter prädiktiver Systeme.
Faktorisierungskonsistenz: Dies ist eine stärkere Anforderung an die gemeinsame Verteilung selbst. Sie verlangt, dass unterschiedliche autoregressive Faktorisierungsreihenfolgen (z. B. die Vorhersage von $A$ dann $B$ , gegenüber der Vorhersage von $B$ dann $A$ ) exakt dieselbe gemeinsame Verteilung ergeben.

Die Autoren beweisen, dass Faktorisierungskonsistenz die Marginalisierungskonsistenz impliziert, die Umkehrung jedoch nicht zwingend wahr ist. Um diese Eigenschaften zu evaluieren, leiten sie Metriken ab, die auf der Total Variation (TV) Distanz zwischen den durch das Modell unter diesen verschiedenen Bedingungen generierten Verteilungen basieren. Diese Metriken funktionieren ohne Kenntnis der Ground-Truth-Verteilung oder des Pretraining-Priors.

Experimentelles Setup
Die Studie evaluiert mehrere State-of-the-Art TFMs (TabPFNv2/v3, TabICLv1/v2, TabDPTv1.2 und TabFM) über eine breite Palette von Datensätzen aus OpenML, die sowohl Klassifikations- als auch Regressionsaufgaben abdecken. Für jeden Datensatz werden zwei Zielspalten ausgewählt, die plausibel voneinander abhängen, gegeben die restlichen Merkmale. Die Modelle werden unter einem 5-fachem Cross-Testing getestet, um die Diskrepanz zu messen zwischen:

Direkten Marginal-Vorhersagen vs. marginalisierten Mischungen (Marginalisierungskonsistenz).
Gemeinsamen Verteilungen, die aus unterschiedlichen Sampling-Reihenfolgen abgeleitet wurden (Faktorisierungskonsistenz).

Zentraler Ergebnisse
Die Experimente zeigen systematische und signifikante Verletzungen beider Konsistenzanforderungen über alle evaluierten Modelle, Datensätze und Aufgabentypen hinweg auf:

Universelle Verletzung: Jedes evaluierte TFM verletzt sowohl die Marginalisierungs- als auch die Faktorisierungskonsistenz auf jedem Datensatz. Die beobachtete Inkonsistenz ist eine strukturelle Eigenschaft aktueller TFMs.
Ausmaß der Verletzung: Die Verletzungen sind nicht bloß Sampling-Rauschen, sondern repräsentieren strukturelle Lücken, bei denen sich die Schätzung einer Zielvariable ändert, je nachdem, ob eine Zwischenzielvariable konditioniert oder marginalisiert wird.
Modellvergleiche:
- Klassifikation: TabFM (das neueste Modell) zeigt die höchste Konsistenz unter den Klassifikatoren und erreicht die niedrigste durchschnittliche TV-Distanz auf der Mehrheit der Datensätze. TabICLv1 wird als der inkonsistenteste Klassifikator identifiziert.
- Regression: Kein einzelnes Modell erweist sich über alle Datensätze hinweg als das konsistenteste. TabDPT erscheint relativ konsistent hinsichtlich der Marginalisierung, gehört aber zu den inkonsistentesten hinsichtlich der Faktorisierung. TabPFNv3 ist der konsistenteste Regressor bezüglich der Faktorisierung.
Korrelation: Es gibt eine starke positive Korrelation zwischen den Verletzungen der Marginalisierungs- und der Faktisierungskonsistenz. Es gibt jedoch keine starke Korrelation zwischen der prädiktiven Genauigkeit (oder dem RMSE) eines Modells und seiner Konsistenz; hochperformante Modelle sind nicht zwangsläufig kohärenter.
Anzahl der Merkmale: Entgegen der Intuition führen breitere Tabellen (mehr Merkmale) nicht zwangsläufig zu größerer Inkonsistenz; in Klassifikationsaufgaben waren die Konsistenzlücken oft bei Datensätzen mit weniger Merkmalen höher.

Bedeutung und Beiträge
Das Paper leistet drei primäre Beiträge:

Formulierung von Anforderungen: Es definiert zwei notwendige Bedingungen (Marginalisierung und Faktisierungskonsistenz) für eine wohldefinierte gemeinsame Verteilung eines TFMs.
Label-freie Metriken: Es leitet Metriken ab, um das Ausmaß der Verletzungen zu quantifizieren, ohne Ground-Truth-Labels oder Kenntnis des Pretraining-Priors zu benötigen.
Empirische Evaluierung: Es wendet diese Metriken an, um zu zeigen, dass aktuelle State-of-the-Art TFMs keine kohärenten gemeinsamen Verteilungen erzeugen.

Die Autoren kommen zu dem Schluss, dass die univariaten Vorhersagen aktueller TFMs nicht aus einer einzigen gemeinsamen Verteilung über die Tabellenspalten hervorgehen. Folglich können diese Modelle nicht für Downstream-Aufgaben anvertraut werden, die auf der Abhängigkeitsstruktur zwischen Targets beruhen, wie etwa die autoregressive Datengenerierung. Das Paper positioniert Konsistenz als eine eigenständige Evaluationsachse, die von der Genauigkeit getrennt ist und die derzeit in Benchmarks wie TabArena fehlt. Obwohl die Bedingungen aktuell diagnostisch sind, schlagen die Autoren vor, dass sich zukünftige Arbeiten auf das Modelldesign konzentrieren sollten – etwa auf Trainingsziele, die Konsistenzlücken bestrafen, oder Architekturen, die ein gemeinsames latentes Joint erzwingen –, um TFMs zu bauen, die beweisbar kohärent sind.

Mehr davon