📊 statistics

On the Uncertainty Quantification Ability of Tabular Foundation Models

Diese Arbeit vergleicht empirisch Tabular Prior-Data Fitted Networks (TabPFN) und Gauß-Prozesse (GPs) hinsichtlich der Unsicherheitsquantifizierung in Regressionsaufgaben und zeigt auf, dass während TabPFN in komplexen, hochdimensionalen, datenreichen Szenarien exzellent abschneidet, GPs im Allgemeinen eine überlegene Genauigkeit und Zuverlässigkeit in datenarmen Einstellungen oder wenn ihre Kerne gut mit der zugrunde liegenden Funktion übereinstimmen, bieten.

Ursprüngliche Autoren: Tyler R. Johnson, Kian Ben-Jacob, Nima Negarandeh, Oriol Vendrell-Gallart, Ramin Bostanabad

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tyler R. Johnson, Kian Ben-Jacob, Nima Negarandeh, Oriol Vendrell-Gallart, Ramin Bostanabad

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen das Wetter, den Aktienkurs oder die Tragfähigkeit einer Brücke basierend auf einem Satz von Datenpunkten vorherzusagen. Sie benötigen zwei Dinge: eine gute Vermutung (die Vorhersage) und eine ehrliche Einschätzung darüber, wie sicher Sie sich bei dieser Vermutung sind (die Unsicherheit).

Dieses Paper ist ein Kopf-an-Kopf-Rennen zwischen zwei sehr unterschiedlichen „Vorhersagern“, die versuchen, diese Probleme mithilfe von tabellarischen Daten (Zeilen und Spalten von Zahlen) zu lösen.

Die beiden Kontrahenten

1. Der Gauß-Prozess (GP): Der „Meisterhandwerker“
Betrachten Sie einen GP als einen hochqualifizierten, altmodischen Kunsthandwerker.

Wie sie funktionieren: Bevor sie anfangen, müssen Sie ihnen ein Set an Werkzeugen und einen spezifischen Bauplan (einen sogenannten „Kernel“ und eine „Mittelwertfunktion“) vorgeben. Wenn Sie die richtigen Werkzeuge für die Aufgabe wählen, sind sie unglaublich präzise. Sie sind wie ein meisterhafter Schreiner, der genau weiß, wie man einen Stuhl baut, wenn man ihm die Holzart und das Design nennt.
Der Haken: Sie sind langsam in der Vorbereitung. Jedes Mal, wenn Sie ihnen einen neuen Auftrag geben, müssen sie Zeit aufwenden, um ihre Werkzeuge zu kalibrieren und den besten Bauplan zu finden. Wenn Sie ihnen den falschen Bauplan geben, bauen sie vielleicht einen wackeligen Stuhl. Zudem werden sie sehr langsam und ermüdet, wenn der Auftrag zu groß wird (zu viele Daten).

2. TabPFN (Tabular Foundation Model): Der „supervorbereitete Praktikant“
Betrachten Sie TabPFN als einen brillanten Praktikanten, der bereits jedes Buch in der Bibliothek gelesen und Millionen von fiktiven Projekten geübt hat, bevor er Ihnen überhaupt begegnet.

Wie sie funktionieren: Sie benötigen nicht von Ihnen einen Bauplan. Sie haben bereits „gelernt“, wie man für fast jede Aufgabe, die sie sehen, die richtigen Werkzeuge errät. Sie übergeben ihnen einfach die Daten, und sie fangen sofort an zu arbeiten. Sie sind wie ein Praktikant, der so viele verschiedene Arten von Stühlen gesehen hat, dass er sofort erraten kann, wie man einen neuen baut, ohne vorher das Holz ausmessen zu müssen.
Der Haken: Sie sind schnell einsatzbereit, können aber etwas „generisch“ sein. Wenn die Aufgabe ein sehr spezifisches, hochpräzises Detail erfordert, das nicht in ihrer Trainingsbibliothek enthalten war, sind sie vielleicht nicht so perfekt wie der Meisterhandwerker. Außerdem benötigen sie einen leistungsstarken Computer (eine GPU), um schnell zu denken, andernfalls sind sie langsamer als der Handwerker.

Das Rennen: Was ist passiert?

Die Forscher haben diese beiden in verschiedenen Szenarien gegeneinander antreten lassen, wobei sie die Menge der Daten, das Rauschen (Fehler) in den Daten und die Komplexität des Problems veränderten.

Szenario A: Die „Small Data“- oder „Rausch“-Situation

Das Ergebnis: Der Meisterhandwerker (GP) gewinnt meistens.
Warum: Wenn Sie nur wenige Hinweise haben (kleine Datenmenge) oder die Hinweise unordentlich sind (verrauscht), hilft die Fähigkeit des Handwerkers, sehr spezifisch mit seinen Werkzeugen umzugehen, ihm dabei, eine bessere Vermutung abzugeben. Der Praktikant (TabPFN) ist gut, aber ohne genügend Daten, um „den Raum zu lesen“, rät er manchmal etwas zu breit oder verfehlt das Ziel.
Analogie: Wenn Sie einen meisterhaften Schreiner bitten, einen Stuhl aus einer einzigen Skizze zu bauen, kann er seine Erfahrung nutzen, um die Lücken perfekt zu füllen. Wenn Sie den Praktikanten fragen, könnte er den falschen Stil wählen, weil er noch nicht genug Beispiele für diese spezifische Art von Stuhl gesehen hat.

Szenario B: Die „Big Data“- oder „Komplexitäts“-Situation

Das Ergebnis: Der Praktikant (TabPFN) holt auf und gewinnt manchmal, besonders bei hochdimensionalen Problemen (viele Variablen).
Warum: Wenn Sie ihnen eine massive Menge an Daten geben, glänzt die Fähigkeit des Praktikanten, alles auf einmal zu verarbeiten. Der Meisterhandwerker beginnt sich zu verzetteln; die Berechnung des perfekten Bauplans für einen riesigen Datensatz nimmt viel Zeit in Anspruch.
Analogie: Wenn Sie ein Lagerhaus voller Baupläne haben und 1.000 Stühle bauen müssen, kann der Praktikant einfach sofort mit dem Bau beginnen. Der Handwerker sitzt noch immer da und versucht, den perfekten Winkel für den ersten Stuhl zu berechnen.

Szenario C: Die Überraschung mit dem „perfekten Werkzeug“

Das Ergebnis: Das Paper fand eine Wendung. Wenn der Meisterhandwerker zufällig das perfekte Werkzeug (eine spezifische mathematische Formel namens Kernel) für die Aufgabe wählt, kann er den Praktikanten selbst bei großen Datenmengen schlagen.
Der Haken: Die Forscher ließen den Handwerker nicht seine eigenen Werkzeuge wählen; sie zwangen ihn, ein „Standardwerkzeug“ zu verwenden. Selbst mit nur diesem Standardwerkzeug war der Handwerker oft besser bei Aufgaben mit geringem Rauschen und hoher Präzision. Aber wenn die Forscher ihm erlaubt hätten, seine Werkzeuge abzustimmen (was Zeit kostet), wäre er noch besser gewesen. Der Praktikant hingegen konnte nicht weiter „optimiert“ werden; er war bereits an seinem Limit.

Das Urteil über die „Unsicherheit“ (Wie sicher sind sie sich?)

Beide Methoden sind gut darin zu sagen: „Ich bin zu 95 % sicher, dass die Antwort zwischen X und Y liegt.“

Der Handwerker (GP): Seine Unsicherheit ist sehr klar. Er kann Ihnen sagen, warum er unsicher ist (z. B. „Ich bin unsicher, weil die Daten verrauscht sind“ im Gegensatz zu „Ich bin unsicher, weil ich diese Art von Holz noch nicht gesehen habe“).
Der Praktikant (TabPFN): Er gibt ebenfalls einen Bereich an, aber es ist ein „Black Box“-Verfahren. Er gibt einfach einen Bereich aus, der auf dem Bauchgefühl seines neuronalen Netzwerks basiert. Es ist oft genau, aber man kann die Mathematik dahinter nicht leicht nachvollziehen, warum er genau diesen Bereich gewählt hat.

Das Faziel

Wählen Sie den Meisterhandwerker (GP), wenn Sie einen spezifischen, hochpräzisen Job haben, nicht viel Daten besitzen und bereit sind, Zeit in die Abstimmung seiner Werkzeuge zu investieren, um das bestmögliche Ergebnis zu erzielen. Er ist auch besser, wenn Sie verstehen müssen, warum man unsicher ist.
Wählen Sie den supervorbereiteten Praktikanten (TabPFN), wenn Sie viele Daten haben, eine schnelle Antwort benötigen, keine Zeit mit der Abstimmung von Einstellungen verbringen wollen oder es mit sehr komplexen Problemen mit vielen Variablen zu tun haben. Er ist eine „Plug-and-Play“-Lösung, die sehr schwer zu schlagen ist, ohne zusätzliche Zeit in den Handwerker zu investieren.

Das Paper kommt zu dem Schluss, dass Foundation Models (wie TabPFN) zwar fantastisch sind, um Zeit zu sparen und große Datenmengen zu bewältigen, sie aber nicht den Bedarf an dem sorgfältigen, abgestimmten Ansatz traditioneller Methoden (wie GPs) ersetzen, wenn man das höchste Maß an Genauigkeit und Zuverlässigkeit benötigt.

Technisches Resümee: Zur Fähigkeit der Quantifizierung von Unsicherheit bei tabellarischen Foundation-Modellen

Problemstellung

Surrogatmodellierung ist essenziell für die Ersetzung oder Ergänzung teurer Simulationen in der Mechanik und den Computerwissenschaften. Die Auswahl und das Training geeigneter probabilistischer Surrogate (z. B. Gauß-Prozesse oder neuronale Netze) bleibt jedoch eine Herausforderung, insbesondere wenn die Daten verrauscht, spärlich oder hochdimensional sind. Während „traditionelle“ Methoden wie Gauß-Prozesse (GPs) auf explizite Trainings- und Sampling-Phasen angewiesen sind, um eine Quantifizierung der Unsicherheit (Uncertainty Quantification, UQ) bereitzustellen, haben sich Foundation Models (FMs) als Alternativen etabliert, die in der Lage sind, Aufgaben mit minimaler Feinabstimmung zu transferieren. Speziell versprechen Tabular Prior-Data Fitted Networks (TabPFN), die Bayes'sche posteriore prädiktive Verteilung ohne per-Aufgabe-spezifisches Retraining zu approximieren. Das zentrale Problem, das in dieser Arbeit adressiert wird, ist, ob TabPFN Unsicherheitsschätzungen liefert, die so zuverlässig sind wie klassische Methoden wie GPs, und wie sich die Trade-offs zwischen expliziten Priors (GPs) und gelernten Priors (TabPFN) über variierende Datenregime hinweg manifestieren.

Methodik

Die Autoren führten eine umfassende empirische Studie durch, in der TabPFN v2.5 mit Gauß-Prozessen (GPs) über eine Vielzahl von Regressionsproblemen verglichen wurde.

Benchmarks: Die Studie nutzte sechs synthetische Benchmarks (Wing Weight, Ackley, Dixon-Price, Griewank, Rosenbrock und Buckling) mit Eingabedimensionalitäten ( $D_x$ ) im Bereich von 4 bis 40 sowie zwei reale Datensätze (Elevators und Pumadyn).
Experimentelles Design: Die Experimente variierten die Trainingsdatensatzgrößen ( $N = 10D_x$ und $N = 40D_x$ ) sowie die Rauschpegel (niedrig: $\epsilon \sim \mathcal{N}(0, (0.005 \times c)^2)$ und hoch: $\epsilon \sim \mathcal{N}(0, (0.05 \times c)^2)$ ). Nicht-Gaußsche Rauschverteilungen (Student-t-Verteilung) wurden ebenfalls getestet, um die Robustheit zu bewerten.
Implementierungsdetails:
- GPs: Um einen fairen Vergleich mit der „Out-of-the-box“-Natur von TabPFN zu gewährleisten, wurden die GPs unter Verwendung der Standardeinstellungen des GP+ Pakets [8] trainiert. Dies beinhaltete die Standard-Initialisierung, einen konstanten Mittelwert und einen Gauß-Kernel (wobei Power-Exponential-Kernel in spezifischen Sub-Analysen getestet wurden). Es wurde keine manuelle Feinabstimmung von Hyperparametern oder Kernels für den Primärvergleich durchgeführt.
- TabPFN: Das Modell wurde ohne Fine-Tuning auf einer GPU ausgeführt.
Metriken:
- Prädiktive Genauigkeit: Gemessen durch den Relativen Wurzel-Mittleren Quadratischen Fehler (RRMSE).
- UQ-Qualität: Gemessen durch den Relativen Mittleren Negativ orientierten Intervall-Score (NIS), der sowohl Intervallbreite als auch Abdeckungsfehler bestraft.
- Rechenaufwand: Wandzeit (Wall-clock time) für das Training (GP) und das End-to-End-Inference (TabPFN).

Zentrale Beiträge

Prinzipielle Standardeinstellungen für GPs: Die Autoren empfehlen und nutzen einen spezifischen Satz von Standardeinstellungen für den Aufbau von GPs (via GP+), um deren Leistung über diverse Anwendungen hinweg ohne manuelles Tuning zu maximieren.
Open-Source-Benchmarking: Die Studie bietet einen Open-Source-Vergleich (GP+ vs. TabPFN v2.5) unter Verwendung von drei kritischen Metriken: Punktprognosegenauigkeit (RRMSE), Qualität der prädiktiven Verteilung (NIS) und Rechenkosten.
Praktische Leitlinien: Die Arbeit liefert empirische Evidenz zur Auswahl von Emulatoren und hebt die spezifischen Regime hervor, in denen TabPFN exzelliert gegenüber den Regimen, in denen traditionelle GPs überlegen bleiben.

Ergebnisse und Analyse

Genauigkeit und Quantifizierung der Unsicherheit

Die Studie ergab, dass keine der beiden Methoden konsistent die andere übertrifft; die Performance hängt stark von der Datenverfügbarkeit, der Dimensionalität und der Eignung des Priors ab.

Datenarme Regime ( $N = 10D_x$ ): GPs lieferten oft eine überlegene prädiktive Genauigkeit und UQ, insbesondere wenn der gewählte Kernel (z. B. Gauß) einen guten Prior für die zugrunde liegende Funktion darstellte. In Szenarien mit geringem Rauschen verfolgten GPs zuverlässig den Rauschboden, während TabPFN Residuenfehler beibehielt.
Datenreiche Regime ( $N = 40D_x$ ): TabPFN erreichte eine hochgradig wettbewerbsfähige Leistung, insbesondere bei komplexen, hochdimensionalen Problemen. In spezifischen Benchmarks wie Griewank übertrafen GPs TabPFN jedoch auch bei erhöhtem Datenvolumen weiterhin, was darauf hindeutet, dass TabPFN wesentlich mehr Daten benötigt, um in bestimmten strukturellen Regimen konkurrenzfähig zu werden.
Kernel-Sensitivität: Ein entscheidender Befund war, dass die GP-Leistung sensitiv gegenüber der Kernel-Wahl ist. In Benchmarks wie Dixon-Price und Rosenbrock verbesserte der Wechsel des GP-Kernels von Gauß zu Power Exponential (PE) die Leistung signifikant und übertraf oft TabPFN. Dies unterstreicht, dass „Vanilla“-GPs mit festen Standardeinstellungen unterperformen können, wenn der Prior falsch spezifiziert ist, während der gelernte Prior von TabPFN robust gegenüber solchen Fehlspezifikationen ist, aber möglicherweise nicht die Präzision eines gut abgestimmten GPs erreicht.
Unsicherheits-Kalibrierung: TabPFN produzierte gut kalibrierte Intervalle (enge NIS-Verteilungen), selbst wenn seine Mittelwertprognosen (RRMSE) schlecht oder über verschiedene Durchläufe hinweg variabel waren. Im Gegensatz dazu zeigten GPs eine hohe Variabilität im RRMSE im Buckling-Beispiel, verbesserten sich jedoch dramatisch mit zunehmender Datenmenge.

Rechenaufwand

GPs: Die Trainingskosten skalieren als $O(N^3)$ aufgrund der Kovarianzmatrix-Invertierung. Bei hochdimensionalen Fällen mit großen Datenmengen (z. B. Griewank mit $N=40D_x$ ) wurden die GP-Trainingszeiten prohibitiv (Hunderte von Sekunden), während die Vorhersage schnell war.
TabPFN: Die Inference-Kosten skalieren als $O(N_c(N_c + N_q))$ . Während TabPFN auf GPUs recheneffizient ist (ca. 1–5 Sekunden für die End-to-End-Inference), ist es auf CPUs signifikant langsamer. Die Studie stellt fest, dass TabPFN die pro-Datensatz erforderliche Hyperparameter-Optimierung vermeidet, was es attraktiv für Szenarien mit häufigen Datensatz-Updates, aber wenigen Vorhersagen pro Update macht.

Reale Datensätze

Auf den Datensätzen Elevators und Pumadyn zeigten sich dieselben Trends wie bei den synthetischen Daten: TabPFN übertraf GP+ bei Elevators, während GP+ TabPFN bei Pumadyn übertraf. In beiden Fällen blieben die Leistungsunterschiede mit zunehmender Datensatzgröße relativ stabil, was darauf hindeutet, dass das bloße Hinzufügen von Daten die zugrunde liegende Modell-Mismatch-Problematik für beide Methoden in diesen spezifischen realen Problemen nicht löste.

Bedeutung und Behauptungen

Das Paper behauptet, dass TabPFN eine kosteneffiziente Methode zur Gewinnung genauer Punktwerte ist und eine rechentechnisch günstige Alternative zu traditionellen Emulatoren bietet, insbesondere in hochdimensionalen und datenreichen Regimen, in denen es die Notwendigkeit manueller Vorverarbeitung und Modellabstimmung eliminiert.

Die Autoren kommen jedoch zu dem bescheideneren Schluss, dass die Fähigkeit von TabPFN nicht mit der von GPs mithilfe eines guten Kernels konkurrieren kann. Die Studie hebt einen fundamentalen Trade-off hervor:

GPs glänzen in datenarmen Settings und wenn der Anwender Zeit in die Auswahl geeigneter Kernel und Mittelwertfunktionen (Feinabstimmung) investieren kann. Sie bieten eine explizite Interpretierbarkeit der Unsicherheit (aleatorisch vs. epistemisch).
TabPFN glänzt in „Out-of-the-box“-Szenarien, in denen ein schneller Einsatz erforderlich ist oder wenn die zugrunde liegende Funktionsklasse unbekannt und schwer mit einem festen Kernel zu modellieren ist.

Die Autoren betonen, dass TabPFN zwar ein leistungsstarkes Foundation Model ist, es jedoch die traditionellen Methoden nicht obsolet macht. Stattdessen sollten Praktiker GP-Standardeinstellungen als starken Baseline betrachten und geringfügige Anpassungen (Kernel-/Mittelwertwahl) vornehmen, bevor sie zu schwerfälligerer Abstimmung oder zum Wechsel auf Foundation Models greifen. Die Studie schließt jüngste Fortschritte in skalierbaren GPs und komplexen Kernel-Konstruktionen explizit aus, um einen klaren Vergleich mit „Vanilla“-Implementierungen zu bieten, um die aufkommende Klasse tabellarischer Foundation-Modelle einzuordnen.