Technische Samenvatting: Over de capaciteit voor onzekerheidskwantificatie van Tabulaire Foundation Modellen

Probleemstelling

Surrogaatmodellering is essentieel voor het vervangen of aanvullen van kostbare simulaties in de mechanica en computationele wetenschappen. Het selecteren en trainen van geschikte probabilistische surrogaten (bijv. Gaussische Processen of Neurale Netwerken) blijft echter uitdagend, vooral wanneer data ruis bevat, schaars is of hoogdimensionaal is. Terwijl "traditionele" methoden zoals Gaussische Processen (GP's) vertrouwen op expliciete trainings- en bemonsteringsfasen om onzekerheidskwantificatie (UQ) te bieden, zijn Foundation Models (FM's) naar voren gekomen als alternatieven die in staat zijn om over taken heen te transfereren met minimale afstemming. Specifiek beloven Tabular Prior-Data Fitted Networks (TabPFN) de Bayesiaanse posterior predictieve distributies te benaderen zonder per taak herberekening. Het centrale probleem dat in dit werk wordt geadresseerd, is of TabPFN onzekerheidsschattingen levert die even betrouwbaar zijn als klassieke methoden zoals GP's, en hoe de trade-offs tussen expliciete priors (GP's) en geleerde priors (TabPFN) zich manifesteren over variërende dataregimes.

Methodologie

De auteurs voerden een uitgebreide empirische studie uit waarbij TabPFN v2.5 werd vergeleken met Gaussische Processen (GP's) over een diverse set regressieproblemen.

• Benchmarks: De studie maakte gebruik van zes synthetische benchmarks (Wing Weight, Ackley, Dixon-Price, Griewank, Rosenbrock en Buckling) met input-dimensionaliteiten ($D_x$) variërend van 4 tot 40, en twee real-world datasets (Elevators en Pumadyn).
• Experimenteel Ontwerp: Experimenten varieerden de omvang van de trainingsdatasets ($N = 10D_x$ en $N = 40D_x$) en ruisniveaus (laag: $\epsilon \sim \mathcal{N}(0, (0.005 \times c)^2)$ en hoog: $\epsilon \sim \mathcal{N}(0, (0.05 \times c)^2)$). Niet-Gaussische ruis (Student's t-distributie) werd ook getest om robuustheid te beoordelen.
• Implementatiedetails:
  • GP's: Om een eerlijke vergelijking te garanderen met de "out-of-the-box" aard van TabPFN, werden GP's getraind met de standaardinstellingen van de GP+ package [8]. Dit omvatte standaard initialisatie, een constante gemiddelde waarde en een Gaussische kernel (waarbij Power Exponential kernels werden getest in specifieke sub-analyses). Er werd geen handmatige fijnafstemming van hyperparameters of kernels uitgevoerd voor de primaire vergelijking.
  • TabPFN: Het model werd zonder fine-tuning gedraaid op een GPU.
• Metrieken:
  • Voorspellende Nauwkeurigheid: Gemeten door de Relatieve Root Mean Squared Error (RRMSE).
  • UQ Kwaliteit: Gemeten door de Relatieve Mean Negatively Oriented Interval Score (NIS), die zowel intervalbreedte als dekingsfouten bestraft.
  • Computationele Kosten: Wandkloktijd voor training (GP) en end-to-end inferentie (TabPFN).

Belangrijkste Bijdragen

1. Geprincipeerde Defaults voor GP's: De auteurs bevelen een specifieke set standaardinstellingen aan en maken gebruik van deze voor het bouwen van GP's (via GP+) om hun prestaties over diverse toepassingen te maximaliseren zonder handmatige afstemming.
2. Open-Source Benchmarking: De studie biedt een open-source vergelijking (GP+ vs. TabPFN v2.5) met drie kritische metrieken: puntvoorspellingsnauwkeurigheid (RRMSE), voorspellende distributiekwaliteit (NIS) en computationele kosten.
3. Praktische Richtlijnen: Het werk biedt empirisch bewijs om de selectie van emulatoren te sturen, waarbij de specifieke regimes worden belicht waarin TabPFN uitblinkt versus waar traditionele GP's superieur blijven.

Resultaten en Analyse

Nauwkeurigheid en Onzekerheidskwantificatie

De studie vond dat geen van beide methoden consistent de andere overtreft; prestaties zijn sterk afhankelijk van de beschikbaarheid van data, dimensionaliteit en de geschiktheid van de prior.

• Data-arme Regimes ($N = 10D_x$): GP's boden vaak een superieure voorspellende nauwkeurigheid en UQ, vooral wanneer de gekozen kernel (bijv. Gaussisch) een goede prior vormde voor de onderliggende functie. In scenario's met lage ruis volgden GP's betrouwbaar de ruisvloer, terwijl TabPFN residuele fouten behield.
• Data-rijke Regimes ($N = 40D_x$): TabPFN bereikte zeer competitieve prestaties, met name in complexe, hoogdimensionale problemen. Echter, in specifieke benchmarks zoals Griewank bleven GP's zelfs met meer data de TabPFN overtreffen, wat suggereert dat TabPFN aanzienlijk meer data nodig heeft om competitief te worden in bepaalde structurele regimes.
• Kernel Sensitiviteit: Een cruciale bevinding was dat de prestaties van GP's gevoelig zijn voor de keuze van de kernel. In benchmarks zoals Dixon-Price en Rosenbrock verbeterde het wisselen van de GP-kernel van Gaussisch naar Power Exponential (PE) de prestaties aanzienlijk, waarbij het vaak TabPFN overtrof. Dit onderstreept dat "vanilla" GP's met vaste defaults ondermaats kunnen presteren als de prior verkeerd gespecificeerd is, terwijl de geleerde prior van TabPFN robuust is tegen dergelijke mis-specificaties maar mogelijk de precisie mist van een goed afgestelde GP.
• Onzekerheid Calibratie: TabPFN produceerde goed gekalibreerde intervallen (strakke NIS-distributies), zelfs wanneer de gemiddelde voorspellingen (RRMSE) slecht of variabel waren tussen verschillende runs. Omgekeerd vertoonden GP's een hoge variabiliteit in RRMSE in het Buckling-voorbeeld, maar verbeterden ze drastisch met meer data.

Computationele Kosten

• GP's: Trainingskosten schalen als $O(N^3)$ vanwege de inversie van de covariantie-matrix. Voor hoogdimensionale gevallen met grote hoeveelheden data (bijv. Griewank met $N=40D_x$) werden de GP-trainingstijden prohibitief (honderden seconden), terwijl de voorspelling snel was.
• TabPFN: Inferentiekosten schalen als $O(N_c(N_c + N_q))$. Hoewel TabPFN computationeel efficiënt is op GPU's (ongeveer 1–5 seconden voor end-to-end inferentie), is het aanzienlijk trager op CPU's. De studie merkt op dat TabPFN de per-dataset vereiste hyperparameteroptimalisatie vermijdt die bij GP's nodig is, wat het aantrekkelijk maakt voor scenario's met frequente dataset-updates maar weinig voorspellingen per update.

Real-World Datasets

Op de Elevators en Pumadyn datasets bleven de trends waargenomen in de synthetische data van kracht: TabPFN presteerde beter dan GP+ op Elevators, terwijl GP+ beter presteerde dan TabPFN op Pumadyn. In beide gevallen bleven de prestatiekloof relatief stabiel naarmate de dataset groter werd, wat suggereert dat voor deze specifieke real-world problemen het simpelweg toevoegen van data de onderliggende model mismatch voor beide methoden niet oploste.

Betekenis en Claims

Het artikel claimt dat TabPFN een kosteneffectieve methode is voor het verkrijgen van nauwkeurige punt-schattingen en een computationeel goedkoper alternatief biedt voor traditionele emulatoren, met name in hoogdimensionale en grote-data regimes waar het de noodzaak voor handmatige preprocessing en modelafstemming wegneemt.

De auteurs concluderen echter bescheiden dat het vermogen van TabPFN niet kan wedijveren met GP's als deze zijn uitgerust met een goede kernel. De studie benadrukt een fundamentele trade-off:

• GP's blinken uit in data-arme settings en wanneer de gebruiker tijd kan investeren in het selecteren van passende kernels en gemiddelde functies (fijnmazige afstemming). Ze bieden een expliciete interpreteerbaarheid van onzekerheid (aleatorisch vs. epistemisch).
• TabPFN blinkt uit in "out-of-the-box" scenario's waar snelle implementatie nodig is, of wanneer de onderliggende functieklasse onbekend is en moeilijk te modelleren is met een vaste kernel.

De auteurs benadrukken dat hoewel TabPFN een krachtig foundation model is, het de traditionele methoden niet overbodig maakt. In plaats daarvan zouden beoefenaars GP-defaults als een sterke baseline moeten beschouwen, waarbij kleine aanpassingen (kernel/gemiddelde selectie) worden toegepast wanneer de prestaties verzadigen, alvorens over te gaan op zwaardere afstemming of het overstappen op foundation modellen. De studie sluit expliciet recente ontwikkelingen in schaalbare GP's en complexe kernel-constructies uit, om zich te concentreren op "vanilla" implementaties om een heldere baseline te bieden voor de opkomende klasse van tabulaire foundation modellen.