High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models

Technische Samenvatting: Hoge Prestaties, Lage Betrouwbaarheid: Benchmarking van Onzekerheid voor Fundamentele Modellen voor Tabulaire Data

Probleemstelling
Recente fundamentele modellen voor tabulaire data (TFM's), zoals TabPFN en TabICL, hebben state-of-the-art voorspellende prestaties aangetoond op kleine en middelgrote tabulaire datasets, waarbij ze vaak traditionele Gradient-Boosted Decision Trees (GBDT's) overtreffen. De betrouwbaarheid van deze modellen, specifiek met betrekking tot hun kwantificering van onzekerheid, blijft echter grotendeels onontgonnen. Hoewel voorspellende nauwkeurigheid (AUC) de primaire maatstaf is voor huidige benchmarks, is de betrouwbaarheid van modelvertrouwen cruciaal voor veiligheidskritieke toepassingen in financiën en gezondheidszorg. Bestaande literatuur richt zich bijna uitsluitend op nauwkeurigheid, waardoor er een gat bestaat in het begrijpen of TFM's goed gekalibreerde onzekerheidsschattingen bieden of dat ze oververtrouwd zijn, vooral onder ruis-rijke of complexe omstandigheden.

Methodologie
De auteurs stellen een uitgebreid evaluatieprotocol voor dat verder gaat dan standaard nauwkeurigheidsmetrieken door kwantificering van onzekerheid via Conformal Prediction (CP) op te nemen. De studie evalueert vier modelfamilies over 112 kleine en middelgrote tabulaire datasets uit de TALENT-benchmark, aangevuld met 20 synthetische datasets ontworpen om regimes met hoge ruis en lage scheidbaarheid te isoleren.

• Geëvalueerde Modellen:
  • TFM's: TabPFN, TabICL, PFN-v2 en Mitra.
  • GBDT's: XGBoost, LightGBM en CatBoost.
  • Basislijnen: Klassieke methoden (k-NN, Logistische Regressie) en Deep Learning (MLP, TabM).
• Conformal Prediction Framework:
  • De studie maakt gebruik van de Least Ambiguous Class (LAC)-score, $s(x, y) = 1 - \hat{p}(y|x)$, om puntvoorspellingen om te zetten in voorspellingssets.
  • Een kalibratieset (disjunct van de trainingsdata) wordt gebruikt om nonconformiteitscores te berekenen en een quantiel-drempelwaarde $q_\alpha$ te bepalen voor een doeldekking van $1-\alpha = 0.90$.
  • Dit garandeert distributie-vrije garanties dat de ware label binnen de voorspellingsset ligt met een kans van $\geq 1-\alpha$.
• Evaluatiemetrieken:
  • AUC: Standaard voorspellende prestatie.
  • Coverage Rate (CR): Het aandeel testsamples waarbij de ware label in de voorspellingsset zit.
  • Average Set Size (SS): Meet de informativiteit van de voorspellingssets (kleinere sets impliceren hogere vertrouwen).
  • Size-Stratified Coverage Score (SSCS): Een kritieke metriek geïntroduceerd om conditionele dekking te beoordelen. Het meet de empirische dekking over groepen samples met vergelijkbare setgroottes. Een lage SSCS geeft aan dat het model oververtrouwd is (kleine sets producerend) wanneer het eigenlijk fout ligt, een falen van kalibratie dat marginale dekking zou kunnen missen.

Belangrijkste Resultaten
De empirische resultaten, gemiddeld over 15 zaden, onthullen een duidelijk trade-off tussen prestaties en onzekerheid:

1. Voorspellende Prestaties versus Betrouwbaarheid: TFM's behalen de hoogste AUC-scores (bijvoorbeeld TabICL op 0,890, PFN-v2 op 0,889) in vergelijking met GBDT's (bijvoorbeeld LightGBM op 0,864). Echter, TFM's vertonen aanzienlijk lagere SSCS-scores (variërend van 0,494 tot 0,517) in vergelijking met GBDT's (variërend van 0,532 tot 0,544).
2. De Trade-off: Er is een omgekeerd trend tussen nauwkeurigheid en de kwaliteit van onzekerheid. Hoewel TFM's nauwkeuriger zijn, weerspiegelt hun vertrouwen niet trouw de voorspellende onzekerheid. Ze neigen naar het produceren van "oververtrouwde fouten"—smalle voorspellingssets die de ware label niet bevatten.
3. Vondsten bij Synthetische Data: Op synthetische datasets met hoge ruis en zwakke classescheiding wordt de kloof groter. TFM's produceren voorspellingen met hoge variantie en oververtrouwen, terwijl boomgebaseerde modellen (GBDT's) robuust blijven en een hogere conditionele dekking behouden (SSCS van 0,840 voor GBDT's versus 0,614 voor TFM's in synthetische tests).
4. Gedrag van Basislijnen: Klassieke Logistische Regressie toonde goede marginale kalibratie maar had moeite met conditionele dekking in de buurt van niet-lineaire grenzen. Deep learning-basislijnen (MLP, TabM) presteerden over het algemeen slechter dan TFM's op zowel nauwkeurigheid als kalibratie.

Betekenis en Claims
Het artikel concludeert dat TFM's, hoewel ze de grens van voorspellende nauwkeurigheid verleggen, momenteel lijden aan een groot betrouwbaarheidstekort met betrekking tot kwantificering van onzekerheid. De auteurs beweren dat:

• TFM's nog niet klaar zijn voor inzet met hoge risico's waar gekalibreerde onzekerheid vereist is, omdat ze systematisch lagere size-stratified coverage scores opleveren dan traditionele modellen.
• GBDT's de meest betrouwbare keuze blijven voor kleine tot middelgrote datasets, vooral die met hoge ruis, heterogeniteit of complexe verdelingen van kenmerken, en bieden betere kalibratie en robuustheid ondanks een iets lagere AUC.
• Toekomstig Werk: De auteurs identificeren dat het bereiken van goed gekalibreerde onzekerheid een grote open uitdaging is. Zij suggereren dat toekomstig onderzoek zich moet richten op distributieveranderingen, modelspecifieke onzekerheidsmechanismen (bijvoorbeeld ensemble-methoden, Bayesiaanse heads) en alternatieve pretraining-verdelingen om oververtrouwen te verminderen.

De studie biedt de eerste systematische beoordeling van TFM-onzekerheid en toont aan dat hoge prestaties niet vanzelfsprekend hoge betrouwbaarheid garanderen in het leren van tabulaire data.