Benchmarking Tabular Foundation Models for Conditional Density Estimation in Regression

Titel: Benchmarking van Tabulaire Foundation Models voor Conditionele Dichtheidschatting in Regressie

Auteurs: Rafael Izbicki en Pedro L. C. Rodrigues

1. Het Probleem

Conditionele dichtheidschatting (Conditional Density Estimation, CDE) is het proces waarbij de volledige verdeling van een responsvariabele ($Y$) wordt gereconstrueerd gegeven een set van covariaten ($X$), in plaats van alleen het conditionele gemiddelde of een enkel puntvoorspelling. Dit is cruciaal in scenario's met heteroscedasticiteit (variabele variantie), multimodaliteit (meerdere pieken in de verdeling) of asymmetrische onzekerheid.

Hoewel recente "tabulaire foundation models" (zoals TabPFN en TabICL) uitstekende resultaten boeken voor puntvoorspellingen en van nature voorspellende distributies genereren, is hun effectiviteit als algemene methode voor CDE nog niet systematisch geëvalueerd. Bestaande benchmarks focussen voornamelijk op puntvoorspelling (bijv. RMSE, $R^2$), terwijl de kwaliteit van de volledige voorspelde dichtheid (nauwkeurigheid, kalibratie en betrouwbaarheid) onderbelicht blijft.

2. Methodologie

De auteurs hebben een uitgebreide empirische benchmark opgezet om tabulaire foundation models te vergelijken met een divers scala aan gespecialiseerde CDE-methoden.

• Geëvalueerde Modellen:

  • Foundation Models: TabPFN-2.5, RealTabPFN-2.5 en TabICL-Quantiles. Deze worden gebruikt als "pre-trained in-context learners" zonder taakspecifieke fine-tuning (geen gradient updates tijdens het testen).
  • Baselines: Een verzameling van 15+ methoden verdeeld over vijf families:
    • Parametrisch: Lineaire Gaussische modellen, Student-t, Log-Normaal, Gamma-GLM (met en zonder heteroscedasticiteit).
    • Kwantiel-gebaseerd: Quantile-Tree (XGBoost op 49 kwantilen).
    • Regressie-gebaseerd: FlexCode-RF (cosinus-basis expansie geschat met Random Forests).
    • Boom-gebaseerd probabilistisch: BART (Bayesian Additive Regression Trees).
    • Neuraal: Mixture Density Networks (MDN), Flow-Spline (Normalizing Flows) en CatMLP (discretisatie + MLP).

• Experimenteel Ontwerp:

  • Datasets: 39 real-world regressiedatasets van OpenML en SDSS DR18 (Sloan Digital Sky Survey), variërend van 50 tot 20.000 steekproeven en 5 tot 563 covariaten.
  • Metrieken: Zes complementaire metrieken werden gebruikt:
    1. CDE-verlies (een proper scoring rule voor dichtheid).
    2. Log-likelihood.
    3. CRPS (Continuous Ranked Probability Score).
    4. Kalibratie via PIT (Probability Integral Transform) KS-statistiek.
    5. 90% dekking van voorspellende intervallen.
    6. Reken tijd (wall-clock time).
  • Verwerking: Foundation models die discrete "bar distributions" of kwantilen outputten, werden post-hoc omgezet naar continue dichtheidsfuncties via interpolatie en numerieke differentiatie.

• Case Study: Een schalingsexperiment op het SDSS-dataset (fotometrische roodverschuiving) met tot 500.000 sterrenstelsels om de prestaties bij grote datasets te testen.

3. Belangrijkste Bijdragen

1. Eerste Brede Benchmark voor CDE: Dit is de eerste studie die tabulaire foundation models expliciet evalueert als conditionele dichtheidschatters, in plaats van alleen als puntvoorspellers.
2. Grootschalig Experiment: De benchmark omvat 39 datasets, verschillende steekproefgroottes (50 tot 20.000) en een brede reeks van zowel parametrische als niet-parametrische baselines.
3. Multifaceted Evaluatie: De studie combineert nauwkeurigheidsmetrieken met kalibratie en rekentijd, en identificeert specifieke faalmodi (bijv. bij discrete responsvariabelen).
4. Schalingsanalyse: Een case study toont aan dat foundation models aanzienlijk minder data nodig hebben om betere prestaties te leveren dan traditionele methoden die op volledige datasets worden getraind.

4. Resultaten

• Algemene Dominantie: Foundation models (vooral TabPFN-varianten) behalen consistent de beste rangschikkingen op CDE-verlies, log-likelihood en CRPS op het merendeel van de datasets, ongeacht de steekproefgrootte.
  • Bij $n=50$: Foundation models winnen op 82% van de datasets.
  • Bij $n=1.000$: Winst op 92% van de datasets.
  • Bij $n=20.000$: Winst op 75% van de datasets (waarbij de kloof met niet-foundation methoden iets kleiner wordt, maar foundation models nog steeds leiden).
• Kalibratie: Foundation models presteren uitstekend bij kleine steekproefgroottes. Bij grotere steekproeven ($n \ge 5.000$) worden ze echter soms ingehaald door gespecialiseerde neurale baselines (zoals MDN) op het gebied van kalibratie, wat suggereert dat post-hoc recalibratie nuttig kan zijn.
• Sample Efficiency (SDSS Case Study): In het SDSS-experiment overtrof TabPFN-2.5, getraind op slechts 50.000 sterrenstelsels, alle baselines (inclusief Flow-Spline en FlexZBoost) die waren getraind op het volledige dataset van 500.000 sterrenstelsels. Dit toont een 10-voudig voordeel in data-efficiëntie.
• Beperkingen:
  • Geheugen: Bij zeer hoge dimensies en grote steekproefgroottes (bijv. CTSlices dataset, $d=384, n=20.000$) liepen TabPFN-varianten vast door out-of-memory errors.
  • Discrete Respons: Bij responsvariabelen met een discrete of quasi-discrete structuur (bijv. "Digits" of "BlackFriday") presteerden gespecialiseerde modellen (zoals CatMLP of parametrische modellen) beter, vooral bij kleine steekproeven.
  • Omrekening: De conversie van kwantilen (TabICL) naar dichtheid introduceerde ruis die de prestaties op dichtheids-specifieke metrieken (CDE loss, log-likelihood) lichtelijk beïnvloedde, hoewel CRPS (direct berekenbaar op kwantilen) uitstekend was.

5. Betekenis en Conclusie

De studie concludeert dat tabulaire foundation models sterke "out-of-the-box" oplossingen zijn voor conditionele dichtheidschatting. Ze bieden een uniek voordeel in sample efficiency: ze kunnen nauwkeurige onzekerheidskwantificatie leveren met aanzienlijk minder data dan traditionele methoden, wat cruciaal is in domeinen waar gelabelde data duur of schaars is (zoals astrofysica of medische beeldvorming).

Hoewel ze niet perfect zijn in elke situatie (bijv. bij extreme kalibratie-eisen bij grote datasets of specifieke discrete structuren), bieden ze een robuust alternatief dat de evaluatie van tabulaire learning verschuift van puur puntvoorspelling naar een volledige beoordeling van de kwaliteit van de voorspelde distributie. De auteurs bevelen aan om foundation models als eerste keuze te overwegen voor CDE-taken, eventueel aangevuld met post-hoc recalibratie.