📊 statistics

Benchmarking Tabular Foundation Models for Conditional Density Estimation in Regression

Questo studio dimostra che i modelli fondazionali tabulari, come TabPFN, si distinguono come potenti strumenti "off-the-shelf" per la stima della densità condizionale, superando la maggior parte delle basi di riferimento tradizionali in termini di accuratezza e log-verosimiglianza su un ampio set di dataset reali.

Autori originali: Rafael Izbicki, Pedro L. C. Rodrigues

Pubblicato 2026-03-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Rafael Izbicki, Pedro L. C. Rodrigues

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🌧️ Il Meteo non è solo "Sole o Pioggia"

Immagina di dover prevedere il meteo per domani.
La maggior parte dei modelli di intelligenza artificiale attuali ti dice solo: "Domani pioverà" (questa è una previsione puntuale). È utile, ma non ti dice quanto pioverà, se sarà un acquazzone o una pioggerellina, o se pioverà solo a nord della città.

Il Conditional Density Estimation (CDE) è come avere un meteorologo super-potente che ti dice: "Domani c'è il 70% di probabilità di pioggia leggera, il 20% di acquazzone e il 10% di sole, e ecco esattamente come cambiano queste probabilità a seconda che tu sia al mare o in montagna".

Questo paper si chiede: le nuove "super-intelligenze" (chiamate Tabular Foundation Models) sono brave a fare questo lavoro complesso?

🧪 La Grande Gara: I "Giovani Geni" contro i "Maestri Esperti"

Gli autori hanno organizzato una gara su 39 terreni di gioco diversi (dataset reali, dal prezzo delle case alla previsione della posizione delle galassie).

Hanno messo a confronto due squadre:

I "Giovani Geni" (Tabular Foundation Models): Sono modelli come TabPFN e TabICL. Immaginali come studenti prodigio che hanno studiato milioni di libri di matematica prima di entrare in classe. Quando arrivano a un nuovo problema, non hanno bisogno di studiare da capo (non fanno "fine-tuning"); usano quello che hanno già imparato per dare una risposta immediata.
I "Maestri Esperti" (I Baseline): Sono i metodi classici creati apposta per questo compito specifico. Sono come vecchi professori che hanno passato decenni a studiare solo quel singolo tipo di problema.

🏆 I Risultati della Gara

Ecco cosa è successo, spiegato con metafore:

Quando i dati sono pochi (es. 50 esempi):
È come avere solo 50 pagine di un libro da leggere per capire la trama. I "Giovani Geni" vincono a mani basse! Grazie alla loro esperienza pregressa, riescono a capire la storia (la distribuzione della probabilità) molto meglio dei maestri esperti, che hanno bisogno di più pagine per capire qualcosa.
- Analogia: Se ti chiedo di indovinare il finale di un film dopo aver visto solo 2 minuti, uno che ha visto migliaia di film (TabPFN) lo indovinerà meglio di uno che ha studiato solo la teoria del cinema ma non ha mai visto quel genere.
Quando i dati sono tanti (es. 20.000 esempi):
Qui i "Maestri Esperti" iniziano a recuperare terreno. Tuttavia, i "Giovani Geni" rimangono comunque molto forti, spesso vincendo ancora la maggior parte delle gare.
- Il difetto: I "Giovani Geni" a volte sono un po' meno precisi nel dire "quante volte" qualcosa accadrà esattamente (calibrazione) quando hanno tantissimi dati, ma sono comunque molto bravi a descrivere la forma della probabilità.
La prova del nove (Le Galassie):
Gli autori hanno fatto una prova speciale con le galassie (500.000 dati!). Hanno dato ai "Giovani Geni" solo 50.000 galassie (il 10% dei dati) e ai "Maestri Esperti" tutte le 500.000.
Risultato: I "Giovani Geni" hanno vinto! Hanno fatto un lavoro migliore usando solo un decimo dei dati. È come se un cuoco avesse vinto una gara di cucina usando solo 10 ingredienti invece di 100, perché sapeva esattamente come combinarli grazie alla sua esperienza passata.

⚠️ I Limiti (Nessuno è perfetto)

Come ogni super-eroe, anche questi modelli hanno dei limiti:

Memoria: Se il problema è troppo grande e complesso (troppe variabili), i "Giovani Geni" possono andare in tilt (errore di memoria), proprio come un computer che si blocca se apri troppe finestre.
Casi particolari: Se il problema ha una struttura molto strana (es. risposte che possono essere solo numeri interi o categorie fisse), i metodi specializzati fatti a mano possono ancora batterli.

💡 La Conclusione in Pillole

Questo paper ci dice che le nuove Tabular Foundation Models sono diventate degli strumenti "pronti all'uso" incredibilmente potenti.
Non devi più costruire un modello da zero per ogni nuovo problema. Puoi prendere questi modelli "pre-addestrati", dar loro i tuoi dati (anche pochi) e ottenere una stima completa delle probabilità che è spesso migliore di quella dei metodi tradizionali.

In sintesi: Se vuoi sapere non solo cosa succederà, ma come potrebbe succedere (con tutte le sue incertezze e sfumature), queste nuove intelligenze artificiali sono attualmente le migliori "palle di cristallo" che abbiamo a disposizione.

1. Il Problema: Stima della Densità Condizionata (CDE)

La stima della densità condizionata (Conditional Density Estimation - CDE) mira a recuperare l'intera distribuzione di una variabile di risposta $Y$ date le covariate tabulari $X$ , andando oltre la semplice previsione del valore medio (regressione puntuale).

Contesto: È fondamentale in scenari caratterizzati da eteroschedasticità (varianza non costante), multimodalità (distribuzioni con più picchi) o incertezza asimmetrica.
Applicazioni: Stima del redshift fotometrico in astrofisica, analisi del rischio, inferenza basata su simulazioni e modellazione della risposta ai trattamenti.
Gap nella ricerca: Sebbene i recenti "Tabular Foundation Models" (come TabPFN e TabICL) abbiano dimostrato eccellenti prestazioni nella previsione puntuale e producano naturalmente distribuzioni predittive, la loro efficacia come metodi generali per la CDE non è stata valutata sistematicamente rispetto a metodi costruiti appositamente per questo scopo.

2. Metodologia e Sperimentazione

Gli autori hanno condotto un benchmark empirico su larga scala confrontando i modelli foundation con una vasta gamma di baselines.

Modelli Valutati

Foundation Models (Senza fine-tuning):
- TabPFN-2.5 e RealTabPFN-2.5: Modelli basati su transformer addestrati su dati sintetici, che operano tramite in-context learning. Output: distribuzioni a barre (istogrammi) convertite in densità.
- TabICL-Quantiles: Un modello foundation che outputta quantili predittivi, convertiti in funzioni di distribuzione cumulativa (CDF) e poi in densità tramite differenziazione numerica.
Baselines (5 famiglie metodologiche):
- Parametriche: Regressione distribuzionale (Gaussiana, Student-t, Log-Normale, Gamma) con parametri dipendenti dalle covariate.
- Basate su Quantili: Quantile-Tree (XGBoost su 49 livelli di quantili).
- Basate su Regressione: FlexCode-RF (espansione in basi cosinusoidali con Random Forest).
- Probabilistiche ad Alberi: BART (Homo e Hetero).
- Neurali: Mixture Density Networks (MDN), Normalizing Flows (Flow-Spline), e CatMLP (MLP su classi discretizzate).

Setup Sperimentale

Dataset: 39 dataset reali da OpenML e un caso di studio su larga scala con 500.000 galassie dal Sloan Digital Sky Survey (SDSS DR18).
Dimensioni: Campioni di addestramento ( $n$ ) da 50 a 20.000 per i benchmark principali; fino a 500.000 per lo studio SDSS. Dimensionalità delle covariate ( $d$ ) da 5 a 563.
Metriche di Valutazione (6 metriche):
1. CDE Loss: Regola di scoring propria per la densità.
2. Log-Likelihood: Misura di accuratezza puntuale della densità.
3. CRPS (Continuous Ranked Probability Score): Misura di accuratezza della distribuzione cumulativa.
4. Calibrazione (PIT KS): Statistica di Kolmogorov-Smirnov sui valori PIT per verificare l'uniformità.
5. Copertura al 90%: Accuratezza degli intervalli predittivi.
6. Tempo di calcolo: Tempo wall-clock totale.

3. Risultati Chiave

Prestazioni Generali

Dominio dei Foundation Models: Su quasi tutti i dataset e per tutte le dimensioni del campione, i modelli foundation (specialmente TabPFN-2.5 e RealTabPFN-2.5) hanno ottenuto i migliori punteggi in termini di CDE Loss, Log-Likelihood e CRPS.
- A $n=50$ , i foundation models hanno vinto su 32/39 dataset (82%).
- A $n=1.000$ , la vittoria è salita al 92% (36/39 dataset).
Efficienza del Campione: I foundation models mostrano un vantaggio significativo in termini di efficienza del campione. Nel caso di studio SDSS, TabPFN addestrato su 50.000 galassie ha superato tutti i metodi baselines addestrati sull'intero dataset di 500.000 galassie, dimostrando che possono estrarre segnali predittivi superiori con solo il 10% dei dati.
Calibrazione:
- A piccoli campioni ( $n=50$ ), la calibrazione dei foundation models è competitiva.
- A grandi campioni ( $n \ge 5.000$ ), la calibrazione tende a peggiorare rispetto a baselines neurali specifiche (come MDN), suggerendo che il meccanismo di in-context learning è eccellente per l'accuratezza della densità ma meno scalabile per la calibrazione probabilistica senza ri-addestramento.
Limiti:
- Memoria: I modelli TabPFN hanno riscontrato errori di "out-of-memory" su dataset ad alta dimensionalità ( $d=384$ ) e grandi dimensioni ( $n=20.000$ ) a causa dei vincoli di contesto.
- Casi d'uso specifici: Su dati con supporto quasi-discreto (es. dataset "BlackFriday" o "Digits"), modelli specializzati come CatMLP o modelli parametrici semplici hanno talvolta superato i foundation models, specialmente a piccoli campioni, grazie al loro bias induttivo più forte.

Confronto Temporale

I foundation models sono estremamente veloci in fase di inferenza rispetto alle baselines neurali complesse (come Flow-Spline), richiedendo spesso secondi invece di minuti, anche se operano su GPU mentre le baselines sono state testate su CPU in alcuni casi.

4. Contributi Principali

Benchmark Completo: Prima valutazione sistematica dei modelli foundation tabulari come estimatori di densità condizionata, confrontandoli con metodi parametrici, non parametrici e neurali.
Design Sperimentale su Larga Scala: Copertura di 39 dataset reali, dimensioni di campione variabili (fino a 500k nel caso SDSS) e 6 metriche di valutazione complementari.
Analisi dell'Efficienza del Campione: Dimostrazione empirica che i foundation models possono sostituire metodi tradizionali che richiedono ordini di grandezza più grandi di dati per ottenere prestazioni equivalenti.
Diagnostica dei Fallimenti: Identificazione di scenari (supporto discreto, alta dimensionalità + grandi $n$ ) in cui i modelli foundation potrebbero non essere la scelta ottimale.

5. Significato e Implicazioni

Questo studio stabilisce i Tabular Foundation Models come estimatori di densità condizionata "pronti all'uso" (off-the-shelf) di alto livello.

Per la Pratica: Gli analisti possono ora utilizzare modelli pre-addestrati (come TabPFN) per ottenere distribuzioni predittive complete senza dover addestrare modelli specifici per ogni dataset, risparmiando tempo e risorse computazionali.
Per la Ricerca: Suggerisce che l'approccio in-context learning è potente per catturare strutture complesse (multimodalità, eteroschedasticità) anche con pochi dati. Tuttavia, evidenzia la necessità di tecniche di ricalibrazione post-hoc per migliorare l'affidabilità probabilistica a grandi dimensioni del campione.
Futuro: Apre la strada all'uso di questi modelli in contesti dove i dati etichettati sono costosi (es. astrofisica, medicina), permettendo di ottenere stime di incertezza robuste con dataset più piccoli.

In sintesi, il paper dimostra che i foundation models non sono solo strumenti per la previsione puntuale, ma rappresentano un nuovo stato dell'arte per la modellazione dell'incertezza in regressioni tabulari, offrendo un compromesso superiore tra accuratezza, velocità e efficienza dei dati.