High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models

Riepilogo Tecnico: Alta Prestazione, Bassa Affidabilità: Benchmark di Incertezza per Modelli Fondamentali Tabulari

Enunciato del Problema
I recenti Modelli Fondamentali Tabulari (TFM), come TabPFN e TabICL, hanno dimostrato prestazioni predittive all'avanguardia su dataset tabulari di piccole e medie dimensioni, superando spesso i tradizionali Alberi di Decisione con Boosting del Gradiente (GBDT). Tuttavia, l'affidabilità di questi modelli, in particolare per quanto riguarda la quantificazione dell'incertezza, rimane in gran parte inesplorata. Sebbene l'accuratezza predittiva (AUC) sia la metrica principale per i benchmark attuali, l'affidabilità della confidenza del modello è fondamentale per applicazioni critiche per la sicurezza in finanza e sanità. La letteratura esistente si concentra quasi esclusivamente sull'accuratezza, lasciando un vuoto nella comprensione se i TFM forniscano stime di incertezza ben calibrate o se mostrino eccessiva sicurezza, specialmente in condizioni rumorose o complesse.

Metodologia
Gli autori propongono un protocollo di valutazione completo che va oltre le metriche di accuratezza standard per includere la quantificazione dell'incertezza tramite Predizione Conformale (CP). Lo studio valuta quattro famiglie di modelli su 112 dataset tabulari di piccole e medie dimensioni tratti dal benchmark TALENT, integrati da 20 dataset sintetici progettati per isolare regimi ad alto rumore e bassa separabilità.

• Modelli Valutati:
  • TFM: TabPFN, TabICL, PFN-v2 e Mitra.
  • GBDT: XGBoost, LightGBM e CatBoost.
  • Baseline: Metodi classici (k-NN, Regressione Logistica) e Deep Learning (MLP, TabM).
• Framework di Predizione Conformale:
  • Lo studio utilizza il punteggio della Classe Meno Ambigua (LAC), $s(x, y) = 1 - \hat{p}(y|x)$, per trasformare le previsioni puntuali in insiemi di previsione.
  • Un insieme di calibrazione (disgiunto dai dati di addestramento) viene utilizzato per calcolare i punteggi di non conformità e determinare una soglia di quantile $q_\alpha$ per una copertura target di $1-\alpha = 0.90$.
  • Questo garantisce garanzie senza distribuzione che l'etichetta vera si trovi all'interno dell'insieme di previsione con probabilità $\geq 1-\alpha$.
• Metriche di Valutazione:
  • AUC: Prestazione predittiva standard.
  • Tasso di Copertura (CR): La proporzione di campioni di test in cui l'etichetta vera è presente nell'insieme di previsione.
  • Dimensione Media dell'Insieme (SS): Misura l'informatività degli insiemi di previsione (insiemi più piccoli implicano maggiore confidenza).
  • Punteggio di Copertura Stratificato per Dimensione (SSCS): Una metrica critica introdotta per valutare la copertura condizionale. Misura la copertura empirica su gruppi di campioni con dimensioni di insieme simili. Un basso SSCS indica che il modello è eccessivamente sicuro (producendo insiemi piccoli) quando in realtà è errato, un fallimento della calibrazione che la copertura marginale potrebbe non rilevare.

Risultati Chiave
I risultati empirici, mediati su 15 semi, rivelano un distinto trade-off prestazione-incertezza:

1. Prestazione Predittiva vs. Affidabilità: I TFM raggiungono i punteggi AUC più alti (ad esempio, TabICL a 0.890, PFN-v2 a 0.889) rispetto ai GBDT (ad esempio, LightGBM a 0.864). Tuttavia, i TFM mostrano punteggi SSCS significativamente più bassi (da 0.494 a 0.517) rispetto ai GBDT (da 0.532 a 0.544).
2. Il Trade-off: Esiste una tendenza inversa tra accuratezza e qualità dell'incertezza. Sebbene i TFM siano più accurati, la loro confidenza non riflette fedelmente l'incertezza predittiva. Tendono a produrre "errori eccessivamente sicuri": insiemi di previsione stretti che non includono l'etichetta vera.
3. Risultati sui Dati Sintetici: Su dataset sintetici con alto rumore e debole separabilità delle classi, il divario si amplia. I TFM producono previsioni ad alta varianza ed eccessivamente sicure, mentre i modelli basati su alberi (GBDT) rimangono robusti e mantengono una copertura condizionale più elevata (SSCS di 0.840 per i GBDT contro 0.614 per i TFM nei test sintetici).
4. Comportamento delle Baseline: La Regressione Logistica classica ha mostrato una buona calibrazione marginale ma ha faticato con la copertura condizionale vicino ai confini non lineari. Le baseline di deep learning (MLP, TabM) hanno generalmente performato peggio dei TFM sia in accuratezza che in calibrazione.

Significato e Affermazioni
Il paper conclude che, sebbene i TFM facciano avanzare l'avanguardia dell'accuratezza predittiva, attualmente soffrono di un grave deficit di affidabilità per quanto riguarda la quantificazione dell'incertezza. Gli autori affermano che:

• I TFM non sono ancora pronti per il deployment ad alto rischio dove è richiesta un'incertezza calibrata, poiché sistematicamente producono punteggi di copertura stratificata per dimensione inferiori rispetto ai modelli tradizionali.
• I GBDT rimangono la scelta più affidabile per dataset di piccole-medie dimensioni, in particolare quelli con alto rumore, eterogeneità o distribuzioni complesse delle caratteristiche, offrendo una migliore calibrazione e robustezza nonostante un AUC leggermente inferiore.
• Lavoro Futuro: Gli autori identificano che ottenere un'incertezza ben calibrata è una grande sfida aperta. Suggeriscono che la ricerca futura dovrebbe esplorare gli spostamenti di distribuzione, i meccanismi di incertezza specifici del modello (ad esempio, ensemble, teste bayesiane) e distribuzioni di pre-addestramento alternative per ridurre l'eccessiva sicurezza.

Lo studio fornisce la prima valutazione sistematica dell'incertezza dei TFM, dimostrando che l'alta prestazione non garantisce intrinsecamente un'alta affidabilità nell'apprendimento tabulare.