High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models

Résumé Technique : Haute Performance, Faible Fiabilité : Étalonnage de l'Incertitude pour les Modèles Fondamentaux Tabulaires

Énoncé du Problème
Les récents Modèles Fondamentaux Tabulaires (MFT), tels que TabPFN et TabICL, ont démontré des performances prédictives de l'état de l'art sur des jeux de données tabulaires de petite et moyenne taille, surpassant souvent les Arbres de Décision à Gradient Boosting (GBDT) traditionnels. Cependant, la fiabilité de ces modèles, spécifiquement en ce qui concerne leur quantification de l'incertitude, reste largement inexplorée. Bien que la précision prédictive (AUC) soit la métrique principale des benchmarks actuels, la fiabilité de la confiance du modèle est cruciale pour les applications critiques en matière de sécurité dans les domaines de la finance et de la santé. La littérature existante se concentre presque exclusivement sur la précision, laissant un vide dans la compréhension de savoir si les MFT fournissent des estimations d'incertitude bien calibrées ou s'ils font preuve d'une surconfiance, en particulier dans des conditions bruyantes ou complexes.

Méthodologie
Les auteurs proposent un protocole d'évaluation complet qui va au-delà des métriques de précision standard pour inclure la quantification de l'incertitude via la Prédiction Conformée (PC). L'étude évalue quatre familles de modèles sur 112 jeux de données tabulaires de petite et moyenne taille issus du benchmark TALENT, complétés par 20 jeux de données synthétiques conçus pour isoler des régimes à fort bruit et à faible séparabilité.

• Modèles Évalués :
  • MFT : TabPFN, TabICL, PFN-v2 et Mitra.
  • GBDT : XGBoost, LightGBM et CatBoost.
  • Lignes de base : Méthodes classiques (k-NN, Régression Logistique) et Apprentissage Profond (MLP, TabM).
• Cadre de Prédiction Conformée :
  • L'étude utilise le score de la Classe la Moins Ambiguë (LAC), $s(x, y) = 1 - \hat{p}(y|x)$, pour transformer les prédictions ponctuelles en ensembles de prédiction.
  • Un ensemble de calibration (disjoint des données d'entraînement) est utilisé pour calculer les scores de non-conformité et déterminer un seuil de quantile $q_\alpha$ pour une couverture cible de $1-\alpha = 0.90$.
  • Cela garantit des garanties sans distribution que l'étiquette vraie se trouve dans l'ensemble de prédiction avec une probabilité $\geq 1-\alpha$.
• Métriques d'Évaluation :
  • AUC : Performance prédictive standard.
  • Taux de Couverture (TC) : La proportion d'échantillons de test pour lesquels l'étiquette vraie se trouve dans l'ensemble de prédiction.
  • Taille Moyenne de l'Ensemble (SS) : Mesure l'informativité des ensembles de prédiction (des ensembles plus petits impliquent une confiance plus élevée).
  • Score de Couverture Stratifé par Taille (SSCS) : Une métrique critique introduite pour évaluer la couverture conditionnelle. Elle mesure la couverture empirique à travers des groupes d'échantillons ayant des tailles d'ensembles similaires. Un SSCS faible indique que le modèle est surconfiant (produisant des ensembles petits) alors qu'il a tort, une défaillance de calibration que la couverture marginale pourrait manquer.

Résultats Clés
Les résultats empiriques, moyennés sur 15 graines, révèlent un compromis distinct performance–incertitude :

1. Performance Prédictive vs Fiabilité : Les MFT obtiennent les scores AUC les plus élevés (par exemple, TabICL à 0,890, PFN-v2 à 0,889) par rapport aux GBDT (par exemple, LightGBM à 0,864). Cependant, les MFT présentent des scores SSCS significativement plus faibles (variant de 0,494 à 0,517) par rapport aux GBDT (variant de 0,532 à 0,544).
2. Le Compromis : Il existe une tendance inversée entre la précision et la qualité de l'incertitude. Bien que les MFT soient plus précis, leur confiance ne reflète pas fidèlement l'incertitude prédictive. Ils ont tendance à produire des « erreurs surconfiantes » — des ensembles de prédiction étroits qui échouent à inclure l'étiquette vraie.
3. Résultats sur les Données Synthétiques : Sur les jeux de données synthétiques à fort bruit et faible séparabilité des classes, l'écart s'élargit. Les MFT produisent des prédictions à forte variance et surconfiantes, tandis que les modèles basés sur des arbres (GBDT) restent robustes et maintiennent une couverture conditionnelle plus élevée (SSCS de 0,840 pour les GBDT contre 0,614 pour les MFT dans les tests synthétiques).
4. Comportement des Lignes de Base : La Régression Logistique classique a montré une bonne calibration marginale mais a eu des difficultés avec la couverture conditionnelle près des frontières non linéaires. Les lignes de base d'apprentissage profond (MLP, TabM) ont généralement moins bien performé que les MFT tant en précision qu'en calibration.

Signification et Revendications
L'article conclut que si les MFT repoussent les frontières de la précision prédictive, ils souffrent actuellement d'un déficit majeur de fiabilité en matière de quantification de l'incertitude. Les auteurs affirment que :

• Les MFT ne sont pas encore prêts pour un déploiement à haut risque où une incertitude calibrée est requise, car ils produisent systématiquement des scores de couverture stratifiée par taille inférieurs à ceux des modèles traditionnels.
• Les GBDT restent le choix le plus fiable pour les jeux de données de petite à moyenne taille, en particulier ceux présentant un bruit élevé, une hétérogénéité ou des distributions de caractéristiques complexes, offrant une meilleure calibration et robustesse malgré un AUC légèrement inférieur.
• Travaux Futurs : Les auteurs identifient que l'obtention d'une incertitude bien calibrée est un défi majeur ouvert. Ils suggèrent que les recherches futures devraient explorer les décalages de distribution, les mécanismes d'incertitude spécifiques aux modèles (par exemple, l'ensemblage, les têtes bayésiennes) et les distributions de pré-entraînement alternatives pour réduire la surconfiance.

L'étude fournit la première évaluation systématique de l'incertitude des MFT, démontrant qu'une haute performance n'implique pas intrinsèquement une haute fiabilité dans l'apprentissage tabulaire.