Résumé technique : Sur la capacité de quantification de l'incertitude des modèles de fondation tabulaires

Énoncé du problème

La modélisation de substitution est essentielle pour remplacer ou augmenter les simulations coûteuses en mécanique et en sciences computationnelles. Cependant, la sélection et l'entraînement de substituts probabilistes appropriés (par exemple, les processus gaussiens ou les réseaux de neurones) restent difficiles, particulièrement lorsque les données sont bruitées, rares ou de haute dimension. Alors que les méthodes « traditionnelles » comme les processus gaussiens (GP) reposent sur des étapes explicites d'entraînement et d'échantillonnage pour fournir une quantification de l'incertitude (UQ), les modèles de fondation (FM) ont émergé comme des alternatives capables de transférer leurs capacités à travers diverses tâches avec un ajustement minimal. Plus précisément, les réseaux de données préalires tabulaires (TabPFN) promettent d'approximer les distributions prédictives postérieures bayésiennes sans réentraînement par tâche. Le problème central abordé dans ce travail est de savoir si TabPFN fournit des estimations d'incertitude aussi fiables que les méthodes classiques comme les GP, et comment les compromis entre les priors explicites (GP) et les priors appris (TabPFN) se manifestent à travers différents régimes de données.

Méthodologie

Les auteurs ont mené une étude empirique exhaustive comparant TabPFN v2.5 aux processus gaussiens (GP) à travers un ensemble diversifié de problèmes de régression.

• Benchmarks : L'étude a utilisé six benchmarks synthétiques (Wing Weight, Ackley, Dixon-Price, Griewank, Rosenbrock et Buckling) avec des dimensions d'entrée ($D_x$) allant de 4 à 40, ainsi que deux jeux de données réels (Elevators et Pumadyn).
• Conception expérimentale : Les expériences ont fait varier la taille des ensembles de données d'entraînement ($N = 10D_x$ et $N = 40D_x$) et les niveaux de bruit (faible : $\epsilon \sim \mathcal{N}(0, (0.005 \times c)^2)$ et élevé : $\epsilon \sim \mathcal{N}(0, (0.05 \times c)^2)$). Un bruit non gaussien (distribution de Student t) a également été testé pour évaluer la robustesse.
• Détails d'implémentation :
  • GP : Pour assurer une comparaison équitable avec la nature « prête à l'emploi » de TabPFN, les GP ont été entraînés en utilisant les paramètres par défaut du package GP+ [8]. Cela incluait une initialisation par défaut, une moyenne constante et un noyau gaussien (des noyaux à exponentielle de puissance ont été testés dans des sous-analyses spécifiques). Aucun ajustement manuel des hyperparamètres ou des noyaux n'a été effectué pour la comparaison principale.
  • TabPFN : Le modèle a été exécuté sans ajustement fin sur un GPU.
• Métriques :
  • Précision prédictive : Mesurée par l'erreur quadratique moyenne relative (RRMSE).
  • Qualité de l'UQ : Mesurée par le score d'intervalle négativement orienté moyen relatif (NIS), qui pénalise à la fois la largeur de l'intervalle et les erreurs de couverture.
  • Coût computationnel : Temps de calcul (wall-clock time) pour l'entraînement (GP) et l'inférence de bout en bout (TabPFN).

Contributions clés

1. Paramètres par défaut principled : Les auteurs recommandent et utilisent un ensemble spécifique de paramètres par défaut pour construire des GP (via GP+) afin de maximiser leur performance à travers diverses applications sans ajustement manuel.
2. Benchmarking en open-source : L'étude fournit une comparaison en open-source (GP+ vs TabPFN v2.5) utilisant trois métriques critiques : la précision de la prédiction ponctuelle (RRMSE), la qualité de la distribution prédictive (NIS) et les coûts de calcul.
3. Directives pratiques : Ce travail offre des preuves empiriques pour guider la sélection d'un émulateur, mettant en évidence les régimes spécifiques où TabPFN excelle par rapport aux GP traditionnels qui restent supérieurs.

Résultats et analyse

Précision et quantification de l'incertitude

L'étude a révélé qu'aucune des deux méthodes ne surpasse systématiquement l'autre ; la performance dépend fortement de la disponibilité des données, de la dimensionnalité et de la pertinence du prior.

• Régimes de données rares ($N = 10D_x$) : Les GP ont souvent fourni une précision prédictive et une UQ supérieures, particulièrement lorsque le noyau choisi (par exemple, Gaussien) constituait un bon prior pour la fonction sous-jacente. Dans les contextes de faible bruit, les GP suivaient de manière fiable le plancher de bruit, tandis que TabPFN conservait des erreurs résiduelles.
• Régimes de données abondantes ($N = 40D_x$) : TabPFN a atteint des performances très compétitives, particulièrement dans les problèmes complexes et de haute dimension. Cependant, dans certains benchmarks comme Griewank, les GP ont continué à surpasser TabPFN même avec une augmentation des données, suggérant que TabPFN nécessite beaucoup plus de données pour devenir compétitif dans certains régimes structurels.
• Sensibilité au noyau : Une conclusion critique est que la performance des GP est sensible au choix du noyau. Dans des benchmarks comme Dixon-Price et Rosenbrock, le passage du noyau GP de Gaussien à l'exponentielle de puissance (PE) a considérablement amélioré les performances, dépassant souvent TabPFN. Cela souligne que les GP « vanilla » avec des paramètres par défaut fixes peuvent sous-performer si le prior est mal spécifié, alors que le prior appris de TabPFN est robuste à de telles erreurs de spécification mais peut manquer de la précision d'un GP bien ajusté.
• Calibration de l'incertitude : TabPFN a produit des intervalles bien calibrés (distributions NIS serrées) même lorsque ses prédictions moyennes (RRMSE) étaient médiocres ou variables d'une exécution à l'autre. Inversement, les GP ont montré une grande variabilité dans le RRMSE dans l'exemple de Buckling, mais se sont considérablement améliorés avec davantage de données.

Coût computationnel

• GP : Les coûts d'entraînement suivent une échelle de $O(N^3)$ en raison de l'inversion de la matrice de covariance. Pour les cas de haute dimension et de grands volumes de données (ex: Griewank avec $N=40D_x$), les temps d'entraînement des GP sont devenus prohibitifs (plusieurs centaines de secondes), tandis que la prédiction était rapide.
• TabPFN : Les coûts d'inférence suivent une échelle de $O(N_c(N_c + N_q))$. Bien que TabPFN soit efficace sur GPU (environ 1 à 5 secondes pour l'infférence de bout en bout), il est nettement plus lent sur CPU. L'étude note que TabPFN évite l'optimisation des hyperparamètres par jeu de données requise par les GP, ce qui le rend attractif pour les scénarios avec des mises à jour fréquentes de jeux de données mais peu de prédictions par mise à jour.

Jeux de données réels

Sur les jeux de données Elevators et Pumadyn, les tendances observées dans les données synthétiques se sont confirmées : TabPFN a surpassé GP+ sur Elevators, tandis que GP+ a surpassé TabPFN sur Pumadyn. Dans les deux cas, les écarts de performance sont restés relativement stables à mesure que la taille du jeu de données augmentait, suggérant que pour ces problèmes réels spécifiques, l'ajout de données ne résolvait pas le désaccord de modèle sous-jacent pour l'une ou l'autre méthode.

Signification et affirmations

L'article affirme que TabPFN est une méthode rentable pour obtenir des estimations ponctuelles précises et offre une alternative peu coûteuse aux émulateurs traditionnels, particulièrement dans les régimes de haute dimension et de grandes données où il supprime le besoin de prétraitement manuel et d'ajustement de modèle.

Cependant, les auteurs concluent modestement que la capacité de TabPFN ne rivalise pas avec celle des GP si ces derniers sont équipés d'un bon noyau. L'étude met en évidence un compromis fondamental :

• Les GP excellent dans les contextes de données rares et lorsque l'utilisateur peut investir du temps dans la sélection de noyaux et de fonctions de moyenne appropriés (ajustement fin). Ils offrent une interprétabilité explicite de l'incertitude (aléatoire vs épistémique).
• TabPFN excelle dans les scénarios « prêts à l'emploi » où un déploiement rapide est nécessaire, ou lorsque la classe de fonction sous-jacente est inconnue et difficile à modéliser avec un noyau fixe.

Les auteurs soulignent que bien que TabPFN soit un modèle de fondation puissant, il ne rend pas les méthodes traditionnelles obsolètes. Au lieu de cela, les praticiens devraient considérer les paramètres par défaut des GP comme une base solide, en appliquant des ajustements mineurs (sélection du noyau/moyenne) lorsque la performance sature, avant de recourir à un ajustement plus lourd ou de passer aux modèles de fondation. L'étude exclut explicitement les avancées récentes concernant les GP scalables et les constructions de noyaux complexes, se concentrant sur des implémentations « vanilla » pour fournir une base de comparaison claire pour la classe émergente de modèles de fondation tabulaires.