📊 statistics

On the Brittleness of Maximum Likelihood Estimation for Gaussian Process Hyperparameter Optimization

Cet article étudie la fragilité de l'estimation du maximum de vraisemblance (MLE) dans l'entraînement des processus gaussiens, démontrant que lorsque les hypothèses sous-jacentes sont violées, la MLE conduit à une mauvaise généralisation, et propose des solutions pratiques, fondées théoriquement, qui surpassent les méthodes existantes en termes de précision, de quantification de l'incertitude et de coût d'inférence pour les tâches d'ingénierie en aval.

Auteurs originaux : Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

Publié 2026-08-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu d'une scène de crime, vous faites face à un tas de points de données désordonnés éparpillés sur une table. Votre objectif est de tracer une ligne fluide (ou une forme complexe) à travers ces points pour prédire ce qui va se passer ensuite. Dans le monde de l'ingénierie et des sciences, c'est ce qu'on appelle l'« apprentissage automatique » (machine learning), et c'est la recette secrète derrière tout, de la conception de ponts plus sûrs à la prédiction du comportement d'un nouveau médicament.

Pour tracer cette ligne, le détective a besoin d'un carnet de règles, ou d'une « fonction de perte », pour lui dire à quel point sa supposition est proche de la vérité. Pendant des décennies, le carnet de règles le plus populaire s'est appelé l'Estimation du Maximum de Vraisemblance (MLE). Voyez l'MLE comme un professeur très strict qui dit : « Votre travail est d'expliquer parfaitement les données que vous avez. » Si les données ressemblent à une courbe lisse, l'MLE essaie d'ajuster une courbe lisse. Si les données sont bruitées, l'MLE essaie d'expliquer le bruit. C'est intuitif et puissant, mais cela possède une faiblesse secrète : cela suppose que le monde est exactement tel que le professeur pense qu'il est. Si les données sont désordonnées, le professeur est confus, et le modèle peut sembler parfait en classe (sur les données d'entraînement) mais échouer lamentablement à l'examen final (les prédictions du monde réel).

Récemment, un nouveau type de détective est arrivé : le « Modèle de Fondation ». Ce sont des systèmes d'IA super intelligents, pré-entraînés (comme TabPFN), qui ont déjà vu des millions de problèmes fictifs. Ils n'ont pas besoin d'apprendre à partir de zéro ; ils regardent simplement vos données et devinent instantanément la réponse. Ils sont rapides et souvent très performants. Mais voici la grande question. Le vieux professeur strict (l'MLE) est-il réellement cassé, ou pouvons-nous simplement mieux l'enseigner ? Et le nouveau super-détective est-il vraiment meilleur, ou a-t-il juste de la chance ?

Cet article, écrit par une équipe d'ingénieurs de l'Université de Californie à Irvine, plonge profondément dans ce débat. Ils traitent la « fragilité » du vieux professeur (l'MLE) comme un vase en verre fragile. Ils demandent : « Si nous secouons un peu le vase (ajout de bruit) ou si nous le regardons sous un angle étrange (dimensions élevées), est-ce qu'il se brise ? »

Les auteurs ont mené une expérience massive impliquant plus de 3 000 simulations différentes. Ils ont testé le vieux professeur (Processus Gaussiens entraînés avec l'MLE) contre le nouveau super-détective (TabPFN) sur toutes sortes d'énigmes, des courbes simples aux problèmes d'ingénierie complexes et multidimensionnels.

Voici ce qu'ils ont trouvé. Premièrement, ils ont confirmé que le vieux professeur est effectivement fragile. Lorsque les données sont rares ou que le problème est compliqué, l'MLE reste souvent coincé dans un « optimum local ». Imaginez un randonneur essayant de trouver le sommet le plus haut dans une chaîne de montagnes embrumée. L'MLE est comme un randonneur qui ne regarde que le sol immédiatement autour de ses pieds. S'il commence dans un petit vallon, il peut penser qu'il a atteint le sommet parce qu'il ne peut pas voir les sommets plus élevés à proximité. Cela conduit à des modèles qui sont excellents sur les données sur lesquelles ils ont été entraînés, mais terribles pour prédire de nouvelles choses.

Cependant, l'article ne dit pas « jetez l'MLE à la poubelle ». Au lieu de cela, ils ont découvert que si vous donnez au randonneur une meilleure carte et une lampe de poche, il peut encore gagner. En changeant la façon dont le professeur regarde les chiffres (en utilisant une transformation en « échelle logarithmique ») et en laissant le professeur essayer de partir de nombreux points différents sur la montagne (multiples initialisations), l'ancien professeur devient beaucoup plus robuste. Avec ces simples ajustements, les modèles entraînés par l'MLE sont devenus incroyablement précis, battant souvent le nouveau super-détective non seulement dans la prédiction de la réponse, mais aussi dans la certitude de cette réponse.

L'étude a également comparé ces modèles dans un scénario du monde réel appelé « Optimisation Bayésienne », qui consiste à essayer de trouver la meilleure recette pour un gâteau en goûtant seulement quelques bouchées à la fois. Ici, l'ancien professeur (lorsqu'il est correctement ajusté) était souvent plus rapide et plus efficace que le nouveau super-détective. Le super-détective est excellent pour deviner sans entraînement, mais il devient lent et coûteux lorsqu'il faut lui poser un million de questions. L'ancien professeur, une fois entraîné, est d'une rapidité fulgurante.

En fin de compte, l'article suggère que nous ne devrions pas abandonner aveuglément les vieilles méthodes de confiance pour les nouvelles méthodes rutilantes. La « fragilité » de l'Estimation du Maximum de Vraisemblance n'est pas un défaut fatal ; c'est un bug qui peut être corrigé avec de meilleurs outils et un peu plus de patience. Bien que les nouveaux modèles de fondation soient impressionnants, un Processus Gaussien soigneusement ajusté peut encore être le champion de la précision, de l'incertitude et de la vitesse pour de nombreuses tâches d'ingénierie. La clé n'est pas de changer d'équipe, mais de s'assurer que votre entraîneur sait comment entraîner correctement le joueur.

Résumé technique : Sur la fragilité de l'estimation du maximum de vraisemblance pour l'optimisation des hyperparamètres des processus gaussiens

Énoncé du problème

L'apprentissage automatique (ML) est devenu partie intégrante des flux de travail de conception en ingénierie, servant souvent de substitut à des simulations ou des expériences coûteuses. Une étape critique de l'entraînement de ces modèles est la sélection d'une fonction de perte, l'estimation du maximum de vraisemblance (MLE) étant l'approche la plus largement adoptée en raison de ses fondements statistiques et de sa tractabilité computationnelle. Cependant, la MLE est intrinsèquement fragile : ses garanties théoriques reposent sur des hypothèses telles que la correction de la spécification du modèle, l'indépendance des observations et des jeux de données suffisamment larges — des conditions fréquemment violées dans les problèmes de conception en ingénierie pratique.

Lorsque ces hypothures échouent, les modèles optimisés par MLE peuvent bien s'ajuster aux données d'entraînement mais généralisent mal, un décalage particulièrement préjudiciable dans les flux de travail nécessitant une quantification de l'incertitude (UQ), comme l'optimisation bayésienne (BO). Cette fragilité affecte même les processus gaussiens (GP), qui sont souvent incorrectement présumés robustes contre le surapprentissage. De plus, l'émergence de modèles de fondation (FM) comme TabPFN, qui utilisent des mécanismes d'inférence pré-entraînés pour contourner l'entraînement par problème, soulève des questions sur l'efficacité comparative des GP traditionnels entraînés par MLE par rapport aux modèles de fondation modernes.

Méthodologie

Les auteurs évaluent systématiquement la fragilité de la MLE pour l'entraînement de GP dans des tâches de régression et de classification, en les comparant à TabPFN (versions 2.0 et 2.5). L'étude comprend 3 170 simulations indépendantes à travers différents niveaux de bruit, tailles de jeux de données ( $N = 5D_x$ et $N = 20D_x$ ) et dimensions d'entrée ( $D_x \in \{4, 10, 20, 40, 80\}$ ).

Mitigations proposées pour la MLE

Plutôt que d'abandonner la MLE, l'article propose des stratégies pratiques pour atténuer sa fragilité :

Reparamétrage : Transformer les hyperparamètres en échelle logarithmique (par exemple, représenter les échelles de longueur comme $10^\omega$ ) pour assurer des gradients importants et supprimer les contraintes, facilitant ainsi une meilleure convergence.
Écrêtage doux (Soft Clamping) : Introduire une fonction d'écrêtage doux pour borner les hyperparamètres pendant l'optimisation, empêchant l'instabilité numérique sans causer de comportement non lisse aux frontières.
Multi-initialisation : Employer des plans d'expérience de type "space-filling" pour plusieurs initialisations aléatoires (par défaut 16) afin de réduire le risque de convergence vers de mauvais optima locaux.
Fonctions de perte alternatives : L'étude évalue des alternatives telles que la log-pseudo-vraisemblance Leave-One-Out (LOO), les Kernel Flows et les règles de score appropriées (NIS, CRPS), bien qu'elle note que la LOO peut être sensible et que les Kernel Flows manquent de capacités natives d'UQ.

Configuration expérimentale

Régression : Neuf problèmes de référence (ex. : Ackley, Rosenbrock, Buckling) ont été testés en utilisant le RRMSE pour la précision et le Normalized Interval Score (NIS) pour l'UQ.
Optimisation Bayésienne : Des essais de BO ont été menés sur ces mêmes benchmarks, comparant la BO basée sur GP (ré-entraînement via MLE à chaque étape) contre la BO basée sur TabPFN (apprentissage en contexte).
Classification : Quatre jeux de données (Electrical Grid, Truss 6D, Stellar, Steel Plates) ont été utilisés pour évaluer la précision et l'erreur de calibration attendue (ECE), en utilisant une construction de cible de type Dirichlet pour transformer la classification en un problème de régression pour les GP.
Baselines : Les comparaisons incluaient GPyTorch (MLE standard), GP+ (l'implémentation des auteurs avec les mitigations proposées) et les versions de TabPFN.

Résultats clés

Performance de régression

MLE vs Alternatives : Les GP entraînés avec les mitigations de la MLE proposées (GP+) ont généralement performé au même niveau ou mieux que TabPFN 2.5 en termes de précision de prédiction (RRMSE) et d'UQ (NIS).
Sensibilité au noyau et à la perte : Bien que GP+ (PE) (noyau Power Exponential) et GP+ (LOO) aient montré des performances supérieures dans des régimes spécifiques de haute dimension ou de faible volume de données, ils étaient inconsistants. GP+ (LOO) souffrait souvent d'une mauvaise UQ dans les régimes de faibles données en raison d'un excès de confiance (intervalles de prédiction trop étroits).
Régime de données : Dans les scénarios de faibles données et de bruit élevé, GPyTorch standard échouait souvent (apprenant des valeurs constantes), tandis que GP+ avec les mitigations restait robuste. Dans les régimes de données élevées, les variantes de GP+ surpassaient systématiquement TabPFN dans la plupart des benchmarks, sauf pour la fonction de Zakharov où TabPFN excellait grâce à une meilleure gestion de l'échelle d'observation.
Prétraitement : Le prétraitement de la cible en échelle logarithmique a considérablement amélioré la performance du GP sur le problème de Buckling, tandis que TabPFN restait robuste aux choix de mise à l'échelle.

Optimisation Bayésienne

Efficacité vs Précision : La BO basée sur GP approchait généralement les optima plus rapidement que la BO basée sur TabPFN dans la plupart des benchmarks (ex. : Buckling, Borehole).
Compromis computationnel : TabPFN élimine les coûts de ré-entraînement par itération mais induit des coûts d'inférence élevés lors de l'évaluation des fonctions d'acquisition sur de grands ensembles de candidats (car l'optimisation basée sur le gradient est infaisable). À l'inverse, les GP nécessitent un ré-entraînement mais supportent des fonctions d'acquisition analytiques et des prédictions rapides. Dans les régimes de petites données où le ré-entraînement du GP est peu coûteux, les GP se sont révélés compétitifs ou supérieurs sur le plan computationnel.

Performance de classification

Sélection de noyau : La relation entre la perte d'entraînement et la performance de test n'était pas stricte. Par exemple, le noyau Matérn ( $\nu=0.5$ ) présentait la perte d'entraînement la plus élevée mais atteignait l'ECE la plus faible et la précision la plus haute sur le jeu de données Steel Plates Faults.
TabPFN vs GP+ : TabPFN 2.5 maintenait un léger avantage en précision et en calibration sur la plupart des tâches de classification, particulièrement celles impliquant des variables catégorielles et des réglages multi-classes. Cependant, cet avantage diminuait à mesure que la taille du jeu d'entraînement ( $N$ ) augmentait, les variantes GP+ dépassant TabPFN en précision sur le jeu de données Electrical Grid pour $N \ge 200$ .

Signification et contributions

L'article affirme que, bien que la MLE soit le paradigme dominant pour l'entraînement des GP, son efficacité dépend fortement de détails d'implémentation souvent négligés en pratique. Les principales contributions sont :

Démonstration de la fragilité : L'étude fournit une preuve empirique étendue que les GP entraînés par MLE peuvent échouer systématiquement dans les contextes d'ingénierie en raison de paysages d'optimisation non convexes et de la spécification erronée du modèle, particulièrement dans les contextes de faibles données et de haute dimension.
Remèdes pratiques : Les auteurs démontrent que des interventions simples et pratiques (reparamétrage en échelle logarithmique, écrêtage doux, multi-initialisation) peuvent atténuer substantiellement les échecs de la MLE sans abandonner le cadre de travail.
Analyse comparative avec les modèles de fondation : Ce travail offre une comparaison rigoureuse entre les méthodes probabilistes classiques (GP) et les modèles de fondation émergents (TabPFN). Il conclut que les GP entraînés par une MLE soigneusement implémentée restent hautement compétitifs, surpassant souvent TabPFN en précision de prédiction, qualité d'UQ et coût d'inférence, particulièrement dans les plages de dimensionnalité explorées ( $D_x < 100$ ).
Modèle pour les praticiens : L'article fournit un modèle pour construire des GP précis et robustes capables de rivaliser avec ou de dépasser les modèles de fondation, soulignant qu'investir dans une implémentation appropriée de la MLE est souvent plus efficace que de changer de fonction de perte ou de modèle entièrement.

Les auteurs notent que leurs conclusions sont basées sur des benchmarks analytiques avec un bruit gaussien et suggèrent que les travaux futurs devraient s'étendre au bruit non gaussien, aux jeux de données réels et aux tâches en aval comme la modélisation multi-fidélité. Ils soulignent également le potentiel de valeur du méta-apprentissage de l'hyperprior des GP, inspiré par le paradigme d'entraînement de TabPFN, pour réduire davantage la sensibilité à l'initialisation.