How good are universal MLIPs for alloys? A benchmark is only as trustworthy as its controls

Imaginez un monde où les scientifiques peuvent concevoir de nouveaux alliages ultra-résistants pour les moteurs de jets ou des batteries ultra-efficaces sans jamais faire fondre un seul morceau de métal en laboratoire. Au lieu de cela, ils utilisent de puissantes simulations informatiques pour prédire comment les atomes vont se comporter. L'étalon-or de ces prédictions est une méthode mathématique complexe appelée la Théorie de la Fonctionnelle de la Densité (DFT). Considérez la DFT comme un chef cuisinier étoilé capable d'élaborer la recette parfaite pour n'importe quel matériau, mais qui nécessite des heures de préparation pour un seul plat. C'est précis, mais terriblement lent.

Pour accélérer les choses, les chercheurs ont créé des « potentiels interatomiques appris par apprentissage automatique » (ou MLIPs). Vous pouvez les considérer comme des sous-chefs. Ils ont étudié les recettes du grand chef si minutieusement qu'ils peuvent préparer un repas en une fraction de seconde, avec presque le même goût. Ces modèles d'IA s'améliorent de jour en jour, et les scientifiques font la course pour voir lequel est le meilleur. Ils les jugent généralement en regardant un tableau des scores : le modèle qui commet le moins d'erreurs dans la prédiction de l'énergie décroche la première place. Mais voici le piège : et si le tableau des scores lui-même était truqué ? Et si les « erreurs » ne venaient pas du fait que le sous-chef cuisine mal, mais parce qu'il utilise une tasse à mesurer différente de celle du juge ?

C'est exactement le puzzle abordé dans une nouvelle étude de Gus Hart et Jacob Pursley. Ils ont décidé de ne plus prendre les classements au premier degré et ont commencé à agir comme des détectives. Ils ont rassemblé quatorze des modèles d'IA les plus populaires et les ont mis à l'épreuve sur un type spécifique de matériau : les alliages métalliques. Mais au lieu de simplement vérifier leurs scores d'énergie par rapport à la référence habituelle, ils ont introduit une série de « contrôles » — comme un scientifique vérifiant son propre équipement avant de faire confiance à un résultat. Ils se sont demandé : ces modèles apprennent-ils réellement la physique des atomes, ou ne font-ils que mémoriser les règles et les conventions spécifiques de la base de données sur laquelle ils ont été entraînés ?

Les résultats ont été un choc. L'article montre que la façon actuelle de classer ces modèles d'IA est profondément erronée. Les « vainqueurs » des classements publics ne gagnent souvent pas parce qu'ils sont plus intelligents ; ils gagnent parce qu'ils ont hérité des mêmes conventions de mesure que la base de données contre laquelle ils ont été testés. Lorsque les chercheurs ont supprimé ces avantages artificiels, les classements ont radicalement changé. Certains modèles qui semblaient être des échecs se sont révélés être très bons, tandis que les « champions » ont vu leur avance diminuer considérablement.

Voici ce que l'étude a réellement découvert, décomposé selon l'histoire de l'enquête :

Le problème de la « tasse à mesurer »
Imaginez que vous jugiez un concours de pâtisserie. Le juge dit : « Le vainqueur est celui dont le gâteau est le plus léger. » Mais il se trouve que la balance du juge est calibrée pour afficher 50 grammes de plus qu'elle ne le devrait. Si un boulanger se trouve utiliser la même balance, son gâteau paraîtra parfait. Si un autre boulanger utilise une balance différente, son gâteau aura l'air médiocre, même s'il a la même taille.

Dans le monde des atomes, le « poids » est l'énergie du matériau. L'étude a révélé que de nombreux modèles d'IA ont été entraînés sur une base de données (comme le Materials Project) qui utilise un ensemble spécifique de règles pour calculer ces énergies. Lorsque les chercheurs ont testé ces modèles contre une base de données totalement différente et indépendante (appelée AFLOW), les modèles semblaient mauvais. Mais lorsque les chercheurs ont « recalibré » les modèles — en leur disant essentiellement : « Hé, utilisez la même tasse à mesurer que le nouveau juge » — les erreurs ont disparu.

Par exemple, un modèle appelé CHGNet semblait commettre des erreurs énormes (environ 126 meV/atome). Mais une fois que les chercheurs ont corrigé le décalage de la « tasse à mesurer », l'erreur est tombée à 73 meV/atome. Plus de la moitié de son « échec » n'était qu'une différence de comptabilité, et non un manque de compétence.

Le piège de la « relaxation »
Il y avait un autre tour dans le test. Lorsqu'on demandait aux modèles de prédire la forme d'un arrangement atomique, certains modèles étaient autorisés à se « relaxer » (déplacer les atomes pour trouver la position la plus confortable), tandis que d'autres étaient contraints de rester exactement à la position donnée par le juge. Un modèle, eqV2, était si doué pour lire dans l'esprit du juge qu'il bougeait à peine. Il obtenait un score élevé parce qu'il n'avait pas besoin de faire d'effort.

Les chercheurs ont réalisé que cela était injuste. Ils ont relancé le test pour que chaque modèle parte du même point et effectue la même quantité de travail. Lorsqu'ils ont fait cela, l'avance du « vainqueur » a diminué de moitié. Il s'est avéré que le meilleur modèle n'était pas nécessairement meilleur en physique ; il avait simplement un coup d'avance grâce à la façon dont le test avait été configuré.

La réalité du « plancher de bruit »
Les auteurs ont également posé une question fondamentale : à quel point un modèle peut-il être bon ? Ils ont comparé trois bases de données indépendantes de calculs « parfaits » (AFLOW, Alexandria et OQMD). Ils ont découvert que même ces bases de données parfaites ne sont pas en parfait accord entre elles. Elles divergent d'environ 6 à 8 meV/atome sur des structures typiques, et jusqu'à 24–28 meV/atome lorsque les choses deviennent complexes.

Cela signifie qu'il existe un « plancher de bruit ». Quel que soit le niveau d'intelligence d'une IA, elle ne peut pas être plus précise que le désaccord entre deux calculs humains parfaits. L'étude a révélé que les meilleurs modèles atteignent désormais ce plancher. Ils sont aussi bons que les données de référence le permettent. Mais l'article prévient que nous ne pouvons pas les classer de manière beaucoup plus fine que cela. Si deux modèles sont séparés d'une fraction infime de meV, il peut s'agir de simple bruit aléatoire, et non d'une réelle différence de qualité.

Le mystère de la « mauvaise référence »
L'une des découvertes les plus surprenantes concernait les données « mauvaises ». Les chercheurs ont remarqué que pour environ 15 000 structures, les modèles d'IA semblaient totalement erronés, manquant la cible de très loin. On aurait dit que les modèles échouaient lamentablement.

Mais en regardant de plus près, ils ont réalisé que les modèles avaient raison, et que le « juge » (la base de données de référence) avait tort. Les modèles étaient tous d'accord entre eux, mais la base de données de référence était une anomalie. En utilisant un « détecteur de consensus » (en demandant aux modèles ce qu'ils pensent et en voyant si le juge est d'accord), ils ont découvert que la plupart de ces « échecs » étaient en fait des erreurs dans les données de référence, et non dans les modèles. Une fois ces erreurs filtrées, le nombre de « mauvaises références » est passé de 15 000 à seulement 1 700.

Les vrais gagnants et perdants
Après avoir appliqué tous ces contrôles — en corrigeant les tasses à mesurer, en égalisant les positions de départ et en filtrant les mauvaises données — le classement a pris un visage très différent.

• Les modèles entraînés sur les ensembles de données plus récents et plus vastes (la génération « OMat ») ont généralement mieux performé et se sont bien généralisés à de nouvelles structures inédites.
• Les modèles entraînés sur des données plus anciennes (la génération « MP ») ont eu plus de mal, mais certains, comme MACE-MPA, étaient en fait très bons pour prédire la stabilité une fois le biais de la « tasse à mesurer » supprimé.
• Le « vainqueur » des scores d'énergie bruts, eqV2, a tout de même bien performé, mais son avance n'était pas aussi massive qu'elle en avait l'air. En fait, lorsqu'on examine d'autres propriétés importantes comme la rigidité du matériau (élasticité) ou sa capacité à prédire quelles formes sont stables, les classements ont totalement changé.

La conclusion
L'article conclut qu'un test de référence n'est fiable que si ses contrôles le sont aussi. On ne peut pas simplement regarder un chiffre unique sur un tableau des scores et déclarer un vainqueur. Le « meilleur » modèle dépend entièrement de ce que vous essayez de mesurer. Si vous voulez savoir quel modèle est le meilleur pour prédire l'énergie, l'un peut gagner. Si vous voulez savoir lequel est le meilleur pour prédire la stabilité, un autre peut gagner.

Les auteurs soutiennent que le domaine doit cesser de courir après un seul « meilleur » modèle et commencer à utiliser un « vecteur » de métriques — une liste de différents scores qui racontent toute l'histoire. Ils suggèrent également que la prochaine génération de modèles ne devrait pas seulement essayer d'obtenir un chiffre d'erreur plus bas ; ils doivent être testés contre des données indépendantes, calibrés par rapport au « plancher de bruit » des calculs humains, et jugés sur leur capacité à gérer la chimie complexe et réelle qui n'est pas qu'une simple répétition des données d'entraînement.

En bref, les modèles d'IA deviennent incroyablement bons — si bons qu'ils atteignent désormais les limites de nos propres calculs humains. Mais pour savoir qui est véritablement le meilleur, nous devons cesser de tricher avec nos tasses à mesurer et commencer à regarder l'ensemble du tableau.