Dans la quête de la découverte de nouveaux matériaux, les scientifiques se sont de plus en plus tournés vers l'intelligence artificielle pour accélérer le processus. Imaginez une vaste bibliothèque contenant des millions de recettes pour différents substances, chacune possédant des propriétés uniques comme la résistance, la conductivité ou l'énergie nécessaire à sa formation. Traditionnellement, trouver un nouveau matériau signifiait tester une recette après l'autre en laboratoire, une entreprise lente et coûteuse. L'apprentissage automatique offre un raccourci : en étudiant la bibliothèque existante, un ordinateur peut apprendre les règles de la chimie et prédire les propriétés de matériaux qu'il n'a jamais vus auparavant. Le but ultime est de construire des modèles qui soient véritablement généraux, c'est-à-dire capables de faire des prédictions précises sur des types de matière complètement nouveaux, et pas seulement sur ceux qui ressemblent à ce qu'ils ont déjà étudiés. Cette capacité à gérer l'inconnu est cruciale pour résoudre les défis mondiaux, de la création de meilleures batteries à la conception de panneaux solaires plus efficaces. Cependant, une question persiste sur la capacité réelle de ces outils numériques à faire face à ce qui est véritablement inconnu.

Une équipe de chercheurs s'est donné pour mission de tester les limites de ces modèles d'apprentissage automatique dans le domaine de la science des matériaux. Ils voulaient savoir si les modèles apprenaient réellement les lois profondes de la nature ou s'ils se contentaient de mémoriser des motifs qui ressemblaient par hasard à de nouvelles découvertes. Pour ce faire, ils ont conçu une expérience massive impliquant plus de 700 défis différents. Dans chaque défi, ils entraînaient un modèle informatique sur une large collection de matériaux connus, puis lui demandaient de prédire les propriétés d'un groupe spécifique de matériaux qui étaient totalement absents de ses données d'entraînement. Ces groupes étaient définis par des règles spécifiques, telles que « tous les matériaux contenant un certain élément » ou « tous les matériaux ayant une forme cristalline spécifique ». Les chercheurs ont testé une grande variété de modèles, allant d'algorithmes simples et établis à des réseaux de neurones complexes et modernes qui imitent le cerveau humain.

Les résultats furent surprenants. Dans la grande majorité de ces 700 défis, les modèles ont performé exceptionnellement bien, même lorsque les matériaux de test contenaient des éléments ou des structures qu'ils n'avaient jamais rencontrés lors de l'entraînement. Les modèles simples, qui utilisent des règles de décision basiques, ont souvent performé aussi bien que les systèmes de deep learning les plus sophistiqués. Ce haut niveau de succès suggérait que les modèles ne peinaient pas autant à se généraliser à une nouvelle chimie que ce que l'on pensait auparavant. Cependant, les chercheurs ont creusé davantage pour comprendre pourquoi cela se produisait. Ils ont découvert que la définition de « nouveau » dans ces tests était souvent trompeuse. Bien que les matériaux de test soient techniquement différents en termes d'ingrédients chimiques, ils occupaient souvent le même voisinage général dans l'espace mathématique utilisé par les modèles pour comprendre les matériaux. En d'autres termes, les modèles ne s'aventuraient pas véritablement dans l'inconnu ; ils remplissaient simplement les lacunes entre ce qu'ils savaient déjà.

Pour le prouver, l'équipe a cartographié le paysage mathématique où vivent ces matériaux. Ils ont découvert que pour les tâches où les modèles réussissaient, les nouveaux matériaux étaient en fait entourés par les données d'entraînement, permettant aux modèles de faire des suppositions sûres basées sur des exemples proches. Mais lorsqu'ils ont examiné les quelques tâches où les modèles échouaient, ils ont constaté que les matériaux de test étaient véritablement isolés, loin de toute donnée qu'ils avaient vue. Cette distinction a révélé une faille critique dans la manière dont le domaine mesure son succès. Beaucoup de tests qui étaient célébrés comme des preuves de la capacité d'un modèle à gérer l'inconnu étaient en réalité des tests de sa capacité à interpoler, ou à deviner le milieu entre des points connus. Les modèles ne démontraient pas une capacité magique à extrapoler vers les confins de l'espace chimique ; ils ne faisaient que relier les points dans une région qu'ils comprenaient déjà.

L'étude a également remis en question une idée populaire de l'intelligence artificielle connue sous le nom de mise à l'échelle (scaling). La croyance prédominante est que si vous augmentez simplement la taille du jeu de données d'entraînement ou si vous laissez le modèle s'entraîner plus longtemps, sa capacité de généralisation s'améliorera toujours. Les chercheurs ont testé cela en nourrissant les modèles avec de plus en plus de données. Pour les tâches faciles où les nouveaux matériaux étaient proches des anciens, la performance s'est effectivement améliorée avec plus de données. Mais pour les tâches véritablement difficiles, où les matériaux étaient très éloignés de la zone d'entraînement, l'ajout de données ou de temps d'entraînement n'a pas aidé. Dans certains cas, cela a même rendu les modèles moins performants, provoquant un surapprentissage (overfitting) sur les données connues et faisant perdre leur capacité à deviner correctement l'inconnu. Cela suggère que la promesse de la mise à l'échelle pour résoudre tous les problèmes de généralisation est surestimée lorsqu'il s'agit de matériaux véritablement nouveaux.

Les chercheurs ont conclu que le domaine doit être plus prudent quant à la manière dont il définit et teste la généralisation. Les méthodes actuelles, qui reposent sur des règles simples pour séparer les données d'entraînement des données de test, créent souvent des illusions de succès. Elles montrent que les modèles sont bons dans ce qu'ils savent faire, mais elles ne prouvent pas nécessairement que ces modèles peuvent gérer les défis réellement difficiles et inédits qui stimuleront les futures percées scientifiques. L'étude ne dit pas que l'apprentissage automatique échoue ; elle suggère plutôt que nous avons posé les mauvaises questions. En reconnaissant que beaucoup de nos tests « difficiles » sont en fait assez faciles pour les modèles, les scientifiques peuvent désormais se concentrer sur la conception de défis véritablement complexes. Ce changement aidera à identifier les réelles lacunes de notre compréhension et guidera le développement de modèles capables de naviguer véritablement dans les territoires inexplorés de la science des matériaux.