The Illusion of Chemical Continuity Limits Machine Learning Generalization

Imaginez que vous essayiez d'apprendre à un robot à prédire la météo. Vous pourriez penser que si vous lui donnez un million d'années de données météorologiques, il finira par apprendre la formule parfaite pour vous dire exactement ce que fera le ciel demain. C'est le rêve de l'« informatique des matériaux », un domaine où les scientifiques utilisent de vastes quantités de données et des cerveaux informatiques puissants (l'apprentissage automatique) pour prédire comment de nouveaux matériaux se comporteront. La grande idée, ou « hypothèse d'échelle », est que l'univers des produits chimiques est comme une colline lisse et continue. Si vous connaissez la forme de la colline en un point, vous devriez être capable de deviner la forme partout ailleurs simplement en observant suffisamment de points de données. Cela fonctionne magnifiquement pour certaines choses, comme prédire l'énergie nécessaire pour construire une molécule. Mais pour une propriété spécifique appelée « gap d'énergie » (ou bande interdite) — qui est essentiellement l'interrupteur magique qui décide si un matériau est un conducteur, un isolant ou un semi-conducteur (comme le silicium dans votre téléphone) — les robots continuent de heurter un mur. Peu importe la quantité de données qu'on leur injecte, leurs prédictions sont souvent erronées de beaucoup, manquant parfois la cible de 0,4 à 0,5 électron volt (eV). Puisque la lumière visible s'étend sur une plage d'environ 1 eV, cette erreur est énorme ; c'est comme essayer de régler une radio et de tomber sur de la friture au lieu de la chanson que vous voulez entendre.

Cet article examine pourquoi les robots échouent à cette tâche spécifique. Les auteurs, une équipe de chercheurs de l'Université de Toronto et d'autres institutions, soutiennent que le problème n'est pas que les robots ne sont pas assez intelligents ou qu'ils n'ont pas vu assez de données. Au lieu de cela, ils suggèrent que la « colline lisse » que les robots tentent de gravir n'existe pas réellement pour les gaps d'énergie. Ils ont découvert que l'espace chimique pour ces propriétés ressemble plutôt à une mosaïque brisée d'îles disjointes. Lorsque les chercheurs ont essayé d'entraîner leurs modèles sur différents types de structures cristallines (comme la structure de type sel gemme par rapport à la structure de type blende de zinc), ajouter plus de données n'a pas aidé ; cela a même empiré les prédictions. Ils ont découvert que la nature fondamentale des électrons et des atomes crée des sauts brusques et soudains dans les propriétés qui ne peuvent pas être lissés par de simples mathématiques. L'article suggère que pour corriger cela, nous ne pouvons pas simplement jeter plus de données sur le problème ; nous devons enseigner aux robots les véritables règles de la physique quantique (le Hamiltonien) qui régissent ces sauts, plutôt que de simplement leur demander de deviner en se basant sur des motifs.

L'illusion d'une colline lisse

Pendant longtemps, les scientifiques ont cru que le monde de la chimie était un paysage géant et continu. Imaginez une colline lisse et vallonnée où, si vous connaissez la hauteur en un point, vous pouvez facilement deviner la hauteur quelques pas plus loin. Cette idée, appelée « hypothèse d'échelle », est le fondement de la découverte moderne des matériaux. L'idée était que si nous collections simplement assez de points de données — des millions de structures cristallines et leurs propriétés — nos modèles d'intelligence artificielle (IA) pourraient apprendre à parcourir cette colline parfaitement. Ils pourraient prédire comment un nouveau matériau, jamais vu auparavant, se comporterait simplement en regardant ses voisins.

Cette stratégie a été un immense succès pour certaines propriétés. Par exemple, prédire l'« énergie de formation » (l'énergie nécessaire pour construire un matériau à partir de rien) revient à marcher sur un chemin lisse et bien pavé. Les modèles d'IA peuvent le faire avec une précision quasi parfaite, correspondant aux résultats des simulations physiques les plus complexes. Mais lorsqu'il s'agit de prédire le « gap d'énergie », l'IA se heurte à un mur de briques. Le gap d'énergie est une propriété critique qui détermine comment un matériau interagit avec la lumière et l'électricité. C'est la différence entre un matériau qui bloque l'électricité (un isolant), un qui la conduit librement (un métal), et un qui peut être allumé et éteint (un semi-conducteur).

Malgré une décennie de tentatives et l'injection de jeux de données massifs dans les modèles, l'erreur de prédiction des gaps d'énergie reste obstinément élevée, oscillant autour de 0,4 à 0,5 eV. Pour donner une perspective, toute la gamme de couleurs que nous pouvons voir avec nos yeux ne fait qu'environ 1 eV de large. Une erreur de 0,5 eV signifie que l'IA pourrait prédire qu'un matériau est transparent alors qu'il est en réalité opaque, ou qu'il brille en rouge alors qu'il devrait être bleu. La question posée par l'article est simple : pourquoi l'IA échoue-t-elle si mal à cette tâche spécifique alors qu'elle réussit si bien pour tout le reste ?

La mosaïque brisée

Les auteurs de cet article ont décidé de cesser de supposer que la colline était lisse et de commencer à regarder le sol avec un microscope. Ils ont utilisé un ensemble de données complet de semi-conducteurs binaires (matériaux composés de deux éléments) et des modèles d'IA de pointe pour cartographier le paysage. Ce qu'ils ont trouvé est frappant : le paysage pour les gaps d'énergie n'est pas du tout une colline lisse. C'est une collection d'îles disjointes.

Imaginez que vous essayez d'apprendre à un robot à reconnaître la différence entre un « rocher » et une « plume ». Si vous lui montrez un million de rochers et un million de plumes, il apprend le motif. Mais que se passe-t-il si vous lui montrez soudainement un hybride « roche-plume » ? Si le robot n'a vu que des rochers purs et des plumes pures, il pourrait être confus. Les auteurs ont découvert que les différentes structures cristallines (la façon dont les atomes sont disposés) sont comme ces différentes îles. Ils ont constaté que les modèles entraînés sur un type de structure, comme la « blende de zinc », échouaient lamentablement lorsqu'on leur demandait de prédire les propriétés d'un autre type, comme le « sel gemme », même si les ingrédients chimiques étaient les mêmes.

En fait, ajouter plus de données provenant de différentes structures n'a pas aidé ; cela a empiré les choses. C'est ce qu'on appelle l'« apprentissage négatif ». C'est comme essayer d'enseigner l'algèbre, la géométrie et le calcul à un élève en mélangeant tout dans une seule leçon sans expliquer les règles. L'élève est confus et commence à tout se tromper. L'article montre que lorsque l'on mélange des données de différentes structures cristallines, l'IA tente de faire une moyenne, créant une prédiction qui est fausse pour tout le monde. L'« espace latent » (la carte interne que l'IA construit dans son cerveau) montre que ces structures occupent des régions complètement séparées et non superposées. Il n'y a aucun chemin lisse pour les relier.

Le gouffre quantique

Pourquoi le paysage est-il si brisé ? L'article attribue le problème à la nature fondamentale des électrons. Dans le monde quantique, les électrons vivent dans des « orbitales » spécifiques et discrètes (comme les échelons d'une échelle). On ne peut pas se tenir à mi-chemin entre deux échelons. Lorsque vous modifiez légèrement les ingrédients d'un matériau, les niveaux d'énergie de ces électrons ne glissent pas de manière fluide ; ils sautent.

Les auteurs ont lancé une simulation où ils changeaient lentement un élément en un autre (un processus appelé « interpolation alchimique »). Ils ont observé ce qui arrivait à l'énergie totale du matériau par rapport au gap d'énergie. L'énergie totale se comportait comme un toboggan lisse, changeant doucement à mesure que les atomes changeaient. Mais le gap d'énergie ? Il se comportait comme une falaise. Dès que le nombre d'électrons changeait ne serait-ce qu'un tout petit peu, le gap d'énergie s'effondrait soudainement ou sautait vers une valeur complètement différente. Cela se produit parce que les électrons doivent se réorganiser en de nouveaux niveaux d'énergie distincts, et cette réorganisation crée une « cassure » ou un saut brusque dans les données.

À cause de ces sauts brusques, le tableau périodique (le tableau de tous les éléments) n'est pas un gradient lisse pour les gaps d'énergie. C'est une collection de domaines isolés. L'article montre que même au sein d'un même groupe d'éléments, comme les halogénures ou les chalcogénures, les tendances sont désordonnées et imprévisibles. Par exemple, alors que le gap d'énergie des composés de sodium (Na) pourrait diminuer de manière fluide lorsque vous changez l'élément partenaire, les composés de magnésium (Mg) pourraient faire quelque chose de complètement différent, brisant totalement le schéma. L'IA, qui repose sur la recherche de motifs lisses pour faire des suppositions, n'a rien sur quoi s'appuyer.

L'illusion de la continuité

L'argument central de l'article est que l'approche par les « Big Data » a atteint une limite. La croyance dominante était que si nous collections simplement assez de données, l'IA finirait par comprendre la physique. Mais les auteurs soutiennent qu'on ne peut pas résoudre un problème de discontinuité quantique avec un problème de continuité statistique. L'IA essaie de tracer une ligne lisse à travers un ensemble de points qui se trouvent en réalité sur des îles différentes et déconnectées. Peu importe le nombre de points ajoutés, si les îles ne se touchent pas, la ligne sera toujours fausse.

L'article exclut explicitement l'idée que le problème soit simplement un manque de données ou un manque de complexité du modèle. Ils ont testé cela en utilisant les modèles les plus avancés disponibles (comme coGN et CGCNN) et en les entraînant sur des ensembles de données massifs. Les résultats ont été les mêmes : le seuil d'erreur est resté inchangé. Ils ont également écarté l'idée que le problème ne soit dû qu'à la complexité des structures cristallines, car même lorsqu'ils ont simplifié la tâche pour ne regarder que le « point gamma » (un endroit spécifique dans la carte d'énergie), les erreurs persistaient.

Les auteurs suggèrent que la solution n'est pas de collecter plus de données, mais de changer la question. Au lieu de demander à l'IA de prédire directement le gap d'énergie (qui est une propriété dentelée et discontinue), nous devrions lui demander de prédire la physique sous-jacente qui crée le gap d'énergie. Ils proposent que nous devions enseigner à l'IA à apprendre directement le « Hamiltonien » (la description mathématique du système quantique). Si l'IA peut apprendre les règles lisses et continues de l'interaction des électrons, elle pourra ensuite calculer le gap d'énergie dentelé à partir de ces règles. C'est la différence entre essayer de mémoriser les prévisions météo pour chaque jour de l'année et apprendre les lois de la thermodynamique qui causent réellement la météo.

Conclusion : Une nouvelle voie à suivre

Cet article sert de rappel à la réalité pour le domaine de la science des matériaux. Il suggère que le rêve d'un modèle universel piloté par les données, capable de prédire n'importe quelle propriété de n'importe quel matériau, est erroné lorsqu'il s'agit de propriétés électroniques comme les gaps d'énergie. L'« illusion de la continuité chimique » n'est que cela : une illusion. Le monde quantique est discret, et nos méthodes actuelles qui le traitent comme un paysage lisse et continu sont fondamentalement inadaptées.

Les auteurs ne prétendent pas avoir résolu le problème pour le moment. Au contraire, ils ont identifié la condition limite : la régression simple sur les coordonnées atomiques ne peut pas résoudre les discontinuités intrinsèques des phénomènes de valeurs propres. Ils suggèrent que l'avenir du domaine réside dans l'intégration plus profonde de la mécanique quantique dans l'apprentissage automatique, peut-être en demandant à l'IA de prédire directement les éléments de matrice continus du Hamiltonien plutôt que la propriété finale. Tant que nous ne le ferons pas, l'IA continuera de lutter contre les bords tranchants et dentelés du monde quantique, peu importe la quantité de données que nous lui injecterons. L'article se termine par un message clair : nous devons cesser d'essayer de lisser les falaises et commencer à apprendre comment les escalader.