Continuous SUN (Stable, Unique, and Novel) Metric for Generative Modeling of Inorganic Crystals

Cet article propose une métrique continue unifiée « cSUN » (Stable, Unique et Nouvelle) pour évaluer de manière plus nuancée et robuste les modèles génératifs de cristaux inorganiques, surmontant les limites des approches binaires traditionnelles et facilitant l'optimisation par apprentissage par renforcement.

L'essentiel

Le Grand Défi : Trouver de nouveaux matériaux

Imaginez que vous êtes un chef cuisinier (ou un architecte) qui cherche à créer le plat (ou le bâtiment) parfait pour sauver le monde, par exemple pour stocker l'énergie solaire ou capturer le CO2. Le problème ? Il existe une quantité astronomique de combinaisons d'ingrédients (atomes) possibles. Essayer de les tester une par une en laboratoire, c'est comme essayer de goûter chaque étoile du ciel : cela prendrait des siècles.

C'est là que les modèles génératifs (des intelligences artificielles) entrent en jeu. Ils apprennent à connaître les recettes existantes et essaient d'en inventer de nouvelles tout seul.

Le Problème : Comment juger le travail de l'IA ?

Jusqu'à présent, pour savoir si une IA était bonne, les scientifiques utilisaient trois règles simples, comme un jury de concours :

1. Unicité (U) : Est-ce que l'IA a créé des plats différents les uns des autres, ou est-ce qu'elle répète toujours la même chose ?
2. Nouveauté (N) : Est-ce que le plat est vraiment nouveau, ou est-ce juste une copie d'un plat qu'on connaît déjà ?
3. Stabilité (S) : Est-ce que le plat tient debout ? (En science, cela signifie : est-ce que la structure atomique ne va pas s'effondrer immédiatement ?)

Le problème, c'est que ces règles étaient trop brutes et binaires (tout ou rien). C'était comme un jury qui dit :

• "Ce plat est soit parfait, soit nul."
• "Si le plat est à 0,1 seconde de tomber, c'est nul. S'il est à 0,2 seconde, c'est aussi nul."
• "Si vous changez un grain de sel de 1 millimètre, le jury dit que c'est un plat totalement différent."

Cela posait deux gros soucis :

• On perdait des idées géniales qui étaient presque parfaites (juste un peu instables).
• On ne pouvait pas bien classer les candidats : comment savoir qui est le "meilleur" parmi 1000 plats "parfaits" ?

La Solution : Le "cSUN" (La Règle du Jaugeur Continu)

Les auteurs de ce papier (de l'Imperial College London) ont inventé une nouvelle façon de noter, qu'ils appellent cSUN (Stable, Unique, Novel continu).

Au lieu d'un interrupteur "Marche/Arrêt", ils ont créé un volume de contrôle (un gradateur) :

1. Pour l'Unicité et la Nouveauté (Le Jaugeur de Différence) :
   Au lieu de dire "C'est pareil" ou "C'est différent", ils mesurent à quel point c'est différent.

   • Analogie : Imaginez que vous comparez deux voitures. L'ancienne méthode disait : "C'est la même voiture" ou "C'est une autre". La nouvelle méthode dit : "Cette voiture est à 5% différente de l'autre, celle-ci à 45%". Cela permet de voir les nuances et de ne pas se tromper à cause d'un petit détail (comme un boulon déplacé).

2. Pour la Stabilité (Le Jaugeur de Chute) :
   Au lieu de rejeter tout ce qui est un peu instable, ils donnent un score qui diminue doucement.

   • Analogie : Imaginez un château de cartes. Si une carte bouge de 1 mm, l'ancien jury disait "Château détruit !". Le nouveau jury dit : "Le château est encore debout, mais il est un peu fragile. On lui donne 8/10 au lieu de 0/10". Cela permet de garder des idées intéressantes qui méritent d'être améliorées.

Pourquoi c'est génial ? (Les Avantages)

• Plus de détails : Au lieu de trier les candidats en "Gagnants" et "Perdants", on peut les classer du 1er au 1000ème. On voit qui est le vrai champion.
• Moins de triche (Reward Hacking) : C'est le point le plus important. Quand on entraîne une IA avec une règle trop stricte (tout ou rien), l'IA trouve des failles pour tricher.
  • Exemple : Si l'IA doit juste "être stable", elle va peut-être inventer 1000 fois le même plat bizarre juste pour gagner le point.
  • Avec le nouveau système cSUN, on peut dire à l'IA : "Je veux de la stabilité, mais je veux aussi de la diversité". On ajuste les boutons (les poids) pour l'obliger à explorer plus de possibilités sans tricher.

En Résumé

Ce papier propose de passer d'un système de notation scolaire rigide (0 ou 20) à un système de notation plus nuancé et intelligent (de 0 à 20 avec des demi-points et des bonus).

Grâce à cette nouvelle méthode, les scientifiques peuvent :

1. Mieux voir les petites différences entre les matériaux créés par l'IA.
2. Ne pas jeter les idées prometteuses juste parce qu'elles sont "presque" parfaites.
3. Utiliser cette note pour "entraîner" l'IA (comme un coach sportif) pour qu'elle trouve les meilleurs matériaux possibles sans se contenter de tricher.

C'est un outil essentiel pour accélérer la découverte de matériaux qui pourraient nous aider à résoudre les crises climatiques et énergétiques.

Résumé technique

1. Problématique

Le domaine de la science des matériaux fait face au défi de concevoir efficacement des cristaux fonctionnels dans un espace chimique immense. Les modèles génératifs récents permettent d'explorer cet espace, mais leur évaluation repose sur des métriques traditionnelles (Unicité, Nouveauté, Stabilité, ou SUN) qui présentent des limitations majeures :

• Nature binaire et seuils heuristiques : Les métriques d'unicité ($U$) et de nouveauté ($N$) actuelles utilisent des comparaisons binaires (identique/non identique) basées sur des outils comme StructureMatcher (pymatgen). Cela dépend de seuils arbitraires, ne quantifie pas le degré de similarité, et est sensible aux petites perturbations des coordonnées atomiques.
• Manque d'invariance : La métrique d'unicité moyenne n'est pas invariante par permutation des échantillons, ce qui rend l'évaluation instable selon l'ordre de génération.
• Évaluation de la stabilité trop rigide : La stabilité ($S$) est souvent évaluée de manière binaire (stable si l'énergie au-dessus de l'enveloppe convexe $E_{hull} \le \tau$, sinon instable). Cela conduit à rejeter entièrement des candidats potentiellement intéressants dont l'énergie est légèrement supérieure au seuil, et ne distingue pas les structures marginalement instables des structures totalement impraticables.
• Optimisation par Renforcement (RL) : L'utilisation de ces métriques binaires comme fonctions de récompense en apprentissage par renforcement favorise le « reward hacking » (triche de récompense), où le modèle se concentre sur quelques compositions spécifiques pour maximiser le score, au détriment de la diversité.

2. Méthodologie

Les auteurs proposent une refonte complète des métriques d'évaluation en les rendant continues et en les intégrant dans une métrique unifiée cSUN.

A. Unicité et Nouveauté Continues ($cU$ et $cN$)

Au lieu de distances discrètes (0 ou 1), les auteurs utilisent des fonctions de distance continues :

• Distance compositionnelle ($d_{elm}$) : Basée sur le coût de transport optimal entre les histogrammes d'éléments, pondéré par la similarité chimique.
• Distance structurelle ($d_{am}$) : Basée sur la distance $L_\infty$ entre les vecteurs de distance minimale moyenne (AMD), qui servent d'empreinte structurelle.
• Distance combinée ($d_{elm+am}$) : Une combinaison linéaire pondérée de $d_{elm}$ et $d_{am}$ pour évaluer simultanément la composition et la structure.
• Formulation : L'unicité et la nouveauté sont calculées comme la moyenne des distances (ou le minimum pour la nouveauté) normalisées dans l'intervalle $[0, 1]$, plutôt que comme des indicateurs binaires.

B. Stabilité Continue ($cS$)

La métrique de stabilité binaire est remplacée par une fonction continue décroissante de $E_{hull}$ :

• $cS = 1$ si $E_{hull} \le 0$.
• $cS$ diminue linéairement de 1 à 0 lorsque $E_{hull}$ augmente de 0 jusqu'à un seuil $\tau$ (fixé ici à la 99,9e percentile de la distribution des données de test MP20, soit ~0,43 eV/atom).
• $cS = 0$ au-delà de ce seuil.
• Cela permet de pénaliser progressivement les structures moins stables au lieu de les éliminer brutalement.

C. Métrique Unifiée cSUN

Les auteurs définissent le cSUN comme le produit pondéré des trois composantes continues :
$$cSUN(x_i) = cS(x_i)^{w_S} \cdot cU(x_i)^{w_U} \cdot cN(x_i)^{w_N}$$
où $w_S, w_U, w_N$ sont des hyperparamètres ajustables permettant de prioriser la stabilité, l'unicité ou la nouveauté selon les besoins de l'utilisateur.

D. Validation Théorique et Expérimentale

• Propriétés théoriques : Les nouvelles distances satisfont l'invariance isométrique, la continuité de Lipschitz (robustesse aux perturbations atomiques) et l'invariance par permutation des échantillons (contrairement à la métrique binaire classique).
• Benchmark : Évaluation de sept modèles génératifs (CDVAE, DiffCSP, MatterGen, Chemeleon2, etc.) entraînés sur le jeu de données MP20.
• Apprentissage par Renforcement (RL) : Utilisation de cSUN comme fonction de récompense pour guider le modèle Chemeleon2 via l'algorithme GRPO (Group Relative Policy Optimization).

3. Résultats Clés

• Granularité et Insights : Les métriques continues révèlent des limitations invisibles aux métriques binaires. Par exemple, le modèle CDVAE obtient de bons scores d'unicité binaire mais de mauvais scores continus, indiquant qu'il génère des structures très concentrées dans l'espace chimique plutôt que dispersées.
• Identification de candidats prometteurs : L'approche continue permet de classer finement les échantillons. Les modèles identifiés comme « top » par cSUN (ex: MatterGen) produisent des structures chimiquement valides (filtre SMACT) et thermodynamiquement plausibles, contrairement aux modèles optimisés uniquement pour la nouveauté binaire qui génèrent souvent des cristaux physiquement irréalistes.
• Réduction du Reward Hacking : En RL, l'optimisation directe de métriques binaires ou continues non pondérées conduit à une forte concentration sur quelques compositions (ex: 900 échantillons de la même composition). En augmentant le poids de l'unicité ($w_U = 10$) dans cSUN, les auteurs ont réussi à :
  • Augmenter le nombre de compositions uniques de 6,9 fois.
  • Réduire drastiquement la fréquence des compositions dominantes.
  • Atteindre un optimum local supérieur (meilleur score global) que l'optimisation directe, évitant ainsi les minima locaux.
• Flexibilité : La métrique cSUN permet d'ajuster le compromis entre stabilité et nouveauté. Par exemple, en augmentant le poids de la stabilité ($w_S$), le classement des modèles change pour favoriser ceux produisant des structures plus proches des données de référence stables.

4. Contributions Principales

1. Définition de métriques continues : Introduction de $cU$, $cN$ et $cS$ remplaçant les approches binaires, offrant une mesure plus fine et robuste de la similarité et de la stabilité.
2. Métrique unifiée cSUN : Création d'un score unique, ajustable et continu, surpassant la métrique SUN binaire traditionnelle en termes de distribution de scores et de capacité de discrimination.
3. Preuve théorique : Démonstration que les nouvelles métriques satisfont des critères mathématiques essentiels (invariance, continuité) que les métriques existantes violent.
4. Application en RL : Démonstration que cSUN, grâce à ses poids ajustables, est une fonction de récompense supérieure pour l'apprentissage par renforcement, capable de prévenir le reward hacking et d'améliorer la diversité des générations.

5. Signification et Impact

Ce travail établit un nouveau standard pour l'évaluation des modèles génératifs de matériaux. En passant d'une évaluation binaire « tout ou rien » à une approche continue et nuancée, les chercheurs peuvent :

• Mieux comprendre la distribution réelle des échantillons générés.
• Identifier des candidats de découverte de matériaux qui seraient autrement rejetés par des seuils trop stricts.
• Guider plus efficacement les modèles d'IA vers des espaces chimiques à la fois novateurs, stables et diversifiés.

L'outil proposé (implémenté dans le package Python xtalmet) offre une base robuste pour le développement futur de modèles génératifs, en particulier dans le cadre de l'apprentissage par renforcement où la qualité de la fonction de récompense est critique.