AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials

Cet article présente AtomWorld, une référence évaluant les modèles de langage de grande taille sur les modifications de structures de matériaux cristallins, qui révèle que, bien que des modèles comme Claude Opus 4.6 excellent dans des tâches de base, leur réussite chute considérablement face à un raisonnement spatial complexe, suggérant qu'ils sont mieux adaptés en tant que copilotes scientifiques qu'en tant qu'agents autonomes.

L'essentiel

Imaginez que vous possédiez un manuel d'instructions magique et gigantesque pour construire des objets à partir de minuscules briques Lego invisibles. Ces briques sont des atomes, et les instructions sont écrites dans un code spécial appelé « fichier CIF ». Les scientifiques utilisent ces fichiers pour concevoir de nouveaux matériaux, comme des batteries plus performantes ou de meilleurs panneaux solaires.

Récemment, nous avons doté les ordinateurs d'une nouvelle superpuissance : les modèles de langage de grande taille (LLM). Imaginez-les comme des robots extrêmement intelligents capables de lire et d'écrire en langage humain. Ils excellent pour répondre à des questions telles que : « Quelle est la formule chimique du sel de table ? » ou « Raconte-moi une histoire sur un cristal. »

Mais voici la grande question que pose l'article : Ces robots intelligents peuvent-ils réellement construire et modifier ces structures atomiques en Lego lorsqu'on le leur demande ?

Le Problème : Lire vs Agir

Les auteurs ont réalisé que, bien que ces robots soient excellents pour parler de science, ils n'ont pas été testés sur la capacité à faire le travail physique de réarrangement des atomes. C'est comme avoir un chef qui peut décrire parfaitement une recette mais échoue lorsqu'on lui demande de réellement émincer un oignon ou de retourner une crêpe.

Dans le monde réel, les scientifiques ont souvent besoin d'apporter de petits changements précis à une structure : « Déplacez cet atome ici », « Faites pivoter ce groupe d'atomes » ou « Échangez ces deux éléments ». Cela nécessite un sens aigu de l'espace en trois dimensions et de la géométrie, ce qui est très différent de simplement écrire du texte.

La Solution : AtomWorld (Le Terrain d'Entraînement)

Pour tester cela, les chercheurs ont construit un terrain de jeu appelé AtomWorld.

Imaginez AtomWorld comme un niveau de jeu vidéo conçu spécifiquement pour ces robots IA.

• Le Déroulement : Le jeu fournit au robot une structure de Lego de départ et une commande simple, comme « Faites pivoter le bloc rouge de 90 degrés vers la droite ».
• L'Objectif : Le robot doit produire la nouvelle structure de Lego modifiée dans le format de code correct.
• Les Règles : Le jeu vérifie la réponse du robot avec une règle stricte. A-t-il déplacé le bon bloc ? L'angle est-il correct ? La nouvelle structure est-elle stable ?

Ils ont créé 2 500 niveaux différents (appelés AtomMotor-2K) couvrant dix types de mouvements de base, allant des plus simples (comme « ajouter un bloc ») aux plus difficiles (comme « faire pivoter tout un groupe de blocs autour d'un point spécifique »).

Ce Qu'ils Ont Découvert : Le Fossé des « Compétences Motrices »

Lorsqu'ils ont soumis les meilleurs modèles d'IA à ce test, les résultats ont été un mélange de bonnes et de mauvaises nouvelles :

1. Les Mouvements « Faciles » : Pour des tâches simples comme ajouter un nouvel atome ou en retirer un, les robots étaient étonnamment bons. Ils ont réussi la plupart du temps.
2. Les Mouvements « Difficiles » : Lorsque la tâche nécessitait un raisonnement spatial complexe — comme faire pivoter un groupe d'atomes ou rapprocher un atome d'un autre — les robots ont beaucoup peiné. Leur taux de réussite a chuté en dessous de 12 % pour les tâches de rotation.
   • L'Analogie : C'est comme demander à un robot de « faire tourner une toupie sur une table ». Il sait peut-être ce qu'est une toupie, mais lorsqu'il tente de la faire tourner, il renverse souvent la table ou la fait tourner dans la mauvaise direction.
3. La Taille Compte (Mais Pas Tout) : Les modèles d'IA plus grands et plus puissants ont généralement mieux réussi, mais même les plus grands modèles ont échoué aux tâches spatiales les plus difficiles. Cela suggère que rendre le robot simplement « plus intelligent » (en ajoutant plus de données) ne suffit pas ; il a besoin d'un type de « cerveau » différent pour la géométrie 3D.

Le Verdict : Copilotes, Pas Pilotes

L'article conclut qu'à l'heure actuelle, ces modèles d'IA ne sont pas prêts à être les principaux pilotes de la découverte scientifique. On ne peut pas leur faire confiance pour concevoir de manière autonome de nouveaux matériaux complexes car ils continuent de faire des erreurs géométriques.

Cependant, ils sont d'excellents copilotes. Ils peuvent aider les scientifiques à ébaucher des idées, vérifier des erreurs simples ou gérer les parties ennuyeuses du travail, mais un expert humain doit vérifier la structure 3D finale.

Pourquoi Cela Compte

Les auteurs ont construit AtomWorld non pas seulement pour noter les robots, mais pour leur offrir un lieu où s'entraîner. Tout comme un humain apprend à conduire en pratiquant sur un parking avant de prendre l'autoroute, ces modèles d'IA ont besoin d'un lieu comme AtomWorld pour apprendre à « déplacer » correctement les atomes.

L'article suggère que l'IA future pourrait s'améliorer dans ce domaine en apprenant à utiliser des outils (comme utiliser une calculatrice plutôt que de faire des maths de tête) ou en visualisant des images 3D au lieu de simplement lire des descriptions textuelles. Mais pour l'instant, les « compétences motrices » de ces scientifiques numériques sont encore en cours de développement.

Résumé technique

Résumé technique : AtomWorld : Une référence pour évaluer le raisonnement spatial dans les modèles de langage de grande taille sur les structures matérielles

1. Énoncé du problème

Bien que les modèles de langage de grande taille (LLM) aient démontré leur potentiel dans la recherche scientifique pour la récupération de connaissances et la prédiction de propriétés, les références existantes se concentrent largement sur des tâches perceptuelles ou basées sur les connaissances. Elles ignorent largement les tâches de modélisation, qui sont fondamentales pour la recherche scientifique réelle. En science des matériaux, la construction et la manipulation de structures atomiques constituent une étape hautement créative mais sous-automatisée.

Les applications actuelles des LLM en cristallographie (par exemple, CrystaLLM, MatterGPT) se concentrent principalement sur la génération de structures cristallines entières en une seule étape. Cependant, la modélisation réaliste nécessite souvent une construction incrémentale par le biais de séquences de modifications structurelles (par exemple, créer des cristaux défectueux, des interfaces ou des hétérostructures empilées). Cela exige la capacité de raisonner sur et d'exécuter des opérations structurées dans un espace 3D continu. La question centrale abordée par ce travail est : Dans quelle mesure les LLM peuvent-ils exécuter des séquences d'opérations modifiant des structures atomiques dans un espace continu ?

2. Méthodologie

2.1. La référence AtomWorld

Les auteurs introduisent AtomWorld, une référence conçue pour évaluer les capacités des LLM en matière de modification de structures. Le flux de travail comprend deux étapes :

1. Inférence : Le modèle reçoit une structure cristalline d'entrée (au format Fichier d'Information Cristallographique, CIF) et une invite d'action en langage naturel. Il doit générer une représentation de structure prédite.
2. Évaluation : Un pipeline de validation traite la sortie :
   • Validation du format : S'assure que la sortie est un bloc CIF valide.
   • Vérification de la composition : Vérifie les éléments et les comptes d'atomes corrects.
   • Appariement structurel : Utilise un alignement sensible à la symétrie (via StructureMatcher de pymatgen) pour comparer la structure générée à la vérité terrain. Une prédiction est correcte uniquement si tous les contrôles réussissent.

Métriques :

• Taux de réussite : Le pourcentage de cas de test réussissant toutes les étapes de validation.
• Distance maximale moyenne (Max Dist) : Pour les sorties structurellement valides, cela mesure le déplacement atomique maximal par paire après un alignement optimal. Cela est préféré à la RMSD car il capture mieux les erreurs d'atome unique dans des structures par ailleurs correctes.

2.2. Génération de données (AtomMotor-2K)

La référence utilise un générateur qui crée des triplets « avant-action-après » à partir d'un pool de structures (échantillonnés à partir du Materials Project).

• Portée : L'ensemble de test principal, AtomMotor-2K, contient 2 500 questions.
• Actions : Il couvre 10 actions fondamentales réparties en quatre catégories de modélisation :
  • Défauts ponctuels et dopage : changer, supprimer, ajouter, insérer entre, échanger.
  • Génération de surface : supprimer en dessous.
  • Perturbation de structure : déplacer, déplacer vers, faire tourner autour.
  • Création de supercellule : super cell.
• Tests auxiliaires : Pour isoler des capacités spécifiques, les auteurs ont conçu :
  • Tests de coordonnées pures : Tâches simplifiées utilisant des coordonnées brutes pour mesurer la difficulté géométrique inhérente.
  • Tests de littératie CIF : CIF-Repair (réparation de fichiers corrompus) et CIF-Gen (génération de prototypes standards).
  • Score de compétence chimique (CCS) : Mesure les connaissances chimiques latentes en distinguant les descriptions structurelles précises des imprécises.
  • StructProp : Tâches nécessitant une modification structurelle pour atteindre un changement de propriété spécifique (par exemple, bande interdite).

2.3. Configuration expérimentale

L'étude a évalué une gamme diversifiée de modèles, y compris des modèles fermés de pointe (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro) et des bases de référence open source (série Qwen-3, Llama-3 70B, Deepseek-V3.2).

• Agents augmentés par des outils : Un cadre préliminaire a été testé où un LLM (Deepseek) utilisait pymatgen via la génération de code et la RAG pour effectuer des actions, plutôt que de générer du texte directement.
• Aucun ajustement fin : Toutes les évaluations ont été effectuées sur des modèles zero-shot utilisant les paramètres API par défaut.

3. Résultats clés

3.1. Performance sur AtomMotor-2K

• Performance globale : Claude Opus 4.6 a généralement obtenu les meilleurs résultats.
• Stratification de la difficulté : Les actions ont été catégorisées par taux de réussite :
  • Facile : changer, supprimer, échanger, ajouter (taux de réussite élevés).
  • Modéré : déplacer, déplacer vers, insérer entre.
  • Difficile : supprimer en dessous, faire tourner autour (taux de réussite inférieurs à 12 % pour la rotation).
• Impact de la complexité : Les taux de réussite diminuent nettement avec l'augmentation de la complexité de la modélisation. Les opérations impliquant des relations spatiales complexes (comme la rotation) montrent des taux de réussite particulièrement faibles.
• Anomalie de la supercellule : La tâche « super cell » a montré une forte variance (de 4 % à 98 % de réussite), car elle est simultanément « facile » (répétition à grande échelle) et « difficile » (nécessite une sortie à long contexte).
• Mise à l'échelle : Les modèles plus grands ont généralement atteint des taux de réussite plus élevés et des déplacements plus faibles. Cependant, la conception architecturale et les stratégies d'entraînement (par exemple, Qwen3-32B surpassant Llama3-70B) se sont révélées aussi importantes que la taille des paramètres.

3.2. Insights diagnostiques

• Raisonnement spatial : Les LLM abordent principalement les tâches structurelles par le biais d'algèbre linéaire explicite et d'arithmétique étape par étape plutôt que par une visualisation spatiale intuitive. Ils éprouvent des difficultés avec les dépendances non linéaires et les manipulations de coordonnées.
• Tests de coordonnées pures : Les modèles ont bien performé sur les ajouts simples (déplacer, déplacer vers) mais ont échoué de manière significative sur faire tourner autour, tentant souvent de calculer des matrices de rotation de manière incohérente.
• Littératie CIF : La plupart des modèles ont démontré une capacité fondamentale solide dans le format CIF (plus de 90 % de réussite dans les tâches de réparation), suggérant que l'échec dans les tâches de modification n'est pas dû à une ignorance du format mais à des limitations du raisonnement spatial.
• Agents augmentés par des outils : L'intégration d'outils (génération de code avec pymatgen) a amélioré les performances (par exemple, le taux de réussite de la rotation de Deepseek est passé de 6,8 % à 18 %), mais les gains étaient limités pour les actions complexes.

3.3. Tâches orientées vers les propriétés (StructProp)

La plupart des LLM n'ont pas réussi à atteindre plus de 50 % de réussite dans les tâches nécessitant une modification structurelle pour altérer des propriétés spécifiques (bande interdite, module de compressibilité). Bien que les modèles puissent suggérer des stratégies plausibles basées sur des définitions chimiques, ils manquaient d'une compréhension profonde de la structure électronique sous-jacente requise pour garantir le résultat.

4. Contributions clés

1. Référence AtomWorld : La première référence avec des métriques vérifiables et quantitatives spécifiquement conçues pour évaluer les « compétences motrices » des LLM dans la modélisation de structures atomistiques.
2. Jeu de données AtomMotor-2K : Un ensemble de test standardisé de 2 500 tâches couvrant des opérations structurelles fondamentales, généré via un pipeline flexible.
3. Cadre diagnostique : Une suite de tests auxiliaires (coordonnées pures, littératie CIF, CCS) pour décomposer et analyser les goulots d'étranglement spécifiques du raisonnement des LLM.
4. Preuves empiriques : Évaluation systématique montrant que les LLM contemporains sont actuellement mieux adaptés en tant que copilotes pour la modélisation de structures matérielles plutôt qu'en tant qu'agents entièrement autonomes pour la manipulation spatiale complexe.

5. Signification et revendications

Les auteurs positionnent AtomWorld comme un terrain de jeu fondamental pour le développement de futurs modèles conscients de la structure, y compris ceux utilisant l'apprentissage par renforcement (RL) et des approches agentiques.

• Limitations actuelles : Les résultats suggèrent que les LLM manquent de perception intuitive des structures atomiques et éprouvent des difficultés avec les dépendances spatiales. Les représentations purement textuelles, bien que complètes en informations, peuvent être une interface inefficace pour la modélisation structurelle par rapport aux modalités perceptuelles.
• Directions futures : La référence sert de terrain d'essai pour :
  • Apprentissage par renforcement : Utiliser les métriques d'évaluation comme récompenses pour entraîner des agents.
  • Conception augmentée par des outils : Améliorer l'intégration des outils de chimie computationnelle.
  • Approches multimodales : Explorer si des entrées visuelles (visualisations structurelles) peuvent surmonter les limitations du raisonnement basé uniquement sur le texte.
  • Modèles de diffusion : Investiguer si les LLM basés sur la diffusion, qui comprennent l'inversion du bruit, sont intrinsèquement meilleurs pour différencier les modifications structurelles valides des invalides.

L'article conclut que avant que les LLM puissent être déployés en tant qu'agents scientifiques autonomes pour une modélisation complexe et dynamique, la communauté doit d'abord conquérir ces tâches de modélisation structurelle vérifiables et développer des outils et des modalités mieux alignés sur les capacités des LLM.