MLIPilot: LLM-Driven Auto-Research for Machine-Learned Interatomic Potentials

L'article présente MLIPilot, un cadre de recherche automatique dans lequel des modèles de langage de grande taille capables d'appeler des outils optimisent de manière autonome des potentiels interatomiques appris par apprentissage automatique en proposant des modifications de code et en gérant des tâches de calcul haute performance sous des contraintes physiques strictes, transformant avec succès des bases initiales instables en modèles de qualité de production à travers divers benchmarks moléculaires et périodiques.

L'essentiel

Imaginez que vous essayez d'apprendre à un robot chef à cuisiner le repas parfait. Mais il ne s'agit pas d'un simple repas ; c'est un plat si complexe que si la température varie d'un seul degré, toute la cuisine explose.

Dans le monde de la science, ce « robot chef » est un programme informatique tentant de prédire comment les atomes se comportent (un Potentiel Interatomique Appris par Machine Learning, ou MLIP). Le « repas » est une simulation de matériaux. Le problème est que réussir cela est incroyablement difficile. Vous avez besoin que la simulation soit précise, mais aussi stable (pour qu'elle ne plante pas), et assez rapide pour être utile. Généralement, les scientifiques doivent passer des années à peaufiner le code à la main, en devinant ce qui fonctionne et ce qui ne fonctionne pas.

Entrez dans la scène avec MLIPilot.

L'article présente MLIPilot, un nouveau système où une IA « super intelligente » (un Grand Modèle de Langage) agit comme un chercheur autonome. Au lieu d'un scientifique humain qui devine, l'IA reçoit un ensemble d'outils et un carnet de règles strict, et on lui dit : « Va corriger cette recette jusqu'à ce qu'elle soit parfaite. »

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Juge Strict » (Le Tableau de Score)

Dans la plupart des expériences d'IA, l'ordinateur essaie simplement d'obtenir un score élevé. Mais en science, un score élevé ne suffit pas si le résultat est dangereux.

• L'analogie : Imaginez un examen de conduite. Vous pouvez conduire très vite (score élevé), mais si vous brûlez un feu rouge, vous échouez immédiatement, peu importe votre vitesse.
• Dans l'article : MLIPilot utilise un « tableau de score physiquement contraint ». Il possède des Portes de Sécurité (Hard Gates). Si l'IA crée un modèle qui est précis mais qui provoque l'éclatement des atomes (une « explosion » dans la simulation), le système le rejette instantanément. L'IA ne peut pas tromper le système ; elle doit satisfaire aux règles de sécurité avant de recevoir du crédit pour sa précision.

2. Le « Chef Autonome » (L'Agent IA)

L'IA (testée avec des modèles comme GPT-5.5, GPT-4.1, et des modèles open-source comme Mistral) ne se contente pas de deviner des chiffres. Elle lit le code, édite la recette et lance la simulation.

• Le processus :
  1. Proposer : L'IA dit : « Je pense que si nous changeons la façon dont nous mesurons l'énergie, cela fonctionnera mieux. »
  2. Éditer : Elle écrit réellement de nouvelles lignes de code.
  3. Tester : Elle lance la simulation sur un supercalculateur.
  4. Juger : Le « Juge Strict » vérifie les résultats.
  5. Décider : Si elle a passé les portes de sécurité et amélioré le score, le changement est conservé. Sinon, le système fait « Annuler » et revient à la version précédente.

3. Les moments « Eurêka ! » (Raisonnement Scientifique)

La partie la plus excitante de l'article est que l'IA n'a pas seulement ajusté des curseurs ; elle a découvert de nouvelles stratégies que les humains auraient pu manquer.

• Le défi QM7 (Le problème des « valeurs aberrantes ») : L'IA a reçu un ensemble de données avec des molécules très diverses. La recette standard a échoué.
  • Approche humaine : Peut-être essayer un taux d'apprentissage différent ?
  • Approche de l'IA (GPT-5.5) : « Ce jeu de données est bizarre. Changeons la forme du modèle lui-même. » L'IA a inventé une nouvelle version du modèle appelée ScaleShiftMACE et a remplacé la méthode mathématique utilisée pour calculer les erreurs (en passant à la perte de Huber) pour mieux gérer ces données étranges. C'était comme si le chef réalisait : « Ce n'est pas une soupe, c'est un ragoût, donc j'ai besoin d'une casserole différente. »
• Le défi Cu EMT (Le problème de la « Patience ») : Ici, l'IA a réalisé que le modèle avait simplement besoin de plus de temps pour apprendre. Elle a progressivement augmenté le temps d'entraînement de 50 étapes à 2 000 étapes, affinant lentement le modèle jusqu'à atteindre une précision quasi parfaite.

4. Les Résultats : Qui a gagné ?

Les chercheurs ont testé quatre différents « chefs » (modèles d'IA) :

• GPT-5.5 : Le grand vainqueur. Il a été le plus créatif, changeant la structure même du code et découvrant de nouvelles astuces mathématiques. Il a résolu les problèmes les plus difficiles en pensant « hors de la boîte ».
• Mistral-24B : Un modèle plus petit et open-source. Il n'a pas inventé de nouveaux tours, mais il a été incroyablement persistant. Il a continué à essayer la même stratégie (entraîner plus longtemps) jusqu'à ce que cela fonctionne, battant un modèle plus célèbre (GPT-4.1) sur une tâche.
• GPT-4.1 & Qwen3 : Ces modèles se sont principalement contentés de modifier des chiffres (comme changer légèrement la température) plutôt que de changer la recette elle-même. Ils ont amélioré les choses, mais pas de manière aussi spectaculaire que les meilleurs performeurs.

La Grande Conclusion

L'article affirme que l'IA peut désormais agir comme un scientifique autonome pour ce type spécifique de problème de physique.

• Elle ne se contente pas de suivre des ordres ; elle émet des hypothèses, teste, échoue, apprend et réessaie.
• Elle comprend que la sécurité (stabilité) est plus importante que d'obtenir simplement un score élevé.
• Elle montre que la « meilleure » IA n'est pas toujours la plus grande ; parfois, c'est celle qui est la plus créative ou la plus persistante qui gagne.

En bref, MLIPilot est un système qui permet à l'IA de gérer le travail ennuyeux, dangereux et répétitif de tâtonnements pour construire des simulations atomiques, libérant ainsi les scientifiques humains pour qu'ils puissent poser les grandes questions pendant que l'IA s'occupe de l'ingénierie.

Résumé technique

Résumé Technique : MLIPilot : Recherche Automatisée Pilotée par LLM pour les Potentiels Interatomiques Appris par Machine Learning

Énoncé du Problème

Le développement de potentiels interatomiques appris par machine learning (MLIP) de qualité production est un problème d'optimisation sous contraintes multi-objectifs qui dépasse la simple minimisation d'une perte d'entraînement unique. Les praticiens doivent équilibrer simultanément :

1. Précision : Respecter des seuils spécifiques à l'application pour les erreurs d'énergie et de force.
2. Stabilité Dynamique : Garantir que la dynamique moléculaire NVE conserve l'énergie sur des trajectoires de l'ordre de la picoseconde (éviter la dérive catastrophique).
3. Débit : Maintenir des vitesses d'inférence suffisantes pour des échelles de temps de simulation pratiques.

Ces objectifs sont couplés de manière non linéaire ; par exemple, un pondération agressive de la perte d'énergie peut déstabiliser la dynamique, tandis que des réseaux plus profonds peuvent améliorer la précision mais dégrader le débit. De plus, le surapprentissage peut se manifester par une dérive NVE explosive plutôt que par une augmentation de la perte de validation, rendant les métriques standards insuffisantes. Le développement actuel repose sur des experts humains naviguant dans cet espace via un tâtonnement lent et non reproductible.

Méthodologie : Le Framework MLIPilot

Les auteurs introduisent MLIPilot, un framework de recherche automatique où des modèles de langage de grande taille (LLM) capables d'appeler des outils agissent comme des chercheurs autonomes. Le système fonctionne en boucle fermée (Algorithme 1) intégrant cinq composantes clés :

1. Inspecteur de Données (Data Inspector) : Analyse les jeux de données (via ASE), identifie les espèces/périodicité et génère des séparations train/valid/test.
2. Générateur de Modèles (Template Generator) : Synthétise un script train.py avec une « surface d'expérience » éditable, séparée d'une structure d'évaluation fixe par un sentinelle # FIXED HARNESS. Il génère également un scorecard dont les cibles sont extraites de prompts en langage naturel.
3. Boucle d'Agent (Agent Loop) : Orchestre l'appel d'outils par le LLM (lire/écrire/éditer des fichiers, soumettre des tâches) avec une logique de tentative (retry), de gestion de contexte et d'arrêt précoce.
4. Exécuteur HPC : Gère le cycle de vie des jobs Slurm avec un backoff exponentiel et un repli sur GPU local.
5. Évaluateur de Scorecard : Calcule un score composite et impose des contraintes physiques strictes.

Le Scorecard à Contraintes Physiques

Une innovation critique est le remplacement de la minimisation de la perte scalaire par un scorecard multi-objectif doté de barrières strictes (hard gates). Un modèle candidat n'est accepté que si :

1. Amélioration : Son score composite ($S$) est strictement meilleur que le meilleur actuel.
2. Faisabilité Physique : Chaque métrique ($x_i$) se situe dans un ensemble de barrières strictes fixées à 4× la cible spécifiée par l'utilisateur ($g_i = 4t_i$).

Le score composite est calculé comme une moyenne pondérée de ratios de pénalité ($p_i$), plafonnée pour empêcher une seule métrique de dominer. Crucialement, les barrières strictes garantissent qu'un modèle présentant une excellente précision d'énergie mais une dérive NVE catastrophique (ex: dérive > 4 meV/atome/ps quand la cible est de 1.0) est automatiquement rejeté, quel que soit son score composite.

Intégrité et Outillage

Pour prévenir le "reward hacking", le système impose des vérifications d'intégrité SHA-256 sur la structure d'évaluation et le scorecard avant chaque soumission. Les agents interagissent via six outils typés, l'accès en écriture étant restreint à la partie éditable de train.py. L'outil submit and wait exige que l'agent articule une hypothèse, une métrique cible et une évaluation des risques, imposant ainsi une discipline scientifique.

Principales Contributions

1. Framework MLIPilot : Un système couplant des LLM appelant des outils avec une exécution HPC Slurm, une imposition d'intégrité et une journalisation basée sur des hypothèses.
2. Scorecard à Contraintes Physiques : Un mécanisme de validation avec cibles adaptatives et barrières strictes (4× la cible) qui garantit la stabilité dynamique, rejetant les modèles qui échouent à la faisabilité physique même s'ils améliorent les scores composites.
3. Benchmark Multi-Agents : Une évaluation complète démontrant que la qualité du raisonnement scientifique, plutôt que la taille du modèle ou le budget de tokens, détermine le succès de l'optimisation.

Résultats Expérimentaux

Le framework a été évalué sur l'optimisation de potentiels MACE à travers deux jeux de données :

• QM7 (B3LYP) : Un jeu de données non périodique, chimiquement diversifié de molécules organiques avec des labels B3LYP/6-31G(d).
• Cu EMT : Un jeu de données périodique de supercellules de cuivre contraintes, étiquetées par le calculateur Effective Medium Theory d'ASE.

Quatre agents ont été comparés : GPT-5.5, GPT-4.1, Mistral-24B, et Qwen3-32B.

Résultats QM7

• Échec de la Baseline : Tous les agents ont débuté avec des baselines violant les barrières strictes (MAE Énergie ~52 meV/atome vs barrière de 40 meV).
• GPT-5.5 (Meilleur Performeur) : A atteint un score final de 0,831 (MAE Énergie : 9,52 meV/atome, MAE Force : 9,83 meV/atome). Il a été le seul à effectuer des changements architecturaux, découvrant l'utilité de ScaleShiftMACE (normalisation explicite de sortie) et de la perte Huber (robustesse aux valeurs aberrantes). Il a réussi à pivoter de l'ajustement d'hyperparamètres vers des changements structurels lorsque la durée d'entraînement entraînait une dérive NVE.
• Mistral-24B : A obtenu le deuxième meilleur score (1,061) en explorant de manière persistante la durée d'entraînement (jusqu'à 1000 époques) et la capacité, surpassant ainsi le propriétaire GPT-4.1.
• GPT-4.1 & Qwen3-32B : Se sont principalement appuyés sur l'ajustement paramétrique. Qwen3-32B a consommé nettement plus de tokens (486k) pour une amélioration moindre (1,4×) et a cessé de répondre prématurément.

Résultats Cu EMT

• GPT-5.5 : A atteint un score de 0,401, réduisant la MAE Énergie d'une baseline de 12,69 meV/atome à 0,57 meV/atome (précision sub-meV). Il a découvert une stratégie émergente d'échelle d'époques progressive (50 → 500 → 1000 → 2000) et a ajouté une troisième couche d'interaction.
• Comparaison : GPT-5.5 a réalisé une amélioration de 11,2× par rapport à la baseline, surpassant significativement GPT-4.1 (6,9×) et les modèles en poids ouverts (open-weight).

Analyse Transversale des Datasets

L'étude a identifié quatre schémas clés :

1. Raisonnement > Échelle : Les interventions qualitatives (architecture, fonction de perte) de GPT-5.5 ont produit des améliorations de 3,2 à 11,2×, tandis que l'ajustement paramétrique des autres modèles n'a produit que 1,4 à 6,9×.
2. Efficacité des Tokens : Les comptes de tokens élevés (ex: Qwen3-32B) ne corrélaient pas avec de meilleurs résultats ; GPT-5.5 a obtenu des résultats supérieurs avec moins de tokens.
3. Viabilité des Modèles Open-Weight : Mistral-24B a surpassé GPT-4.1 sur QM7 en épuisant totalement une stratégie viable (entraînement prolongé), suggérant que la persistance peut compenser un manque d'innovation architecturale dans certains paysages.
4. Sensibilité aux Cibles : Des cibles plus serrées (sub-meV pour Cu EMT) ont amplifié la différenciation de performance entre les agents.

Signification et Revendications

L'article affirme que MLIPilot réussit à déplacer une partie du développement des MLIP du tâtonnement manuel vers une expérimentation auditable et automatisée.

• Raisonnement Scientifique Autonome : Le système démontre que les agents LLM peuvent servir d'opérateurs autonomes lorsque leur recherche est contrainte par des critères de validation spécifiques au domaine. La découverte de ScaleShiftMACE et de la perte Huber par GPT-5.5 représente une avancée qualitative au-delà de la simple optimisation d'hyperparamètres, montrant un véritable raisonnement sur la structure statistique d'un dataset.
• Nécessité des Barrières Strictes (Hard Gates) : Les auteurs soulignent que sans ces barrières, les agents accepteraient des modèles dynamiquement instables qui semblent améliorer les scores composites. La barrière de 4× agit comme un filtre de "faisabilité d'abord", forçant les agents à résoudre la satisfaction des contraintes avant l'optimisation.
• Perspectives Futures : Ce travail suggère qu'à mesure que les LLM s'améliorent dans le raisonnement causal et compositionnel, le goulot d'étranglement de la simulation atomistique pourrait passer de "comment entraîner des potentiels" à "quelles questions physiques poser", libérant potentiellement les scientifiques du domaine de l'ingénierie des pipelines d'entraînement.

Les auteurs restent modestes quant à la généralisation, notant que bien que le split de test (held-out) ait été utilisé pour la sélection, un ensemble de test distinct et scellé est nécessaire pour des estimations de généralisation définitives. Le framework est conçu pour être agnostique à l'architecture (supportant NequIP, Allegro, etc.), bien que les résultats rapportés se concentrent sur MACE.