LLM-Guided Open Hypothesis Learning from Autonomous Scanning Probe Microscopy Experiments

Cet article présente un cadre de microscopie à sonde locale autonome qui intègre la régression symbolique avec des modèles de langage de grande taille pour générer et évaluer de nouvelles hypothèses physiques à partir de données expérimentales éparses, découvrant avec succès des lois de croissance interprétables en fonction du temps et de la tension pour l'inversion des domaines ferroélectriques sans modèles pré-spécifiés.

L'essentiel

Imaginez un scientifique travaillant dans un laboratoire avec un microscope ultra-puissant. Autrefois, ce scientifique devait décider exactement quoi mesurer, exécuter le test, examiner les résultats, puis décider de la suite à donner. C'est lent et cela repose fortement sur l'intuition propre du scientifique.

Ces dernières années, les scientifiques ont construit des laboratoires « autonomes ». Ce sont comme des voitures autonomes pour la science : l'ordinateur contrôle le microscope, exécute les expériences et ajuste les paramètres pour trouver les meilleurs résultats aussi rapidement que possible. Cependant, il y a un hic : ces laboratoires autonomes sont généralement très bons pour optimiser (trouver le meilleur réglage) mais terribles pour découvrir de nouvelles lois. Ils peuvent vous dire « cette tension produit le plus gros point », mais ils ne peuvent pas vous dire pourquoi ni écrire une nouvelle règle de la physique qui l'explique. Ils sont coincés dans une boîte d'idées fournie par le programmeur humain.

Cet article présente un nouveau système qui sort de cette boîte. Il apprend à l'ordinateur non seulement à trouver la meilleure réponse, mais à inventer de nouvelles théories basées sur ce qu'il observe.

Voici comment fonctionne le système, en utilisant une analogie simple :

Le système à deux cerveaux

Imaginez ce nouveau système comme une équipe de deux robots très différents travaillant ensemble sur un puzzle.

1. Le « Détecteur de motifs » (Régression symbolique)
Imaginez un robot incroyablement doué en mathématiques mais dépourvu de bon sens. Vous lui donnez quelques points de données épars (comme quelques points sur un graphique), et il se met à hurler des milliers de formules mathématiques différentes qui pourraient relier ces points.

• Ce qu'il fait : Il génère des hypothèses folles comme « la taille du point égale la tension multipliée par la racine carrée du temps » ou « la taille égale la tension plus un nombre aléatoire ».
• Le problème : Parce qu'il n'a pas de bon sens, il pourrait suggérer des formules mathématiquement parfaites mais physiquement impossibles (comme dire qu'un point rétrécit quand on augmente la puissance). C'est comme un étudiant qui a mémorisé un manuel de mathématiques mais ne comprend pas comment fonctionne le monde réel.

2. Le « Professeur de physique » (Le modèle de langage de grande taille)
Maintenant, imaginez un deuxième robot qui est un professeur de physique surdoué. Ce robot a lu tous les manuels de physique jamais écrits. Il ne fait pas les calculs lui-même ; au lieu de cela, il agit comme un juge.

• Ce qu'il fait : Il examine les milliers de formules folles générées par le « Détecteur de motifs » et dit : « Attendez une minute. Cette formule dit que le point grandit en remontant le temps ? C'est impossible. Jetez-la. »
• La magie : Il classe les formules en fonction de leur cohérence avec le monde réel. Il sélectionne celles qui respectent les règles de la physique (comme « les points devraient grossir avec plus de tension ») et explique pourquoi elles sont bonnes.

L'expérience : Faire croître de minuscules bulles électriques

Pour tester cela, les chercheurs ont utilisé un microscope spécial pour piquer un tout petit morceau de matériau appelé PZT (un type de céramique qui retient une charge électrique). Lorsqu'ils le frappent avec de l'électricité, une minuscule « bulle » de charge commutée se développe.

• L'objectif : Ils voulaient trouver la règle expliquant la taille de cette bulle en fonction de la durée et de l'intensité du choc électrique.
• Le processus :
  1. Début : Ils ont commencé avec seulement cinq hypothèses aléatoires (cinq réglages de choc différents).
  2. La boucle :
     • Le « Détecteur de motifs » a examiné les cinq résultats et a écrit 50 règles mathématiques possibles.
     • Le « Professeur de physique » les a lues, leur a attribué des scores et a sélectionné la meilleure.
     • L'ordinateur a ensuite utilisé cette meilleure règle pour décider où frapper ensuite afin d'apprendre davantage.
     • Ils ont répété cela 10 fois, ajoutant plus de données à chaque tour.

Le résultat : De la supposition à la compréhension

Au tout début, le « Détecteur de motifs » était confus. Il suggérait des règles absurdes, comme « la taille de la bulle dépend uniquement du temps, pas de la tension ». Le « Professeur de physique » leur attribuait de faibles scores et disait : « Non, cela n'a pas de sens. »

À mesure que l'expérience progressait et que l'ordinateur rassemblait plus de données, le « Détecteur de motifs » a commencé à suggérer des règles plus intelligentes. Finalement, le « Professeur de physique » a désigné un gagnant : une règle indiquant que la bulle grandit en fonction à la fois de la tension et du temps, suivant spécifiquement un motif où la croissance ralentit au fil du temps (comme un mouvement de « fluage »).

Pourquoi est-ce une grande avancée ?
Dans les expériences précédentes, les scientifiques devaient dire à l'ordinateur : « Voici trois règles possibles ; choisissez la meilleure. » L'ordinateur choisissait simplement dans la liste.
Dans cette nouvelle expérience, l'ordinateur a créé la règle lui-même à partir des données, et le « Professeur de physique » a confirmé qu'elle était réelle. Le système n'a pas seulement trouvé le meilleur réglage ; il a découvert une nouvelle façon de décrire le comportement du matériau.

L'essentiel

Cet article montre un moyen de transformer la science autonome d'un « moteur de recherche » (qui trouve simplement la meilleure réponse dans une liste) en un « scientifique » (qui peut écrire de nouvelles lois de la physique). En combinant un robot mathématique qui génère des idées avec un robot IA qui vérifie si ces idées ont du sens, le système peut apprendre des règles physiques complexes par lui-même, en partant de presque rien.

Résumé technique

Résumé technique : Apprentissage d'hypothèses ouvertes guidé par les LLM à partir d'expériences de microscopie à sonde locale autonomes

Énoncé du problème
L'expérimentation autonome s'est imposée comme un paradigme pour l'optimisation en boucle fermée en microscopie et en science des matériaux, utilisant principalement l'optimisation bayésienne (BO) pour ajuster les paramètres instrumentaux ou découvrir des relations structure-propriété au sein d'espaces de recherche fixes. Cependant, les flux de travail actuels sont fondamentalement limités par leur dépendance à des fonctions objectif et des espaces d'hypothèses prédéfinis. Bien que ces systèmes convergent efficacement vers des optima au sein de modèles spécifiés par l'humain, ils manquent du mécanisme nécessaire pour générer de nouvelles lois physiques ou interpréter les données expérimentales par le biais d'une génération d'hypothèses ouverte. Les approches existantes d'"apprentissage d'hypothèses" sélectionnent généralement parmi un ensemble prédéfini de modèles conçus par l'humain plutôt que de dériver directement des relations à partir des données. Cela crée un écart dans les systèmes autonomes hiérarchiques où des connaissances interprétables doivent être générées, évaluées et propagées à travers les couches de décision sans être contraintes par des classes de modèles humains antérieurs.

Méthodologie
Les auteurs proposent un cadre d'"apprentissage d'hypothèses ouvertes" qui intègre la régression symbolique avec une évaluation physique basée sur les grands modèles de langage (LLM) pour passer de l'optimisation en boucle fermée à la découverte d'hypothèses ouvertes. Le flux de travail se compose de trois composants principaux :

1. Régression symbolique pour la génération d'hypothèses :
   Au lieu d'ajuster des paramètres au sein d'une structure de modèle fixe, le système utilise la régression symbolique (via la bibliothèque PySR) pour explorer directement l'espace des expressions mathématiques. Étant donné des données expérimentales éparses, ce module génère un front de Pareto d'expressions analytiques candidates qui équilibrent la précision prédictive (perte) et la complexité du modèle. Ce processus est purement piloté par les données, produisant des équations candidates explicites sans incorporer de contraintes physiques durant la phase de génération.

2. Évaluation physique basée sur les LLM :
   Pour pallier la limitation selon laquelle les expressions statistiquement optimales peuvent manquer de validité physique, le cadre introduit un évaluateur LLM structuré. Le LLM reçoit les équations candidates, les définitions des variables et un résumé riche en contexte des principes physiques établis (spécifiquement concernant la croissance des domaines ferroélectriques, généré via un pipeline de recherche approfondie). Le LLM agit en tant que validateur plutôt que générateur, notant les candidats sur la base de :

   • Non-trivialité : Dépendance aux variables pertinentes (par exemple, à la fois la tension et le temps).
   • Monotonie : Cohérence avec les tendances attendues.
   • Comportement d'échelle : Alignement avec les régimes connus (par exemple, équilibre thermodynamique, croissance cinétique, fluage).
   • Pathologie : Absence de singularités ou de divergences non physiques.
     La sortie comprend un score de plausibilité quantitatif et une trace de raisonnement en langage naturel expliquant l'évaluation.

3. Conception expérimentale adaptative :
   L'hypothèse sélectionnée guide la prochaine étape expérimentale. Le système calcule les résidus entre le modèle sélectionné et les données expérimentales. Un processus gaussien (GP) est entraîné sur ces résidus pour modéliser l'incertitude. L'optimisation bayésienne (BO) avec une fonction d'acquisition de borne supérieure de confiance (UCB) est ensuite appliquée au modèle de résidus pour sélectionner de nouvelles conditions de mesure. Cela cible les régions où l'hypothèse actuelle est incomplète, affinant itérativement le modèle.

Mise en œuvre expérimentale
Le cadre a été démontré sur des expériences de microscopie à force piézoélectrique (PFM) autonomes investiguant la commutation de domaines ferroélectriques dans un film mince de titanate de zirconate de plomb (PZT).

• Configuration : Des impulsions de tension (1–10 V) avec des durées variables (0,01–10 s) ont été appliquées à un emplacement fixe pour induire la commutation de domaines. La taille résultante du domaine (rayon effectif) a été mesurée via DART-PFM.
• Processus : L'expérience a commencé par cinq mesures aléatoires de départ. Sur 10 cycles itératifs, le système a acquis 5 nouvelles points de données par cycle sur la base de la stratégie BO pilotée par les résidus, aboutissant à un total de 55 mesures.
• Évaluation : Les modèles candidats ont été classés par le LLM à l'aide d'une invite conçue pour imposer des règles physiques (par exemple, exigeant une dépendance à la fois à $V$ et à $t$).

Résultats clés

• Évolution des hypothèses : Partant de cinq points de départ, la régression symbolique a initialement produit des modèles triviaux ou physiquement incomplets (par exemple, des dépendances constantes ou à variable unique). À mesure que l'ensemble de données s'est accru grâce à l'échantillonnage adaptatif, l'espace d'hypothèses a évolué pour inclure des expressions couplées tension-temps.
• Comparaison des critères de sélection :
  • Sélection pilotée par les données : Le critère "meilleur" standard de PySR (équilibrant perte et complexité) a favorisé un modèle linéaire simple à tension uniquement ($r \propto V$) lors des itérations ultérieures car il offrait un rapport perte-complexité favorable, malgré la négligence de la dépendance temporelle critique pour la croissance à temps fini.
  • Sélection guidée par LLM : L'évaluateur LLM a rejeté le modèle à tension uniquement pour violation de la règle de "non-trivialité" (manque de dépendance temporelle). Il a sélectionné un modèle de la forme $r = V(0,000786 \log t + 0,00781)$.
• Cohérence physique : Le modèle sélectionné par le LLM a été identifié comme cohérent avec la "cinétique contrôlée par le désordre" ou le "comportement de fluage", où la vitesse de la paroi de domaine dépend exponentiellement de l'inverse du champ électrique, conduisant à une dépendance logarithmique au temps. Ce résultat s'aligne avec les découvertes antérieures dans le domaine mais a été dérivé ici sans pré-spécifier la classe de modèle.
• Performance prédictive : Lorsqu'évalués sur des points de données futurs (acquis après la sélection du modèle), les modèles sélectionnés par le LLM ont démontré une précision prédictive comparable à celle des modèles à perte minimale, mais avec une variance plus faible. Crucialement, les modèles sélectionnés par le LLM se sont mieux généralisés que les modèles "meilleurs" de PySR purement pénalisés par la complexité, qui sous-ajustaient souvent la physique.

Signification et revendications
L'article revendique l'établissement d'une voie pour intégrer la régression symbolique, le raisonnement physique et l'expérimentation adaptative dans les flux de travail scientifiques autonomes hiérarchiques. La contribution principale est la démonstration que la microscopie autonome peut dépasser l'optimisation au sein d'espaces de recherche fixes pour générer des lois physiques interprétables directement à partir des données.

Les revendications clés incluent :

1. Découverte d'hypothèses ouvertes : Le cadre permet la génération de relations physiques candidates sans dépendre d'un ensemble prédéfini de classes de modèles conçus par l'humain.
2. Classement conscient de la physique : L'évaluateur LLM distingue avec succès les modèles statistiquement efficaces mais physiquement incomplets de ceux qui sont interprétables et cohérents avec des mécanismes connus (par exemple, l'identification du régime de fluage).
3. Propagation des connaissances : Le raisonnement en langage naturel fourni par le LLM sert d'artefact de connaissances transférable, permettant aux agents en aval de comprendre pourquoi un modèle a été sélectionné, plutôt que de simplement recevoir un score numérique.
4. Validation : L'approche a réussi à identifier une loi de croissance de paroi de domaine cinétique, de type fluage, dans le PZT, un résultat cohérent avec les études antérieures d'apprentissage d'hypothèses qui reposaient sur des modèles prédéfinis, validant ainsi l'approche de génération "ouverte".

Les auteurs notent que si l'implémentation actuelle utilise la régression symbolique pour des formes analytiques, le cadre plus large est conçu pour accommoder des modèles numériques ou basés sur la simulation dans les itérations futures. Le travail positionne cette méthodologie comme une étape vers des systèmes autonomes qui participent activement au processus de découverte plutôt que d'exécuter simplement des tâches d'optimisation prédéfinies.