🤖 machine learning

LLM-ACES: Closed-Loop Discovery of Dynamical Systems with LLM-Guided Adaptive Search

Le document présente LLM-ACES, un cadre en boucle fermée qui exploite les grands modèles de langage pour guider l'acquisition adaptative de données et la construction symbolique d'hypothèses, surpassant de manière significative les méthodes existantes dans la récupération précise et efficace d'équations différentielles ordinaires directrices à partir de données limitées et bruitées.

Auteurs originaux : Nikhil Abhyankar, Sha Li, Sanchit Kabra, Naren Ramakrishnan, Yulia Gel, Chandan K. Reddy

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikhil Abhyankar, Sha Li, Sanchit Kabra, Naren Ramakrishnan, Yulia Gel, Chandan K. Reddy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de découvrir les règles secrètes d'une machine mystérieuse. Vous pouvez regarder les engrenages de la machine tourner et voir comment ils se déplacent, mais vous ne connaissez pas la formule mathématique qui les fait fonctionner. C'est le défi auquel les scientifiques sont confrontés lorsqu'ils tentent de découvrir les « équations directrices » de systèmes naturels, comme la propagation d'un virus ou l'orbite d'une planète.

Le document présente une nouvelle méthode appelée LLM-ACES (LLM-guided Active Closed-loop Equation Search — Recherche d'équations guidée par LLM en boucle fermée active). Considérez cela comme une équipe de détectives super intelligents qui ne se contentent pas de regarder la machine ; ils posent activement des questions pour découvrir les règles plus rapidement et plus précisément que quiconque d'autre.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le problème : Le « point aveugle »

Habituellement, les scientifiques essaient de deviner les règles en observant un ensemble fixe de données (comme l'enregistrement vidéo de la machine). Le problème est que si vous ne regardez la machine que pendant une courte période ou à un endroit spécifique, de nombreux livres de règles différents pourraient expliquer ce que vous voyez.

Analogie : Imaginez regarder une voiture rouler en ligne droite. Vous pourriez supposer que le conducteur appuie simplement sur la pédale d'accélérateur. Mais si vous n'avez vu que cette ligne droite, vous ne pourriez pas savoir si la voiture possède également un volant ou des freins. Vous devez voir la voiture tourner ou s'arrêter pour connaître l'intégralité des règles.
Le problème : Les anciennes méthodes se retrouvent souvent bloquées en devinant de mauvaises règles parce qu'elles ne regardent que les données qu'elles possèdent déjà. Elles peuvent trouver une formule qui correspond parfaitement à la vidéo, mais qui échoue dès que les conditions changent.

2. La solution : Le « Détective Intelligent » (LLM-ACES)

LLM-ACES change la donne en utilisant un Grand Modèle de Langage (LLM) — un type d'IA qui possède de vastes connaissances en mathématiques et en sciences — comme guide. Au lieu de simplement deviner la réponse finale, l'IA aide à concevoir la recherche de la réponse.

Le processus se déroule en une boucle, comme un jeu de « Chaud ou Froid » :

Étape A : L'IA définit les règles du jeu
L'IA examine le problème et suggère un « menu » d'ingrédients mathématiques possibles (comme l'addition, la multiplication, les ondes sinusoïdales ou les exponentielles) qui sont susceptibles de faire partie de la solution. Elle n'écrit pas encore l'équation finale ; elle réduit simplement la zone de recherche pour la rendre plus intelligente.
- Métaphore : Au lieu de chercher une aiguille dans une meule de foin, l'IA vous dit : « L'aiguille est probablement dans cette pile de foin spécifique, et elle est probablement faite d'acier. »
Étape B : L'équipe fait des suppositions
Le système génère plusieurs équations candidates basées sur ce menu. Certaines peuvent être simples, d'autres complexes.
- Métaphore : L'équipe écrit 5 théories différentes sur le fonctionnement de la voiture.
Étape C : Le test du « Désaccord » (La recette secrète)
C'est la partie la plus importante. Le système examine toutes les 5 théories et demande : « Où ces théories sont-elles en désaccord le plus marqué ? »
- Si la Théorie A dit que la voiture ira vite et que la Théorie B dit qu'elle va s'arrêter, le système sait que ce moment précis est le meilleur endroit pour tester la voiture.
- Analogie : Si vos amis se disputent pour savoir si un pont peut supporter un camion ou une moto, la chose la plus intelligente à faire est de faire traverser un camion lourd sur le pont. Ce test vous dira immédiatement qui a raison.
- Le système demande ensuite à l'« Oracle » (un simulateur ou une expérience réelle) de faire fonctionner la machine sous ces conditions spécifiques pour obtenir de nouvelles données.
Étape D : La boucle de rétroaction
Les nouvelles données sont réinjectées dans l'équipe. Les théories qui étaient fausses sont jetées ou corrigées. Les théories qui étaient justes deviennent plus solides. L'IA met ensuite à jour son « menu » d'ingrédients pour le tour suivant.
- Résultat : L'équipe devient plus intelligente à chaque test, réduisant rapidement la recherche vers l'unique ensemble de règles véritables.

3. Pourquoi est-ce meilleur ?

Le document a testé cette méthode sur 122 systèmes mathématiques différents (comme des modèles météorologiques ou des réactions chimiques) et l'a comparée aux meilleures méthodes existantes.

Précision : LLM-ACES a trouvé les formules mathématiques correctes beaucoup plus souvent que les autres. Alors que les autres méthodes peuvent obtenir les bons chiffres pour les données spécifiques qu'elles ont vues, elles se trompent souvent sur la structure de la formule. LLM-ACES obtient la structure correcte.
Efficacité : Il a eu besoin de 10 fois moins de données pour trouver la bonne réponse. Il n'a pas eu besoin de regarder la machine pendant des heures ; il savait exactement quel court extrait regarder pour résoudre le mystère.
Robustesse : Même lorsque les données étaient bruitées (comme une vidéo tremblante), LLM-ACES pouvait toujours trouver les vraies règles, tandis que les autres méthodes s'embrouillaient et inventaient de fausses règles pour s'adapter au bruit.

Résumé

En bref, LLM-ACES est un système qui utilise l'IA non pas seulement pour deviner les lois de la nature, mais pour concevoir les expériences nécessaires pour les prouver. Il traite la découverte scientifique comme une conversation : il fait une supposition, pose une question spécifique pour tester cette supposition, apprend de la réponse, et recommence. Cela permet de trouver les véritables « règles secrètes » de systèmes complexes plus rapidement, avec moins de données et avec une plus grande précision que les méthodes précédentes.

Résumé Technique : LLM-ACES

Énoncé du Problème

La récupération des équations différentielles ordinaires (EDO) directrices à partir de données est un défi fondamental dans la modélisation des systèmes dynamiques. Les approches existantes considèrent généralement cela comme un problème d'inférence statique sur des jeux de données fixes, supposant que les trajectoires observées sont suffisamment informatives. Cependant, les systèmes dynamiques évoluent souvent sur de vastes espaces d'états où des données limitées peuvent rendre des équations structurellement distinctes observationnellement indiscernables. Cela conduit à des « lacunes d'identifiabilité », où une équation candidate s'ajuste bien aux données observées mais prédit un comportement incorrect sous de nouvelles conditions initiales ou sur de plus longs horizons temporels. Les méthodes actuelles ne parviennent pas à traiter la nature pleinement en boucle fermée de la découverte : elles cherchent soit des équations sur des données statiques (passives), soit acquièrent des données sans utiliser d'hypothèses symboliques structurées pour guider l'expérimentation.

Méthodologie : LLM-ACES

Les auteurs proposent LLM-ACES (LLM-guided Active Closed-loop Equation Search), un cadre qui optimise conjointement la construction d'hypothèses symboliques et l'acquisition adaptative de données. L'idée centrale est que l'espace des hypothèses symboliques et le jeu de données acquis doivent co-évoluer par un feedback itératif.

1. Génération d'Hypothèses Guidée par LLM

Au lieu de demander aux modèles de langage de grande taille (LLM) de produire directement des équations finales, LLM-ACES utilise un LLM ( $\pi_\theta$ ) pour générer des priors d'opérateurs.

Processus : À chaque itération, le LLM reçoit des métadonnées de la tâche, des vocabulaires d'opérateurs disponibles et un tampon d'expérience contenant le feedback des itérations précédentes.
Sortie : Le LLM génère un ensemble de $K$ priors d'opérateurs (contraintes sur les opérateurs unaires et binaires, par exemple $\sin, \cos, +, \times$ ). Ces priors définissent des sous-espaces symboliques contraints au sein du plus large espace d'hypothèses.
Stratégie : Un prior exploite les motifs d'opérateurs performants du tampon d'expérience (exploitation), tandis que d'autres explorent des compositions structurellement distinctes (exploration).
Ajustement : Un moteur de régression symbolique (par exemple, PySR) ajuste les équations candidates au sein de ces sous-espaces contraints afin de minimiser l'erreur de prédiction et la complexité.

2. Acquisition de Données Pilotée par l'Hypothèse

Le cadre emploie une stratégie d'acquisition pilotée par la divergence prédictive pour résoudre les lacunes d'identifiabilité.

Métrique de Divergence : Le système calcule la divergence prédictive moyenne par paire (Erreur Quadratique Moyenne Normalisée) entre les déploiments (rollouts) de la population de candidats actuelle sur un horizon de prédiction.
Sélection : Les nouvelles conditions initiales sont sélectionnées en maximisant cette divergence. L'objectif est d'interroger les régions de l'espace d'états où les candidats d'équations concurrentes divergent le plus significativement.
Boucle de Feedback : Les nouvelles trajectoires acquises sont ajoutées au jeu de données. Tous les candidats sont réévalués, et le tampon d'expérience est mis à jour avec les candidats performants (renforçant les opérateurs efficaces) et peu performants (décourageant les structures fallacieuses). Cela affine l'espace des hypothèses pour l'itération suivante.

3. Implémentation

Le cadre est instancié avec des backbones LLM (GPT-4o-mini et Qwen-3-32B) et un solveur d'EDO basé sur SciPy pour l'oracle. Il opère en boucle fermée où le LLM guide l'espace de recherche, le moteur de régression ajuste les équations, et le désaccord entre les candidats pilote l'acquisition de nouvelles données.

Contributions Clés

Découverte d'Équations en Boucle Fermée : Un cadre unifié couplant la construction d'hypothèses symboliques guidée par LLM avec l'acquisition adaptative de trajectoires, permettant à l'espace des hypothèses et au jeu de données de co-évoluer.
Espaces de Recherche Symbolique Induits par LLM : Utilisation de LLM pour construire des priors d'opérateurs informés par le domaine qui contraignent la régression symbolique, découplant la conception de l'espace d'hypothèses de l'ajustement de l'équation.
Acquisition de Données Pilotée par la Divergence : Une stratégie qui sélectionne les conditions initiales en maximisant la divergence prédictive parmi les candidats, ciblant directement les régions où les hypothèses concurrentes sont les plus difficiles à distinguer.
Améliorations Empiriques : Démontre une performance supérieure en termes de reconstruction, de généralisation et de contextes hors distribution par rapport aux bases de référence passives et actives.

Résultats Expérimentaux

La méthode a été évaluée sur 122 systèmes d'EDO couvrant ODEBench (63 systèmes) et ODEBase (59 systèmes).

Métriques de Performance : L'article rapporte l'Erreur Quadratique Moyenne Normalisée (NMSE), la précision symbolique et la complexité de l'expression.
Précision : LLM-ACES a obtenu la NMSE médiane la plus faible dans tous les contextes (reconstruction, généralisation et hors distribution), surpassant les méthodes de pointe (incluant SINDy, PySR, ODEFormer, LLM-ODE et les méthodes actives comme l'Optimisation Bayésienne) de plusieurs ordres de grandeur.
- ODEBench : NMSE médiane de $1.33 \times 10^{-17}$ (Reconstruction) avec GPT-4o-mini.
- ODEBase : NMSE médiane de $3.70 \times 10^{-15}$ (Reconstruction) avec Qwen-3-32B.
Précision Symbolique : LLM-ACES a atteint la précision symbolique la plus élevée, récupérant la forme fonctionnelle correcte dans 46,2 % des cas d'ODEBench (GPT-4o-mini) et 52,4 % des cas d'ODEBase (Qwen-3-32B).
Efficacité d'Échantillonnage : LLM-ACES a surpassé les bases de référence même lorsque les méthodes concurrentes étaient dotées de budgets de données nettement plus importants (jusqu'à 10 fois plus d'échantillons). Il a obtenu de meilleures performances avec seulement un dixième des données requises par les autres méthodes.
Robustesse : L'acquisition pilotée par le feedback a rendu la méthode robuste au bruit et a empêché la récupération de termes fallacieux qui s'ajustent localement aux données mais échouent à capturer les véritables relations directrices.

Signification et Revendications

L'article affirme que LLM-ACES répond à une limitation fondamentale de la découverte scientifique actuelle : la séparation de la recherche d'équations et de la collecte de données. En traitant la découverte comme un processus d'inférence active où les hypothèses guident l'acquisition de données, le cadre résout les lacunes d'identifiabilité que les méthodes statiques ne peuvent surmonter.

Impact Scientifique : Les résultats suggèrent que la découverte d'équations ne doit pas être vue comme un problème de régression statique, mais comme un processus itératif où les hypothèses et les observations s'informent mutuellement de manière continue.
Rôle des LLM : L'article souligne que les LLM sont plus efficaces non pas comme générateurs directs d'équations, mais comme outils pour induire des espaces de recherche structurés et raisonner sur les compositions d'opérateurs basés sur le feedback des données.
Limites : Les auteurs notent que le cadre actuel se concentre sur les systèmes d'EDO autonomes et repose sur l'accès à un simulateur ou un oracle expérimental. Il pourrait nécessiter des modifications pour les EDP, la dynamique stochastique, ou les contextes où l'acquisition de données est coûteuse ou soumise à des contraintes de sécurité. De plus, la performance est sensible au choix du backbone LLM et l'ingénierie de prompt.

Le travail conclut que l'intégration des modèles de fondation avec des priors structurés et une expérimentation adaptative permet une découverte scientifique plus interprétable, efficace en données et fiable.