💬 NLP

In Context Learning and Reasoning for Symbolic Regression with Large Language Models

Cette étude démontre que l'utilisation de modèles de langage de grande taille (LLM) comme GPT-4 et GPT-4o, combinée à des techniques d'apprentissage en contexte, de raisonnement par chaîne de pensée et de contraintes scientifiques en langage naturel, permet de découvrir et d'optimiser efficacement des équations symboliques à partir de données, notamment dans des cas complexes comme les modèles d'adsorption et l'écoulement en tuyaux rugueux.

Auteurs originaux : Samiha Sharlin, Tyler R. Josephson

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Samiha Sharlin, Tyler R. Josephson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 L'Idée de Base : Donner un crayon à l'IA

Imaginez que vous avez un génie de la lampe (c'est l'Intelligence Artificielle, ou "LLM" comme GPT-4) qui est très fort pour écrire des histoires, traduire des langues et répondre à des questions. Mais ce génie n'a jamais appris à faire des maths complexes ou à découvrir de nouvelles lois de la physique.

Les chercheurs de cet article ont eu une idée brillante : Et si on demandait à ce génie de devenir un détective scientifique ?

Leur mission ? Trouver la formule mathématique cachée derrière un tas de données brutes (par exemple : "Si je mets telle quantité de gaz sur une pierre, combien va-t-elle absorber ?"). C'est ce qu'on appelle la régression symbolique. Au lieu de juste prédire un nombre, l'IA doit trouver l'équation elle-même (comme $y = 2x + 5$ ).

🚧 Le Problème : L'IA a tendance à "rêver"

Au début, les chercheurs ont vu quelque chose d'étrange. Quand ils demandaient à l'IA de regarder les données et de donner une formule, l'IA faisait un peu comme un élève qui triche en regardant la réponse dans le livre :

Elle inventait des nombres au hasard (elle "hallucinait").
Elle donnait une formule qui semblait logique, mais les chiffres ne collaient pas du tout à la réalité.

C'était comme si l'IA dessinait un magnifique pont, mais les piliers étaient en papier et s'effondraient dès qu'on y mettait le poids d'une voiture.

🛠️ La Solution : Le "Brouillon" et le "Co-pilote"

Pour régler ce problème, les chercheurs ont créé une méthode en trois étapes, un peu comme un atelier de réparation :

Le Détective (L'IA) : On donne les données à l'IA, mais on lui dit : "Ne cherche pas les chiffres exacts tout de suite. Regarde la forme, le style, et propose-moi une structure d'équation."
Le Calculateur (Python) : Une fois que l'IA propose une structure (par exemple : "C'est une fraction avec un carré"), un logiciel mathématique très précis (SciPy) prend le relais. Il calcule les chiffres exacts pour que l'équation colle parfaitement aux données.
Le Carnet de Notes (Le "Scratchpad") : C'est l'astuce la plus importante. On demande à l'IA de parler à voix haute avant de donner sa réponse. Elle doit écrire sur un "brouillon" : "Je vois que quand la pression monte, l'absorption ralentit... donc ce n'est pas une ligne droite, c'est une courbe qui s'aplatit."

L'analogie : C'est comme si on demandait à un chef cuisinier (l'IA) de créer un nouveau plat. Au lieu de lui donner juste les ingrédients, on lui demande d'écrire d'abord son plan dans un carnet : "Je vais utiliser du citron pour l'acidité, mais attention, pas trop, sinon ce sera amer." Ensuite, un assistant (le logiciel) ajuste les quantités exactes de sel et de sucre.

🌍 Les Résultats : Des Découvertes Réelles

Les chercheurs ont testé cette méthode sur trois défis :

Le Défi Classique (Langmuir) : Une loi connue sur l'adsorption des gaz. L'IA a réussi à retrouver la formule exacte, surtout quand on lui a donné un peu de contexte scientifique (comme : "C'est de l'azote sur de la mica").
Le Défi Complexe (Dual-site) : Une situation où deux types de gaz s'adsorbent en même temps. C'est très dur. L'IA a eu du mal, mais avec le "carnet de notes", elle a fini par trouver la bonne structure en comprenant les motifs cachés.
Le Mystère (Nikuradse) : Des données sur le frottement de l'eau dans des tuyaux rugueux. Personne ne connaît la formule parfaite. L'IA a proposé de nouvelles équations. Même si elles n'étaient pas parfaites, elles étaient très proches de ce que les super-ordinateurs traditionnels trouvent, mais en utilisant beaucoup moins de calculs.

💡 Pourquoi c'est important ?

Imaginez que vous voulez découvrir une nouvelle loi de la nature.

Avant : Il fallait des années de codage complexe, des mathématiciens experts et des supercalculateurs pour chercher dans une "forêt" de milliards de formules possibles.
Maintenant : Vous pouvez simplement parler à l'IA en langage naturel. Vous lui dites : "Voici mes données, voici ce que je sais sur la physique du problème, et voici ce que je veux éviter."

L'IA agit comme un traducteur entre votre intuition scientifique et les mathématiques pures. Elle ne remplace pas les mathématiciens, mais elle leur donne un super-pouvoir : elle peut explorer des idées folles et créatives que les logiciels classiques n'oseraient même pas essayer, tout en restant guidée par la logique humaine.

En résumé : Cette recherche montre que si on apprend à bien "parler" à l'IA (en lui donnant des indices, un contexte et un brouillon pour réfléchir), elle peut devenir un partenaire incroyable pour découvrir les secrets cachés dans nos données scientifiques.

1. Problématique

La régression symbolique (SR) est une technique d'apprentissage automatique visant à découvrir des équations mathématiques simples et précises à partir de données, sans structure de modèle prédéfinie. Contrairement aux méthodes de régression classiques qui ajustent uniquement les constantes d'une équation connue, la SR explore un vaste "espace d'équations" pour trouver à la fois la forme fonctionnelle et les paramètres optimaux.

Bien que des algorithmes existants (algorithmes génétiques, MCMC, programmation par arbres) soient performants, ils peinent souvent à intégrer le raisonnement scientifique ou le contexte théorique de manière fluide. L'intégration de connaissances préalables dans ces algorithmes nécessite souvent des modifications logicielles complexes.

L'article explore le potentiel des Grands Modèles de Langage (LLM), tels que GPT-4 et GPT-4o, pour effectuer cette tâche. Le défi principal réside dans le fait que les LLMs, lorsqu'ils tentent de générer directement des équations avec des coefficients optimisés, ont tendance à "halluciner" des valeurs numériques incorrectes, même si le code Python généré pour l'optimisation est correct.

2. Méthodologie

Les auteurs proposent un workflow hybride combinant la capacité de raisonnement des LLMs avec la précision des outils d'optimisation numérique externes (Python/SciPy).

Architecture du système

Génération de structure par LLM : Le modèle LLM reçoit les données (sous forme de texte naturel) et un contexte scientifique. Sa tâche est de proposer des formes fonctionnelles (expressions symboliques) sans ajuster les constantes numériques.
Optimisation externe : Les expressions générées sont transmises à un script Python qui utilise la méthode Nelder-Mead (avec basin-hopping) via la bibliothèque SciPy pour optimiser les constantes et calculer l'erreur quadratique moyenne (MSE) et la complexité.
Boucle de rétroaction : Les résultats (MSE, complexité, équations optimisées) sont renvoyés au LLM sous forme de feedback (JSON) pour qu'il propose de nouvelles expressions améliorées, en optimisant le compromis entre précision et simplicité (front de Pareto).

Ingénierie des Prompts et Stratégies Clés

Pour surmonter les limites des LLMs, les auteurs ont mis en place plusieurs stratégies de prompt engineering :

Scratchpad (Bloc-notes) : Le modèle est invité à décomposer sa réflexion en deux étapes : d'abord une analyse des données et des observations dans un "scratchpad", puis la génération de l'équation finale. Cela améliore considérablement la qualité des expressions en forçant un raisonnement étape par étape.
Contexte Scientifique : Contrairement aux approches précédentes limitées à une liste d'expressions passées, ce workflow inclut une description en langage naturel du contexte scientifique (ex: "adsorption d'azote sur mica", variables physiques). Cela guide le modèle vers des équations physiquement plausibles.
Contraintes Naturelles : Au lieu de coder des contraintes mathématiques complexes, les auteurs utilisent le langage naturel pour imposer des règles physiques (ex: "l'équation doit passer par l'origine", "la pente initiale doit être finie et positive").
Éviter les biais et redondances : Des prompts spécifiques sont utilisés pour empêcher le modèle de copier des exemples fournis (biais) ou de générer des expressions redondantes (ex: $x + c_1$ vs $x - c_1$ avant optimisation).

3. Contributions Clés

Intégration du contexte naturel : Démonstration que l'utilisation du langage naturel pour décrire le contexte scientifique et les contraintes physiques permet de guider efficacement la recherche d'équations, réduisant la nécessité de modifications logicielles complexes.
Approche hybride LLM + Optimisation : Validation d'une architecture où le LLM gère la structure symbolique et le raisonnement, tandis que les outils numériques gèrent l'ajustement des paramètres, éliminant ainsi les hallucinations numériques.
Utilisation du Scratchpad : Mise en évidence du fait que la technique du "scratchpad" améliore significativement la capacité des LLMs à raisonner sur les motifs des données et à découvrir des modèles complexes.
Évaluation sur des problèmes réels : Application réussie sur des jeux de données expérimentaux réels (adsorption, écoulement en tuyaux rugueux) plutôt que sur des données synthétiques.

4. Résultats

Les expériences ont été menées sur trois types de jeux de données :

Modèle de Langmuir (Adsorption) :
- Le modèle a réussi à redécouvrir l'équation cible ( $q = c_1 p / (c_2 + p)$ ) dans la plupart des configurations.
- L'utilisation du contexte et du scratchpad a permis de trouver la solution dès les premières itérations, même sans données brutes (en se basant uniquement sur la théorie).
Modèle de Langmuir Dual-Site :
- Cas plus difficile où l'équation cible est complexe et où de nombreuses équations plus simples offrent une précision similaire mais sont physiquement incohérentes (ex: valeurs négatives à basse pression).
- Les LLMs, guidés par le contexte, ont pu identifier la structure correcte, bien que la boucle de rétroaction ait parfois éliminé l'équation cible au profit d'expressions plus simples (mais physiquement fausses) si les contraintes n'étaient pas strictes.
Données de Nikuradse (Écoulement turbulent) :
- Jeu de données multivarié sans équation cible connue.
- GPT-4o a généré des expressions plus précises et moins complexes que GPT-4.
- Bien que les LLMs n'aient pas surpassé les algorithmes spécialisés (comme BMS) en termes de précision absolue sur ce problème complexe, ils ont atteint des résultats compétitifs avec beaucoup moins d'évaluations d'équations (153 expressions testées contre des milliers pour BMS), bien que le coût computationnel par expression soit plus élevé.

Comparaison avec les méthodes classiques :

Les LLMs sont moins efficaces que les algorithmes génétiques purs pour l'exploration brute de l'espace d'équations complexes.
Cependant, ils surpassent les méthodes traditionnelles dans l'intégration de connaissances a priori et de contraintes physiques via des instructions en langage naturel, produisant des équations plus "sensées" et interprétables.

5. Signification et Conclusion

Ce travail démontre que les LLMs peuvent servir d'interface puissante pour la découverte scientifique, en particulier pour la régression symbolique.

Simplification de l'intégration théorique : L'approche permet aux scientifiques d'incorporer des contraintes de domaine (théorie, limites physiques) simplement en écrivant des prompts, sans avoir à coder des algorithmes de recherche contraints.
Raisonnement et Interprétabilité : L'utilisation du scratchpad révèle le processus de pensée du modèle, aidant à identifier les erreurs de raisonnement et à éviter les fuites de données (test set leakage), bien que le risque de mémorisation de lois célèbres (comme Kepler) existe.
Limites : La méthode est coûteuse en tokens et en temps de calcul pour les très grands jeux de données. De plus, les LLMs peinent encore à respecter des contraintes de longueur d'expression précises par rapport aux méthodes déterministes.

En conclusion, bien que les LLMs ne remplacent pas encore les algorithmes de régression symbolique dédiés pour les problèmes purement mathématiques complexes, ils offrent une voie prometteuse pour l'exploration guidée par la théorie, permettant de combiner efficacement données expérimentales et connaissances scientifiques pour découvrir des modèles interprétables.