A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais qu'au lieu d'empreintes digitales ou d'alibis, vos indices soient des nombres sur un tableur. Votre objectif est de trouver la « recette » cachée — une équation mathématique écrite proprement qui explique comment ces nombres se comportent. C'est le monde de la régression symbolique. Contrairement aux programmes informatiques classiques qui se contentent de broyer des chiffres pour donner un résultat, la régression symbolique tente d'écrire la loi de la nature elle-même, comme $F=ma$ ou la formule de la gravité, d'une manière que l'humain peut lire et comprendre. C'est la différence entre une boîte noire qui prédit la météo et un météorologue capable d'expliquer pourquoi la tempête arrive.

Pendant longtemps, les scientifiques ont utilisé des ordinateurs pour traquer ces recettes, mais le processus était souvent maladroit. C'est comme essayer de réparer une montre cassée en remplaçant aléatoirement des engrenages dans l'espoir qu'elle se remette à fonctionner. Si la montre ne fonctionne pas, l'ordinateur reçoit simplement un « mauvais score » et réessaie, faisant souvent les mêmes erreurs encore et encore. Récemment, les scientifiques ont commencé à utiliser les Grands Modèles de Langage (LLM) — ces agents conversationnels IA super intelligents que vous connaissez peut-être — pour aider à écrire ces équations. Ces IA sont excellentes pour deviner quels mots (ou symboles mathématiques) devraient suivre, mais elles peuvent encore rester bloquées, écrire des équations qui n'ont pas de sens, ou être confuses lorsque les données deviennent complexes. La grande question est : comment faire pour que ces détectives IA cessent de deviner au hasard et commencent à travailler comme une véritable équipe d'experts ?

Entrez en scène A-SR, une nouvelle méthode qui traite la recherche de formules mathématiques non pas comme un acte solitaire, mais comme un effort d'équipe bien orchestré. Les chercheurs derrière ce papier, Wenxiao Zhao et ses collègues, ont réalisé que l'ancienne méthode était trop rigide. Par le passé, une IA proposait simplement une équation, recevait un score, et réessayait. Si l'équation était brisée, l'IA pouvait tenter de la réparer en ajoutant plus de nombres, ou si elle était trop simple, elle pouvait tenter de la rendre plus complexe, tout cela sans vraiment comprendre pourquoi elle avait échoué.

A-SR change la donne en dotant l'IA d'un « manager » et d'une équipe de spécialistes. Imaginez une salle de rédaction où l'Rédacteur en chef (le Coordinateur) ne se contente pas de demander à un seul reporter d'écrire un article. Au lieu de cela, l'Éditeur examine les événements de la journée et décide de quel spécialiste il a besoin. Si l'article est truffé d'erreurs, l'Éditeur appelle le Réviseur pour vérifier les faits. Si l'article est ennuyeux et nécessite un nouvel angle, le Générateur est appelé pour proposer des idées audacieuses. Si l'article est trop long et confus, le Simplificateur est sollicité pour couper le superflu. Et s'il manque une pièce clé du puzzle, l'Analyste fouille les archives pour trouver le maillon manquant.

Ce qui rend A-SR spécial, c'est que cette équipe ne suit pas un programme fixe. L'« Éditeur » est auto-évolutif. Il observe l'avancement de la recherche en temps réel. Si l'équipe est coincée dans une boucle d'erreurs, l'Éditeur change de stratégie, par exemple en demandant à l'équipe d'arrêter d'explorer de nouvelles idées pour se concentrer sur la réparation de celles qui sont brisées. Il conserve également une « mémoire » de ce qui a fonctionné et de ce qui n'a pas fonctionné, en transmettant ces informations au spécialiste approprié. Par exemple, si l'équipe échoue systématiquement à cause d'un type spécifique d'erreur mathématique, cet échec est envoyé au Réviseur, qui enseigne ensuite à l'équipe comment l'éviter la prochaine fois.

Le papier démontre que cette approche fonctionne incroyablement bien. Testée sur une variété de puzzles scientifiques — de la réaction des produits chimiques à la façon dont les matériaux s'étirent sous la pression — A-SR a trouvé les « recettes » mathématiques correctes bien plus souvent que les méthodes précédentes. Dans une série de tests, utilisant un modèle appelé Llama3.1-8B, le taux de réussite est passé d'environ 25,79 % à 48,30 %. Cela représente presque le double du nombre de problèmes que l'IA pouvait résoudre correctement. Plus impressionnant encore, lorsqu'ils ont transmis les leçons apprises de ces efforts d'équipe à un modèle d'IA plus petit et open-source (Qwen3-4B), le taux de réussite de ce modèle plus petit a également bondi de manière significative, passant de 24,58 % à 38,29 %.

Les chercheurs ont également testé A-SR sur des données scientifiques réelles, comme la croissance de bactéries ou les vibrations de systèmes mécaniques. Dans ces scénarios réels complexes et bruités, A-SR a réussi à trouver les meilleures descriptions mathématiques dans 7 cas sur 8, surpassant les autres méthodes de pointe. Le point essentiel n'est pas seulement que l'IA est devenue meilleure en mathématiques ; c'est que l'IA a appris à penser à ses erreurs. Au lieu de tester aveuglément des millions de combinaisons aléatoires, elle a appris à diagnostiquer ses propres échecs, à changer de rôle si nécessaire, et à utiliser sa mémoire pour éviter de répéter les mêmes erreurs. Il s'agit d'un passage d'une recherche solitaire chaotique à une équipe d'agents intelligents et coordonnés, chacun faisant exactement ce pour quoi il est le mieux adapté, guidé par un manager qui sait quand pousser pour de nouvelles idées et quand faire une pause pour réparer ce qui est cassé.