🤖 AI

Library Reachability in LSR-Synth: How Anti-Memorization Design Changes the Measurement of Symbolic Discovery

Cet article évalue la capacité du benchmark LSR-Synth à distinguer les connaissances scientifiques préalables de la recherche d'opérateurs conventionnels en démontrant que, bien que ses contrôles anti-mémorisation soient efficaces, les tâches actuelles mesurent principalement la recombinaison d'expressions inédites au sein d'un vocabulaire fixe plutôt que les contributions uniques des a priori des modèles de langage, à moins que ce vocabulaire ne soit délibérément contraint.

Auteurs originaux : Zhan'ao Yao, Liang Yin, Zhihao Gao, Boxuan Zhang, Xiaoyu Wu, Linjing Li, Rongyan Wang, Tingwei Chen, Youwei Wang, Xiaolin Zhao, Jiahui Shi, Jianjun Liu

Publié 2026-08-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhan'ao Yao, Liang Yin, Zhihao Gao, Boxuan Zhang, Xiaoyu Wu, Linjing Li, Rongyan Wang, Tingwei Chen, Youwei Wang, Xiaolin Zhao, Jiahui Shi, Jianjun Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère : un nouveau détective brillant utilise-t-il réellement sa vive intuition pour résoudre une affaire, ou ne fait-il que réciter une solution qu'il a mémorisée dans un livre célèbre ? C'est la grande question à laquelle sont confrontés les scientifiques qui utilisent l'intelligence artificielle (IA) pour découvrir de nouvelles lois mathématiques. Pendant longtemps, les chercheurs ont entraîné des IA à observer des données — comme la vitesse d'une pomme qui tombe ou la croissance de bactéries — et à deviner la formule cachée qui les explique. Ce domaine est appelé « régression symbolique ». Le problème est que les modèles d'IA sont comme de gigantesques bibliothèques qui ont presque tout lu de ce qui a jamais été écrit. Si vous leur demandez la formule de la gravité, ils pourraient simplement s'en souvenir d'un manuel qu'ils ont lu pendant leur entraînement, plutôt que de la découvrir réellement à partir des données. Pour corriger cela, des scientifiques ont créé un test spécial appelé LSR-Synth. Ils ont inventé des problèmes scientifiques totalement nouveaux et imaginaires en mélangeant des règles connues avec des ingrédients étranges et nouveaux. L'espoir était que, puisque ces problèmes étaient totalement inédits, l'IA ne pourrait pas simplement « mémoriser » la réponse ; elle devrait véritablement la découvrir.

Mais voici le rebondissement : même si la réponse finale est nouvelle, les outils que l'IA utilise pour la trouver pourraient être anciens. Imaginez un chef essayant d'inventer un nouveau plat. Si la cuisine est garnie de toutes les épices et de tous les ingrédients imaginables (une « bibliothèque fixe »), le chef n'a peut-être pas besoin d'être un génie pour préparer un excellent repas ; il lui suffit de mélanger les bons ingrédients existants. Cet article pose une question très spécifique, un peu ennuyeuse mais cruciale : ces nouveaux tests d'IA prouvent-ils réellement que l'IA utilise son « cerveau » (connaissance scientifique), ou est-elle simplement un très bon mélangeur d'ingrédients qui étaient déjà dans la cuisine ? Les auteurs ont construit une cuisine « aveugle » où l'IA ne pouvait pas voir le nom des ingrédients ou le type de nourriture, seulement les chiffres bruts. Ils ont comparé un chef IA intelligent à un simple robot respectant des règles qui essaie simplement tous les mélanges possibles d'ingrédients standards.

Les résultats sont un certain rappel à la réalité face au battage médiatique. Les auteurs ont constaté que, dans la plupart de ces nouveaux puzzles scientifiques, le simple robot avec ses outils de cuisine standards pouvait les résoudre aussi bien que le chef IA intelligent. En fait, lorsqu'ils ont donné au chef IA une cuisine complète, il n'a pas résolu beaucoup plus de puzzles que le robot. L'IA n'a montré un véritable avantage que lorsque la cuisine était dépouillée, laissant de côté des ingrédients essentiels comme les « exponentielles » ou les « fonctions trigonométriques ». Ce n'est qu'alors que la capacité de l'IA à suggérer de nouveaux ingrédients bizarres a aidé à résoudre le problème.

Alors, qu'est-ce que cela signifie ? Cela ne signifie pas que l'IA est inutile ou qu'elle se contente d'utiliser une solution mémorisée. Cela signifie que, pour la série de tests actuelle, la « cuisine standard » est tellement bien garnie que l'« intuition scientifique » spéciale de l'IA n'est pas strictement nécessaire pour obtenir un score élevé. L'article suggère que pour prouver véritablement qu'une IA découvre une nouvelle science et ne se contente pas de réorganiser d'anciens outils, nous devons concevoir des tests où les outils standards échouent d'abord. D'ici là, un score élevé sur ces tests pourrait simplement signifier que l'IA est douée pour utiliser une boîte à outils standard, et non qu'elle a débloqué une nouvelle forme de génie scientifique. Les auteurs concluent que, bien que ces tests soient excellents pour empêcher l'IA de simplement copier d'anciennes formules, ils ne sont pas encore assez performants pour prouver que l'IA apporte quelque chose de réellement nouveau de son propre esprit.

Résumé Technique : Accessibilité des Bibliothèques dans LSR-Synth

1. Énoncé du Problème

Les benchmarks existants pour la découverte d'équations scientifiques, tels que LSR-Synth, sont conçus pour atténuer la « mémorisation de formules » en construisant des équations cibles qui combinent des mécanismes scientifiques établis avec des termes synthétiques nouveaux. Cela garantit que l'expression cible complète est peu susceptible d'exister telle quelle dans le corpus d'entraînement d'un modèle de langage (LLM).

Cependant, une lacune critique subsiste dans l'évaluation de savoir si le succès d'un LLM provient de véritables priors scientifiques ou simplement de sa capacité à recombiner des blocs mathématiques familiers. Une équation cible peut être nouvelle dans son ensemble, mais ses opérateurs constitutifs (ex: puissances, exponentielles, fonctions trigonométriques) et ses structures peuvent être entièrement contenus dans un espace de recherche fixe et dépourvu de sémantique. Si un algorithme de recherche conventionnel utilisant un vocabulaire documenté peut récupérer la cible sans accéder à la signification des variables ou au contexte du domaine, la contribution du LLM est indiscernable d'une recherche d'opérateurs standard. Le papier répond à la question suivante : Les tâches actuelles de LSR-Synth distinguent-elles efficacement les priors scientifiques fournis par le LLM d'une recherche conventionnelle au sein d'un vocabulaire fixe ?

2. Méthodologie

Les auteurs introduisent un cadre de diagnostic centré sur le concept d'accessibilité des bibliothèques (library reachability) : la propriété qu'une cible puisse être récupérée par une recherche sans sémantique sous un vocabulaire prescrit et un budget de calcul donné.

Configuration Expérimentale :

Dataset : 129 tâches issues du benchmark LSR-Synth (couvrant la croissance de population, les oscillations physiques, les réactions chimiques et les relations matérielles).
Sources de Candidats :
- BANK : Une bibliothèque de candidats fixe construite sans accès à la sémantique des tâches (noms de variables ou descriptions de domaine). Deux variantes sont utilisées : BANK-LaSR (basée sur l'ensemble d'opérateurs de PySR) et BANK-SRBench-PySR.
- LLM : Candidats proposés par un modèle de langage sous deux conditions :
  - L1 : Contexte complet (noms des variables, description du domaine, plages de données).
  - L2 : Aveuglement sémantique (variables anonymes, aucune description de domaine).
- UNION : L'union des ensembles de candidats BANK et LLM.
Procédure de Recherche : Une recherche gloutonne appariée est exécutée sur chaque pool de candidats (BANK, LLM, UNION) en utilisant des sous-échantillons d'entraînement, des procédures d'ajustement (moindres carrés non linéaires avec réestimation jointe des paramètres) et des critères d'arrêt identiques. Cela isole la source des candidats comme unique variable.
Interventions :
- Aveuglement Sémantique : Comparaison de L1 vs L2 pour évaluer la valeur du contexte de domaine.
- Affaiblissement de la Bibliothèque : Remplacement de la bibliothèque complète par une bibliothèque BANK-Poly (uniquement polynomiale) pour créer des lacunes de couverture explicites.
- Éliminations Appariées (Matched Knockouts) : Suppression des familles d'opérateurs requis par la cible vs suppression d'un nombre égal d'opérateurs non pertinents pour tester la sensibilité de la couverture.

Métriques d'Évaluation :

Précision en Distribution (In-Distribution Accuracy) : Seuils d'erreur relatifs ( $\tau=0.01, 0.001$ ).
Récupération Conjointe Stricte : Succès sur les données en distribution (ID) et hors distribution (OOD) avec $NMSE < 10^{-8}$ .
Précision Symbolique (SA) : Une règle d'unanimité stricte (10/10 votes "Oui" de GPT-OSS-120B) déterminant si le squelette prédit est structurellement équivalent à la vérité terrain.

3. Résultats Clés

Haute Couverture par les Bibliothèques Fixes : Sous le vocabulaire complet de LaSR, la bibliothèque fixe BANK-LaSR atteint une performance élevée (77,71 % Acc0.01, 19,77 % SA), surpassant de nombreuses méthodes basées sur les LLM rapportées dans la littérature.
Contribution Marginale des LLM : Lorsque la bibliothèque fixe est complète, l'ajout de candidats LLM (UNION) produit des améliorations négligeables ou non monotones par rapport à BANK seul. Le LLM découvre rarement des solutions que la bibliothèque fixe ne peut trouver.
Impact de l'Affaiblissement de la Bibliothèque : Lorsque la bibliothèque fixe est restreinte aux polynômes (BANK-Poly), la performance chute de manière significative. Dans ce cadre, l'ajout de candidats LLM (UNION-Poly) produit des gains substantiels sur toutes les métriques, démontrant que les LLM sont efficaces pour combler de véritables lacunes structurelles (ex: termes exponentiels ou trigonométriques) absentes du vocabulaire restreint.
Contexte Sémantique : La performance du LLM est plus élevée avec un contexte complet (L1) qu'avec un contexte aveugle (L2), mais cet avantage ne se traduit en gains de bout en bout que lorsque la bibliothèque fixe présente des lacunes de couverture.
Décomposition du Succès : L'analyse des résultats appariés révèle un chevauchement étendu entre les succès de BANK et de LLM. Sous des critères stricts (SA, OOD), le nombre de tâches résolues uniquement par le LLM est faible par rapport à celles résolues uniquement par BANK.

4. Contributions Clés

Concept d'Accessibilité des Bibliothèques : Le papier définit et opérationnalise l'« accessibilité des bibliothèques » comme un outil de diagnostic pour séparer la nouveauté d'une équation complète de la nouveauté de son espace de recherche.
Protocole de Benchmarking Diagnostique : Il propose un protocole d'évaluation rigoureux utilisant des exécutions appariées BANK, LLM et UNION avec des graines (seeds) et des budgets fixes pour isoler la contribution des priors du LLM de la couverture des candidats.
Preuve Empirique sur LSR-Synth : L'étude démontre que les scores agrégés actuels de LSR-Synth sont insuffisants pour affirmer que les LLM fournissent des priors scientifiques indispensables au-delà d'un espace de recherche fixe, car la plupart des tâches sont accessibles par des bibliothèques dépourvues de sémantique.

5. Signification et Revendications

Le papier ne prétend pas que les LLM sont inutiles pour la régression symbolique ou que les benchmarks anti-mémorisation sont invalides. Il propose plutôt une conclusion limitée mais précise :

« Le score de benchmark agrégé actuel est insuffisant, en soi, pour démontrer qu'un modèle de langage contribue à des connaissances scientifiques au-delà de ce qui est déjà encodé dans une bibliothèque fixe. »

Les auteurs soutiennent que, bien que LSR-Synth réussisse à empêcher le rappel de formules complètes, il ne contrôle pas actuellement l'accessibilité de l'espace de recherche. Par conséquent, une haute précision sur ces benchmarks peut refléter la capacité du modèle à recombiner des opérateurs familiers plutôt que l'application de nouveaux priors scientifiques.

Implications pour les Travaux Futurs :

Les benchmarks devraient tester la résistance des tâches générées contre des bibliothèques fixes documentées avant leur publication.
Les évaluations devraient rapporter conjointement les résultats BANK, LLM et UNION pour distinguer le rappel de candidats de l'expansion effective de la limite de recherche.
Les affirmations de découverte scientifique doivent être soutenues par des preuves que le LLM étend la limite de recherche au-delà de ce qu'un vocabulaire fixe et sans sémantique peut accomplir sous le même budget de calcul.