Résumé Technique : Un Cadre Probabiliste pour la Découverte de Modèles Basée sur les LLM

Énoncé du Problème

La découverte scientifique repose de plus en plus sur des modèles de simulateurs mécanistes qui intègrent la théorie et les données pour permettre l'interprétation et la prédiction. Cependant, la construction de ces modèles est laborieuse, exigeant une expertise de domaine substantielle et un raffinement manuel itératif. Bien que les Grands Modèles de Langage (LLM) offrent une voie pour automatiser ce processus en générant et en révisant directement du code exécutable à partir de formulations textuelles, les systèmes de découverte existants basés sur les LLM sont typiquement définis de manière opérationnelle via des heuristiques, des rôles d'agents et des protocoles d'interaction façonnés à la main.

Ces approches opérationnelles manquent d'une formulation probabiliste explicite, ce qui entraîne trois limitations principales :

1. Manque d'Interprétabilité : Le problème d'inférence sous-jacent n'est pas explicitement énoncé, ce qui occulte les modes de défaillance et entrave les extensions principled.
2. Écart Théorique : Ces systèmes ne permettent pas naturellement d'analyse théorique ou de garanties de convergence.
3. Raisonnement Formel : Il est difficile de raisonner formellement sur la nécessité ou la suffisance de composants spécifiques du système lorsque les rôles sont spécifiés de manière lâche.

L'article pose que la découverte de modèles automatisée doit être reformulée non pas comme un flux de travail heuristique, mais comme un problème d'inférence probabiliste : l'échantillonnage d'une distribution inconnue $p(m|x_o)$ sur des modèles mécanistes $m$ (implémentés sous forme de code) capables d'expliquer des données d'observation $x_o$.

Méthodologie : ModelSMC

Les auteurs introduisent ModelSMC, un algorithme basé sur l'échantillonnage de Monte Carlo séquentiel (SMC) qui instancie ce cadre probabiliste. ModelSMC traite les modèles de simulateurs candidats comme des « particules » dans une population, qui sont itérativement proposées, raffinées et pondérées par un LLM.

Algorithme Central

ModelSMC approxime la distribution postérieure $p(m|x_o)$ sur $K$ itérations en utilisant une population de $N$ particules. Chaque particule $i$ à l'itération $k$ est un tuple $(m^i_k, w^i_k, c^i_k)$, représentant le code du modèle, son poids et le contexte de rétroaction. Le processus comprend trois étapes par itération :

1. Rééchantillonnage : L'algorithme calcule la taille d'échantillon effective (ESS). Si l'ESS tombe en dessous d'un seuil $\tau_{ESS}$, un rééchantillonnage systématique est appliqué pour écarter les particules de faible poids et répliquer celles de haut poids, régénérant ainsi la population.
2. Propagation : Chaque particule est propagée via un noyau de mélange. Avec une probabilité $\alpha$, une particule est clonée sans changement (préservant les ressources de calcul). Avec une probabilité $1-\alpha$, une nouvelle implémentation de modèle est échantillonnée à partir d'un LLM. Le LLM est conditionné par :
   • Les modèles ancestraux de la particule rééchantillonnée.
   • Le feedback contextuel (évaluations de performance et diagnostics) des itérations précédentes.
   • Un prompt spécifique à la tâche ($c_{task}$) encodant les connaissances et contraintes du domaine.
3. Pondération : Chaque modèle généré se voit assigner un poids proportionnel à la vraisemblance marginale des données observées, $p(x_o|m)$. Puisque la vraisemblance réelle est souvent intractale, ModelSMC emploie l'Estimation de Vraisemblance Neurale (NLE) en utilisant un estimateur de densité de substitution (spécifiquement NLE-PFN, s'appuyant sur le modèle de fondation TabPFN) pour approximer la vraisemblance sans nécessiter d'optimisation de paramètres explicite ou de modèles différentiables.

Fondement Théorique

Le cadre relie ModelSMC à la théorie classique du SMC. Sous des hypothèses idéalisées (évaluation exacte de la vraisemblance et distribution de proposition correspondant au prior), les auteurs prouvent que ModelSMC fournit une approximation de particule asymptotiquement non biaisée de la distribution postérieure du modèle. Bien que l'algorithme pratique utilise des vraisemblances de substitution et des propositions conditionnées par le contexte, ce fondement théorique permet une analyse formelle de la stabilité et des propriétés de convergence qui font défaut aux flux de travail d'agents heuristiques.

Contributions Clés

1. Formulation Probabiliste : L'article présente la découverte de modèles automatisée par LLM comme une inférence probabiliste sur des programmes exécutables, unifiant la proposition, le raffinement et la sélection sous un objectif unique.
2. Algorithme ModelSMC : Il propose une méthode SMC basée sur une population où les LLM servent de distribution de proposition, permettant l'exploration d'espaces de modèles complexes et ouverts (des centaines de lignes de code) sans restrictions manuelles.
3. Validation Empirique : La méthode est validée sur des tâches synthétiques et des jeux de données réels en neurosciences (dynamique du neurone de Hodgkin-Huxley) et en pharmacologie (régulation de l'aldostérone rénale), démontrant des performances compétitives par rapport aux références.
4. Analyse Théorique : Il démontre comment la théorie existante du SMC peut être appliquée pour analyser la découverte de modèles automatisée, fournissant un prisme pour comprendre la convergence et le rôle des composants du système.

Résultats Expérimentaux

Les auteurs ont évalué ModelSMC par rapport à deux références : FunSearch+ (une méthode de recherche évolutionnaire adaptée à la découverte de modèles avec optimisation de paramètres) et ModelSMC N=1 (une variante séquentielle non probabiliste avec une seule particule).

• Performance Quantitative : À travers des tâches synthétiques (modèle épidémiologique SIR) et réelles (pharmacologie rénale, Hodgkin-Huxley), ModelSMC a atteint des vraisemblances marginales et conditionnelles compétitives, comparables à FunSearch+ et ModelSMC N=1.
• Découverte Mécaniste :
  • Modèle Rénal : ModelSMC a réussi à inférer des dynamiques de régulation manquantes pour l'aldostérone, découvrant une famille étroite de mécanismes de rétroaction qui correspondent étroitement à la vérité terrain, malgré des données limitées.
  • Modèle de Hodgkin-Huxley : L'algorithme a identifié des déficiences structurelles dans le modèle de base, attribuant systématiquement un poids postérieur élevé aux extensions impliquant des courants de potassium lents de type M ($I_M$) couplés à des canaux secondaires (par exemple, sodium persistant $I_{NaP}$ ou HCN $I_h$).
• Analyse de la Postérieure : Contra�à les méthodes produisant une estimation ponctuelle unique, ModelSMC génère une distribution postérieure sur les modèles. Cela a permis aux auteurs de diagnostiquer les insuffisances structurelles par rapport à l'incertitude des paramètres et d'identifier les conclusions robustes (par exemple, la nécessité de $I_M$) tout en révélant les symétries et ambiguïtés dans l'espace des modèles.
• Études d'Ablation : Le cadre s'est avéré robuste aux variations des schémas de pondération (MSE vs vraisemblance), des budgets de simulation, de la complexité des prompts et des backbones de LLM (Claude Sonnet 4.6 vs GPT-5 mini).

Signification et Revendications

L'article affirme que le recadrage de la découverte de modèles pilotée par LLM en tant qu'inférence probabiliste fournit un cadre unifié qui :

• Clarifie les Hypothèses : Énonce explicitement le problème d'inférence, rendant les modes de défaillance et les hypothèses transparents.
• Permet la Rigueur : Permet des garanties de stabilité et de convergence fondées sur la théorie SMC.
• Facilite l'Analyse : Permet un raisonnement formel sur les composants du système, soutenant des ablations et des extensions systématiques.
• Améliore l'Interprétabilité : En effectuant la marginalisation sur les paramètres et en maintenant une population de modèles pondérés, il révèle quels mécanismes hypothétiques sont fortement soutenus, lesquels sont écartés et lesquels restent incertains, plutôt que de simplement sélectionner un seul « meilleur » modèle.

Les auteurs soulignent que leur contribution principale est méthodologique : fournir un cadre d'inférence général où des questions sur la nouveauté et la validité scientifiques peuvent être posées de manière significative. Ils ne prétendent pas que ModelSMC génère intrinsèquement des découvertes scientifiques nouvelles dans tous les cas, notant que de tels résultats dépendent de l'application spécifique, des données et des hypothèses de modélisation. Le cadre est applicable aux contextes où les modèles candidats peuvent être exécutés et admettent des approximations de vraisemblance fiables.