LLM-Guided ODE Discovery and Parameter Inference from Small-Cohort Aggregate Data

Résumé technique : AgentODE pour la découverte d'EDO à partir de données agrégées

Énoncé du problème
La modélisation mécaniste via des équations différentielles ordinaires (EDO) offre des perspectives interprétables sur les dynamiques complexes, ce qui est crucial dans les contextes cliniques. Cependant, la découverte de structures d'EDO et l'inférence de paramètres pour les maladies rares se heurtent à des obstacles importants : les données au niveau individuel sont souvent rares, bruitées, hétérogènes et limitées par des contraintes de confidentialité. Bien que les statistiques de synthèse au niveau de la population constituent une alternative respectueuse de la vie privée, les méthodes existantes échouent à découvrir conjointement les structures d'EDO et à affiner les distributions de paramètres en utilisant uniquement ces statistiques agrégées. La régression symbolique traditionnelle et l'identification parcimonieuse nécessitent des données individuelles denses, tandis que les approches au niveau de la population, comme les modèles à effets mixtes non linéaires, nécessitent des structures préspécifiées. De plus, les récentes méthodes de découverte basées sur les grands modèles de langage (LLM) dépendent encore des données de niveau individuel pour l'évaluation, laissant un vide dans la gestion des scénarios de données rares et de contraintes de confidentialité où les paramètres doivent être modélisés sous forme de distributions pour capturer l'hétérogénéité.

Méthodologie : AgentODE
Les auteurs proposent AgentODE, un cadre de bout en bout qui découvre conjointement les structures d'EDO et affine les distributions de paramètres uniquement à partir de statistiques de synthèse au niveau de la population. Le cadre fonctionne via deux boucles de rétroaction étroitement couplées, médiées par un LLM :

1. Boucle externe (Découverte de structure) :

   • Basé sur le paradigme LLM-SR, un LLM propose des structures d'EDO candidates conditionnées par la spécification du problème.
   • Les structures sont évaluées non pas par un ajustement direct aux trajectoires individuelles, mais par leur performance lorsqu'elles sont associées à des distributions de paramètres inférées.
   • Un tampon d'expérience (Experience Buffer) stocke les structures et les distributions de paramètres performantes pour guider les propositions futures, utilisant un modèle basé sur des îlots pour maintenir la diversité et éviter les optima locaux.

2. Boucle interne (Agent d'inférence de paramètres) :

   • Pour une structure candidate donnée, un agent augmenté par des outils affine de manière itérative les distributions de paramètres (supposées être des distributions LogNormal indépendantes pour capturer l'hétérogénéité interindividuelle).
   • Résumés visuels : L'agent utilise des résumés visuels structurés des données de population (par exemple, des trajectoires moyennes avec des intervalles de confiance à 95 %, stratifiés par conditions initiales, et des cartes de chaleur de corrélation de Spearman des premières différences) comme entrées empiriques.
   • Boucle Diagnostic–Mise à jour :
     • Diagnostic : L'agent simule des données synthétiques à partir de la distribution de paramètres actuelle, calcule les statistiques de synthèse et les compare aux statistiques empiriques. Il utilise des outils statistiques pour quantifier les écarts (par exemple, dans les moyennes, les variances, les autocorrelations et les dépendances entre variables) et génère un rapport de diagnostic identifiant les modes de défaillance.
     • Mise à jour : L'agent raisonne sur le rapport de diagnostic et sur les itérations réussies passées pour mettre à jour les distributions de paramètres. Il identifie quels paramètres régissent des défaillances dynamiques spécifiques et ajuste leurs distributions en conséquence.
   • Score :
     • Vraisemblance synthétique logarithmique (logSL) : Utilisée pour évaluer l'ajustement des paramètres au sein d'une structure spécifique en comparant les statistiques de synthèse et les statistiques empiriques.
     • Écart de synthèse normalisé moyen (MNSD) : Utilisé pour comparer différentes structures d'EDO, en normalisant les écarts par l'écart interquartile empirique pour assurer la comparabilité entre des structures ayant des paramétrisations différentes.

Principales contributions

1. Premier cadre conjoint : AgentODE est la première méthode qui découvre conjointement les structures d'EDO et affine les distributions de paramètres en utilisant uniquement des statistiques de synthèse au niveau de la population, comblant ainsi le fossé entre la rareté des données/confidentialité et la modélisation mécaniste.
2. Robustesse dans les contextes de parcimonie : Les auteurs démontrent que le raisonnement à partir de statistiques de synthèse sert de signal robuste pour la découverte de structures dans des environnements cliniques parsemés et bruités. En condensant les motifs de population et en atténuant le bruit individuel, les statistiques de synthèse guident le LLM vers le véritable mécanisme sous-jacent, là où les méthodes ayant accès aux données individuelles font souvent du surapprentissage (overfitting) sur le bruit, récupérant des structures implausibles ou dégénérées malgré une erreur de prédiction plus faible.
3. Génération de population synthétique : La structure et les distributions de paramètres inférées conjointement peuvent générer des populations de patients synthétiques qui capturent l'hétérogénéité observée, facilitant des analyses ultérieures sans compromettre la confidentialité.

Résultats expérimentaux
Le cadre a été évalué sur trois benchmarks synthétiques (Apoptose, Réticulation de polymère DA, PKPD-Immunité) et deux ensembles de données cliniques : l'insuffisance rénale aiguë (AKI) de MIMIC-IV et l'épidermolyse bulleuse dystrophique récessive (RDEB).

• Performance : AgentODE a obtenu des performances comparables aux modèles de référence ayant accès aux trajectoires complètes (ex. LLM-SR†, Neural ODE) sur les benchmarks et les données cliniques, récupérant souvent des structures plus compactes et mécanistiquement significatives.
• Étude de cas RDEB : Dans l'ensemble de données RDEB (46 patients, 231 observations), AgentODE a récupéré une structure cohérente avec un modèle expert développé indépendamment. En revanche, les modèles de référence avec accès aux données individuelles (LLM-SR†) ont obtenu une erreur quadratique moyenne (RMSE) plus faible mais ont découvert des structures mécanistiquement implausibles (par exemple, traiter une variable dynamique clé comme statique ou introduire des boucles causales denses et uniquement négatives).
• Études d'ablation : Le retrait de la boucle itérative de diagnostic–mise à jour ou le recours exclusif à l'initialisation des paramètres par le LLM a entraîné des performances nettement moins bonnes et la génération fréquente de trajectoires invalides (instables), soulignant la nécessité de l'affinement itératif et du raisonnement par résumé visuel.

Signification et affirmations
L'article affirme qu'AgentODE ouvre de nouvelles possibilités pour la modélisation mécaniste des maladies rares où la rareté des données et les contraintes de confidentialité limitent traditionnellement l'analyse. Il postule que dans les contextes cliniques parsemés et bruités, la performance prédictive (ex. RMSE) est un critère insuffisant pour évaluer la qualité d'un modèle mécaniste ; un modèle avec une erreur plus faible peut simplement faire du surapprentissage sur le bruit. En opérant sur des statistiques de synthèse au niveau de la population, AgentODE propose une approche principled et respectueuse de la vie privée qui privilégie la cohérence mécaniste plutôt que la précision prédictive brute, permettant de récupérer les comportements dynamiques sous-jacents qui sont robustes à travers la cohorte. Les auteurs soulignent que les structures récupérées doivent être interprétées comme étant fonctionnellement cohérentes avec le comportement observé de la population plutôt que comme une vérité absolue, nécessitant une validation par des experts du domaine avant toute application clinique.