Résumé technique : TUSOAI : Optimisation par agents pour les méthodes scientifiques

Énoncé du problème

La découverte scientifique est souvent entravée par le développement lent et manuel d'outils informatiques nécessaires à l'analyse de données expérimentales complexes. Bien que les grands modèles de langage (LLM) aient démontré des capacités de synthèse de la littérature et de génération de code, les systèmes existants basés sur les LLM se divisent généralement en deux catégories : (1) ceux qui effectuent des analyses scientifiques en utilisant des outils et des pipelines existants, ou (2) ceux qui développent des méthodes d'apprentissage automatique pour des applications générales sans intégrer efficacement des connaissances scientifiques non structurées et spécifiques au domaine. Par conséquent, il manque des systèmes capables de développer et d'optimiser de manière autonome de nouvelles méthodes computationnelles pour des tâches scientifiques spécifiques, en révisant itérativement la littérature, en testant des hypothèses contre des données empiriques et en intégrant des insights dans des logiciels efficaces.

Méthodologie : TUSOAI

TUSOAI est un système d'IA agentic conçu pour développer et optimiser de manière autonome des méthodes computationnelles à partir d'une description de tâche scientifique et d'une fonction d'évaluation. Il imite le cycle de développement de méthodes d'un scientifique en trois étapes principales, opérant sur une seule fonction au sein d'une base de code plus large pour permettre une intégration flexible avec l'infrastructure scientifique existante.

1. Collecte et structuration des connaissances

TUSOAI commence par récupérer et résumer jusqu'à 10 articles scientifiques clés pertinents pour la tâche. Il construit ensuite un Arbre de connaissances, une représentation structurée à deux niveaux des connaissances du domaine :

• Catégories : Des stratégies d'optimisation de haut niveau (par exemple, « modélisation du bruit », « architectures de modèles ») sont élaborées et affinées à l'aide des résumés des articles. Chaque catégorie se voit attribuer un poids de probabilité ($\pi_c$) représentant son utilité estimée.
• Instructions : Des instructions spécifiques et actionnables sont générées au sein de chaque catégorie (par exemple, « modéliser les taux de dropout avec un bruit de Poisson »).
• Catégorie diagnostique : Une catégorie prédéfinie ($I_{diag}$) guide l'agent à enregistrer des informations de diagnostic (par exemple, vérifications de distribution, validation d'hypothèses) pour aider au diagnostic du modèle.

2. Initialisation

Le système initialise un pool de solutions candidates ($S$) en élaborant et en affinant des descriptions de solutions basées sur la tâche et la littérature. Ces descriptions sont ensuite implémentées et déboguées pour former le pool de solutions initial.

3. Optimisation itérative

TUSOAI entre dans une boucle d'optimisation (budget de temps par défaut : 8 heures) où il sélectionne des solutions performantes et diversifiées et les améliore via deux modes :

• Optimisation basée sur les instructions (80 % de probabilité) : L'agent échantillonne une catégorie d'instructions basée sur les probabilités mises à jour par Bayes ($\pi_c$). Il sélectionne une instruction spécifique et optimise la solution en utilisant l'instruction et les retours d'information récents. Si la nouvelle solution surpasse la précédente, la probabilité de la catégorie est augmentée (mise à jour bayésienne), renforçant ainsi l'utilité de cette stratégie.
• Optimisation basée sur le diagnostic (20 % de probabilité) : L'agent sélectionne une instruction de diagnostic, exécute le modèle pour collecter des journaux (par exemple, courbes d'entraînement, violations d'hypothèses) et utilise ces informations pour diagnostiquer et améliorer le modèle.

Ce processus intègre une planification hiérarchique avec des mises à jour bayésiennes pour équilibrer la qualité et la diversité des solutions, ainsi qu'une génération fine qui couple l'optimisation avec des retours de diagnostic.

Contributions clés

1. Cadre TUSOAI : Le développement d'un agent IA spécifiquement adapté à la découverte de méthodes scientifiques, intégrant des connaissances structurées du domaine via un arbre de connaissances.
2. Mécanismes d'optimisation novateurs : Un cadre comprenant (i) des arbres de connaissances pour la représentation structurée du domaine, (ii) une planification hiérarchique avec mises à jour bayésiennes pour gérer le compromis entre la qualité et la diversité des solutions, et (iii) une génération fine qui intègre l'optimisation du modèle avec des retours de diagnostic.
3. Évaluation comparative complète : Évaluation sur 11 tâches scientifiques (6 tâches d'analyse de cellules uniques et 5 tâches d'apprentissage profond scientifique), démontrant une supériorité constante par rapport aux agents MLE de pointe (par exemple, AIDE), aux agents d'IA scientifique (par exemple, Biomni) et aux méthodes conçues par des experts.
4. Impact scientifique : Application à deux problèmes ouverts clés en génétique, où TUSOAI a amélioré des méthodes computationnelles existantes et découvert de nouveaux insights biologiques manqués par les approches précédentes.

Résultats expérimentaux

Les auteurs ont évalué TUSOAI par rapport à des lignes de base incluant AIDE, Biomni, ChatGPT-Agent et des méthodes d'experts performantes dans divers domaines.

• Analyse de cellules uniques : TUSOAI a obtenu un rang moyen de 1,2 sur 6 tâches (par exemple, débruitage, intégration de lots, identification de gènes variables spatiaux), surpassant significativement la deuxième meilleure méthode (AIDE, rang 3,0). Notamment, dans la tâche de débruitage, TUSOAI a conçu une nouvelle approche de factorisation matricielle non négative (NMF) qui modélisait les taux de dropout et le bruit de Poisson, surpassant les méthodes NMF existantes comme ALRA.
• Apprentissage profond scientifique : Sur 5 tâches (par exemple, vision sphérique, diagnostics ECG, prédiction génétique), TUSOAI a obtenu un rang moyen de 2,8, dépassant les modèles conçus par des experts et les méthodes NAS.
• Diversité du code : TUSOAI a généré un code avec une diversité substantiellement plus élevée que AIDE, évitant les optima locaux en explorant une plus large gamme de techniques (par exemple, diverses méthodes de réduction de dimensionnalité et de mise à l'échelle) plutôt que des variations incrémentielles d'une seule approche.
• Efficacité : Toutes les méthodes construites par TUSOAI étaient computationnellement efficaces, les tâches de cellules uniques s'exécutant en <3 minutes et les tâches d'apprentissage profond en <8 minutes.

Études de cas en génétique

L'article met en évidence deux applications spécifiques où TUSOAI a révélé de nouvelles connaissances biologiques :

1. Détection de populations cellulaires critiques pour les maladies : Optimisation de la fonction de score de scDRS (une méthode reliant les GWAS au séquençage de l'ARN de cellules uniques). La version optimisée par TUSOAI a atteint une puissance supérieure de plus de 40 % dans des simulations causales et a identifié 21 % de plus d'associations réelles entre types cellulaires et maladies dans des données réelles. Elle a découvert 26 sous-populations de lymphocytes T associées à des maladies, y compris des lymphocytes T régulateurs liés à la cirrhose biliaire primitive, qui avaient été manqués par la méthode originale.
2. Liaison des variants génétiques aux gènes : Optimisation de pgBoost pour relier les variants aux gènes cibles en utilisant des données multiomes de cellules uniques. Le modèle optimisé a amélioré l'enrichissement des liens de référence (gold-standard) de 13,8 % (eQTL) et de 7,2 % (liens ABC), en particulier pour les distances variant-gène plus longues. Il a découvert 7 nouveaux liens variant-gène, y compris un lien entre un variant lié au glucose et le gène GCK, cohérent avec les rôles biologiques connus.

Importance et affirmations

L'article affirme que TUSOAI représente une étape prometteuse vers le développement automatisé de méthodes scientifiques. En imitant le cycle itératif d'un scientifique — intégrant des connaissances structurées du domaine, effectuant une optimisation spécifique au domaine et utilisant des retours de diagnostic — TUSOAI accélère la création de méthodes computationnelles robustes. Les auteurs affirment que cette capacité améliore non seulement les performances sur des benchmarks standards, mais contribue également activement à la découverte scientifique en révélant des mécanismes biologiques et des associations qui avaient été précédemment manqués par les méthodes existantes conçues par des experts. Le système démontre que les LLM, lorsqu'ils sont couplés à des connaissances structurées et à une optimisation itérative, peuvent aller au-delà de la simple analyse de données pour concevoir réellement des algorithmes scientifiques.