MyeGPT: an AI agent for Multiple Myeloma

MyeGPT est une application de navigateur alimentée par l'intelligence artificielle qui permet aux chercheurs en myélome multiple de valider des hypothèses et de visualiser les résultats du complexe jeu de données CoMMpass en convertissant des requêtes en langage naturel en analyses automatisées et axées sur les données, sans nécessiter de compétences en programmation.

L'essentiel

Imaginez que vous possédiez une bibliothèque massive et incroyablement détaillée de dossiers médicaux pour un type spécifique de cancer du sang appelé le myélome multiple. Cette bibliothèque, connue sous le nom d'étude CoMMpass, contient les « histoires de vie » de 1 143 patients. Elle inclut leurs symptômes, leur historique de traitement, leur composition génétique et leur durée de vie. Cependant, il y a un piège : cette bibliothèque est écrite dans un code secret (des langages de programmation informatique complexes) que seuls quelques bibliothécaires spécialisés (des bioinformaticiens) peuvent lire. Pour un médecin ou un chercheur ordinaire, essayer de trouver une réponse spécifique — comme « Les patients présentant une certaine mutation génétique vivent-ils plus longtemps ? » — revient à chercher une aiguille dans une botte de foin tout en portant des gants et un bandeau sur les yeux.

Voici MyeGPT.

Qu'est-ce que MyeGPT ?

Pensez à MyeGPT comme à un bibliothécaire bilingue et surdoué qui a mémorisé l'intégralité de la bibliothèque CoMMpass. Vous n'avez pas besoin de connaître le code secret pour lui parler. Vous pouvez simplement lui poser des questions en anglais courant, tout comme vous le feriez à un humain : « Montrez-moi les taux de survie des patients ayant rechuté après leur premier traitement » ou « Comparez l'état de santé général des patients présentant des niveaux élevés versus normaux d'une protéine spécifique ».

MyeGPT ne se contente pas de deviner la réponse. Il agit comme un détective qui :

1. Comprend votre question.
2. Creuse dans la base de données pour trouver les pages de données exactes nécessaires.
3. Fait les calculs pour déterminer la réponse.
4. Dessine une image (un graphique ou un diagramme) pour vous montrer les résultats.

Comment cela fonctionne-t-il ?

Les chercheurs ont construit ce « bibliothécaire » en utilisant un type d'intelligence artificielle appelé IA agentique. Contrairement à un chatbot standard qui se contente de discuter, un « agent » peut réellement faire des choses.

• Le Cerveau (LLM) : C'est la partie qui comprend votre langage et planifie les étapes pour résoudre le problème.
• Les Outils : MyeGPT dispose d'un ensemble d'outils numériques. Il possède un « outil de recherche » pour trouver les bonnes définitions dans le manuel de la bibliothèque, un « outil de base de données » pour exécuter des requêtes complexes, et un « outil de dessin » pour créer des graphiques.
• La Mémoire (Base de connaissances) : Avant de commencer, l'équipe a fourni à MyeGPT un manuel d'instructions de 52 pages expliquant exactement ce que signifie chaque colonne de la base de données. Cela garantit qu'il ne se trompe pas sur ce que « réponse au traitement » ou « nombre de copies » désigne réellement.

Est-ce que cela a fonctionné ? (Le test routier)

Les chercheurs ne l'ont pas seulement construit ; ils l'ont soumis à un test routier rigoureux pour vérifier s'il était sûr et précis.

1. Le Test de Culture Générale : Ils ont posé à MyeGPT 20 questions pièges nécessitant des mathématiques complexes et des fouilles de données. Ils ont comparé ses réponses à une « référence absolue » créée par des experts humains.

   • Le Résultat : La meilleure version de MyeGPT a obtenu un score de 79,4 sur 100. Elle était suffisamment bonne pour être utile, bien que pas parfaite. Fait intéressant, un modèle d'IA plus petit et moins performant a obtenu des résultats presque aussi bons que les géants coûteux, ce qui en fait un choix rentable.

2. Le Test de « Reproduction » : Ils ont demandé à MyeGPT de recréer des études célèbres déjà publiées par des humains.

   • Le Résultat : MyeGPT a reproduit avec succès les résultats de deux études majeures. Il a calculé des taux de survie et des schémas d'expression génique qui correspondaient presque parfaitement au travail des chercheurs humains originaux.

3. Le Test « Humain contre Machine » : Ils ont demandé à la fois à MyeGPT et à des experts humains de classer les patients dans des groupes de risque (Risque Élevé vs Risque Standard).

   • Le Résultat : L'accord entre l'IA et les humains était incroyablement élevé (96,5 %). Cela signifie que l'IA « pense » de manière très similaire à un expert humain lorsqu'elle examine ces données.

Que peut-il faire actuellement ?

L'article montre que MyeGPT gère trois types de tâches :

• Simple : « Combien de patients ont pris le médicament X ? » (Une recherche rapide).
• Moyenne : « Les patients avec le gène Y répondent-ils mieux au médicament Z ? » (Comparaison de deux ensembles de données différents).
• Complexe : « Analysez le code génétique complet de tous les 1 143 patients pour trouver tout gène qui pourrait être lié à l'échec du traitement. » (Une recherche massive à l'échelle du génome).

Limitations importantes (Les petites lignes)

Les auteurs sont très clairs sur ce que MyeGPT n'est pas :

• Ce n'est pas un médecin. Vous ne pouvez pas lui demander : « Dois-je donner ce médicament spécifique à ce patient précis ? ». L'article indique explicitement que MyeGPT est destiné à la recherche et à la génération d'hypothèses uniquement. Parce que l'IA peut commettre des erreurs et que les données proviennent d'une étude observationnelle (et non d'un essai clinique contrôlé), ses conseils ne doivent jamais être utilisés pour prendre des décisions médicales réelles concernant des patients.
• Il nécessite un cadre de recherche. Il est conçu pour aider les scientifiques à explorer des données sur leurs ordinateurs portables ou même leurs smartphones, mais ce n'est pas encore un outil clinique pour les hôpitaux.

La conclusion

MyeGPT est un outil de preuve de concept qui comble le fossé entre les ensembles de données médicaux complexes et massifs et les chercheurs qui souhaitent les utiliser. Il transforme une bibliothèque nécessitant un doctorat en informatique pour être naviguée en une interface de chat conversationnelle. Bien qu'il ne soit pas prêt à remplacer les médecins, il agit comme un puissant « copilote » pour les scientifiques, les aidant à poser des questions et à trouver des réponses dans l'océan vaste des données sur le myélome multiple beaucoup plus rapidement qu'auparavant.

Résumé technique

Résumé technique : MyeGPT – Un agent IA pour le myélome multiple

Énoncé du problème
L'étude CoMMpass du MMRF constitue une ressource phare pour la recherche sur le myélome multiple, comprenant des données cliniques et moléculaires complètes pour 1 143 patients. Cependant, la complexité de l'ensemble de données – comportant à elle seule 763 champs cliniques, en plus des données multi-omiques (WGS, WES, RNA-seq, FISH) – crée une courbe d'apprentissage abrupte pour les chercheurs. Les outils existants, tels que le Laboratoire Virtuel du MMRF ou les bibliothèques R (MMRFBiolinks, MMRFVariant), offrent des périmètres d'analyse limités qui ne peuvent pas facilement accommoder les tests d'hypothèses inter-modaux ou les requêtes personnalisées. De plus, les agents IA à usage général rencontrent des obstacles dans ce domaine : ils n'ont pas un accès préconfiguré aux ensembles de données à accès contrôlé comme CoMMpass, obligeant souvent les utilisateurs à télécharger des données sensibles, et ils peinent à maîtriser la nomenclature spécifique des champs et les relations sémantiques inhérentes au schéma CoMMpass.

Méthodologie
Les auteurs ont développé MyeGPT (Myeloma Generative Pretrained Transformer), un système d'IA agentique spécialisé conçu pour fonctionner en tant que « bioinformaticien IA » pour le myélome multiple.

• Architecture : MyeGPT utilise le paradigme ReAct (Reasoning and Acting). Il fonctionne par cycles alternés où un grand modèle de langage (LLM) raisonne sur une requête en langage naturel de l'utilisateur, formule un plan et exécute des actions à l'aide d'outils spécifiques.
• Infrastructure de données : Le système s'appuie sur une base de données PostgreSQL contenant 17 tables interconnectées dérivées de la version IA22 de CoMMpass (et IA16a pour des translocations spécifiques). Cela inclut les démographies cliniques, les réponses aux traitements, les données de survie, les variants de l'exome, les variations du nombre de copies et des métriques dérivées telles que les appels de chromothripsie et les signatures mutationnelles.
• Base de connaissances : Pour combler le fossé entre les requêtes en langage naturel et le schéma de la base de données, les auteurs ont mis en œuvre un système de Génération Augmentée par Récupération (RAG). Un ensemble de documentation de 52 pages décrivant les champs CoMMpass est indexé sous forme de magasin de vecteurs d'encodage de texte. L'agent récupère les pages de documentation pertinentes en fonction de la similarité de la requête avant d'essayer de générer des requêtes SQL.
• Outils : MyeGPT utilise une suite d'outils :
  • Recherche de documents : Récupère la documentation de schéma pertinente via la similarité vectorielle.
  • Requête SQL LangChain : Génère et teste des requêtes SQL avec une clause LIMIT pour éviter le gonflement des tokens lors du débogage.
  • Requête SQL Python : Exécute des requêtes SQL validées dans un environnement Python isolé, en sauvegardant les résultats complets sur le disque.
  • REPL Python : Effectue des analyses statistiques, des tracés et des calculs.
• Étalonnage : Les auteurs ont construit l'Ensemble de tests quantitatifs CoMMpass (CQTS), comprenant 20 questions à réponse numérique classées par difficulté (Simple, Intermédiaire, Complexe). Les métriques d'évaluation incluaient un score Composé de Précision du Raisonnement (RAC) (pondéré pour la méthode et la justesse de la réponse) et le Net Promoter Score (NPS). Ils ont également évalué des modèles d'encodage de texte pour la précision de la récupération de documents.

Contributions clés

1. Agent d'ensemble de données spécialisé : MyeGPT sert de preuve de concept pour un agent « curateur d'ensemble de données » qui possède une connaissance profonde et préconfigurée d'un ensemble de données biomédicales spécifique et complexe, éliminant le besoin pour les utilisateurs de télécharger des données ou de mapper manuellement les noms de champs.
2. Stratégies d'optimisation des coûts : Les auteurs détaillent des optimisations techniques significatives pour réduire le coût de l'IA agentique. En utilisant le RAG pour récupérer uniquement les pages de documentation nécessaires et en imposant un processus SQL en deux étapes (débogage avec LIMIT suivi d'une exécution complète), ils ont réduit le coût par exécution de l'étalonnage d'environ 10 $ à environ 0,10 $ (une réduction d'environ 100 fois).
3. Cadre d'évaluation : L'article introduit un protocole d'étalonnage rigoureux (CQTS) avec des critères de notation qui récompensent les étapes de raisonnement logique, et non seulement les réponses finales, permettant de différencier les modèles qui échouent en raison de limites de récursivité de ceux qui échouent par manque de connaissances.

Résultats

• Performance de l'étalonnage : Dans l'étalonnage des réponses numériques, Claude Opus 4.5 d'Anthropic a obtenu le score Composé de Précision du Raisonnement (mRAC) le plus élevé de 0,794 et un NPS de +11, avec zéro réponse à score nul. Parmi les modèles OpenAI, le GPT-5 mini, économique, a performé de manière compétitive (mRAC 0,681, NPS +6), offrant un équilibre favorable entre performance et coût.
• Modèles d'encodage : Pour la récupération de documents, gemini-embedding-001 de Google et text-embedding-003-large d'OpenAI (3072 dimensions) ont démontré des performances supérieures (précision à la première tentative d'environ 67-68 %) par rapport aux modèles de dimensions inférieures.
• Reproduction de résultats connus :
  • Classification à haut risque fonctionnel (FHR) : Lorsqu'il était chargé de classer les patients dans les catégories Risque Standard (SR), Risque Génétique Élevé (GHR) et FHR, MyeGPT (utilisant divers LLM) a montré une forte fiabilité inter-évaluateurs avec des experts humains. Le plus haut accord a été observé entre Claude Sonnet 4.5 et un évaluateur humain (κ de Cohen = 0,965).
  • Analyse des sous-types PR : MyeGPT a reproduit avec succès les analyses de survie et les résultats d'expression différentielle des gènes de la publication CoMMpass IA22 de Skerget et al. (2024). Bien que de légères divergences aient existé (attribuées aux méthodes de correction de lot et au traitement des dates censurées), les tailles d'effet et les valeurs p correspondaient étroitement à l'étude originale.
• Scénarios novateurs : Le système a exécuté avec succès des tâches allant de requêtes univariées simples (par exemple, la distribution des raisons d'arrêt du traitement) à des criblages génomiques complexes (par exemple, l'identification de mutations enrichies chez les patients FHR par rapport aux patients SR et la réalisation d'une régression de Cox gène par gène).

Signification et revendications
L'article positionne MyeGPT non pas comme un outil d'aide à la décision clinique, mais comme un moteur d'accélération de la recherche. Les auteurs déclarent explicitement que, en raison du caractère non déterministe des LLM et de la conception observationnelle de l'étude CoMMpass, l'outil est limité à l'analyse exploratoire des données et à la génération d'hypothèses.

La principale signification revendiquée est la capacité à abaisser la barrière technique pour les chercheurs sur le myélome, permettant une analyse « en déplacement » via un navigateur de smartphone sans nécessiter de compétences en programmation. MyeGPT démontre qu'une IA agentique spécialisée peut naviguer efficacement dans des ensembles de données biomédicaux complexes et multi-modaux, transformant les requêtes en langage naturel en analyses statistiques reproductibles et en visualisations. Les auteurs encouragent la création d'agents spécialisés similaires pour d'autres ensembles de données (par exemple, TCGA) afin de démocratiser l'accès aux données biomédicales à grande échelle.