Diagnostic Performance of Agentic AI for Rare Disease Diagnosis: A Systematic Review, Meta-analysis, Workflow Development, and Benchmark-based Validation

Pour des millions de personnes à travers le monde, un diagnostic n'est pas un point de départ, mais une destination qui reste hors de portée. Les maladies rares, par leur nature même, sont insaisissables. Elles se présentent avec des symptômes souvent vagues, superposés ou uniques à un individu, et les connaissances médicales nécessaires pour relier ces points sont dispersées dans des domaines spécialisés que peu de médecins rencontrent dans leur pratique quotidienne. Cela mène à un parcours frustrant connu sous le nom d'« odyssée diagnostique », où les patients et leurs familles passent des années à chercher des réponses qui pourraient être cachées à la vue de tous au sein de vastes quantités de données médicales. Ces dernières années, l'intelligence artificielle a offert un nouvel espoir pour résoudre ces énigmes. Plus précisément, une nouvelle génération de systèmes intelligents a émergé, qui ne se contente pas de lire du texte, mais réfléchit activement aux problèmes. Ces systèmes, souvent appelés systèmes « agents », sont conçus pour imiter la façon dont travaille un spécialiste humain : ils décomposent un problème complexe en étapes plus petites, recherchent des informations dans des bases de données externes et affinent leurs suppositions à mesure qu'ils recueillent davantage de preuves, plutôt que de simplement deviner sur la base d'une seule instruction.

Des chercheurs de l'Université de médecine chinoise de Zhejiang et de son hôpital affilié ont entrepris de comprendre comment ces machines pensantes avancées se comportent face au défi spécifique des maladies rares. Ils n'ont pas construit une nouvelle machine eux-mêmes ; ils ont plutôt agi comme des enquêteurs, rassemblant et analysant les résultats de sept études différentes qui avaient déjà été publiées ou partagées sous forme de prépublications entre 2025 et 2026. Ces études testaient diverses versions de ces agents intelligents sur des milliers de cas de maladies rares, posant une question simple mais critique : à quelle fréquence le système identifie-t-il correctement la bonne maladie dès sa toute première tentative ? En combinant les données de ces enquêtes distinctes, les chercheurs ont créé un tableau à grande échelle de l'état actuel de la technologie. Ils ont découvert qu'à travers plus de 33 000 cas, ces systèmes intelligents trouvaient le diagnostic correct dès le premier essai environ la moitié du temps. Bien qu'il s'agisse d'une amélioration significative par rapport aux anciennes méthodes qui reposaient sur des modèles statiques uniques, les résultats étaient loin d'être parfaits. La performance variait considérablement selon le système spécifique utilisé et le type de données testées, certains dispositifs réussissant près de 80 % du temps tandis que d'autres peinaient à atteindre les 30 %. Cette incohérence suggère que, bien que la technologie soit prometteuse, elle n'est pas encore une solution uniforme.

Pour comprendre pourquoi ces systèmes réussissent ou échouent, l'équipe a examiné de près les « flux de travail » internes ou les processus étape par étape utilisés par les différents agents. Ils ont découvert que les systèmes les plus performants partageaient un ensemble commun de comportements. Presque chaque agent efficace utilisait une stratégie consistant à décomposer la tâche de diagnostic en étapes plus petites et gérables, puis à raisonner à travers ces étapes pour affiner ses idées initiales. Ils sollicitaient également fréquemment des bases de connaissances médicales externes, telles que des bases de données d'informations génétiques ou des registres de maladies rares, pour vérifier leurs hypothèses. Les chercheurs ont pris ces modèles de réussite communs et ont construit une version simplifiée et légère de ce flux de travail. Ils ont ensuite testé ce nouveau flux de travail contre un ensemble standard de 50 cas de maladies rares, opposant l'agent « pensant » au même modèle informatique de base fonctionnant en mode « autonome », où il devait deviner sans l'aide du processus étape par étape ou des recherches externes.

Les résultats de cette comparaison directe ont révélé une histoire nuancée. Lorsque le modèle fonctionnait seul, il identifiait correctement le diagnostic principal dans seulement 5 cas sur 50. Lorsque le même modèle était guidé par le flux de travail structuré, ses performances s'amélioraient, trouvant la bonne réponse en premier dans 11 cas sur 50. Bien que cela représente une amélioration claire, la différence n'était pas statistiquement assez importante pour être considérée comme une victoire définitive dans ce petit échantillon. Cependant, les chercheurs ont remarqué quelque chose d'encore plus encourageant lorsqu'ils ont regardé les cinq premières hypothèses plutôt que seulement la première. Le modèle assisté par le flux de travail plaçait le diagnostic correct parmi ses cinq premiers choix 50 % du temps, un bond substantiel par rapport à la ligne de base. Cela suggère que, même si le système ne parvient pas toujours à la réponse parfaite immédiatement, le processus de pensée structuré l'aide à maintenir la maladie correcte dans la course, réduisant ainsi considérablement le champ des possibilités.

L'étude conclut que ces agents intelligents ont démontré une capacité réelle à aider au diagnostic des maladies rares, mais qu'ils ne sont pas encore un produit fini. La grande variation de performance entre les différents systèmes indique que la conception spécifique du flux de travail et la qualité des données auxquelles il accède comptent énormément. Les chercheurs soulignent que leurs conclusions sont une preuve de concept plutôt qu'une solution finale. Le flux de travail qu'ils ont construit sert de méthode reproductible pour améliorer la façon dont ces systèmes pensent, mais il nécessite des tests supplémentaires à plus grande échelle et dans des contextes cliniques réels pour prouver sa fiabilité. En fin de compte, l'objectif n'est pas de remplacer les médecins humains par des machines, mais de créer un partenariat collaboratif où la capacité de la machine à traiter de vastes quantités d'informations et à suivre un processus de raisonnement rigoureux soutient le jugement du clinicien, réduisant potentiellement le long et difficile parcours des patients en attente de réponses.