DR. INFO at the Point of Care: A Prospective Pilot Study of an Agentic AI Clinical Assistant

Cette étude pilote prospective démontre que l'assistant clinique IA agentic « DR. INFO » permet aux médecins portugais de réaliser des économies de temps significatives et d'améliorer leur soutien à la décision clinique, générant un score de recommandation (NPS) exceptionnel de 81,2 sans aucun détracteur.

L'essentiel

🩺 Le Médecin Débordé et son Nouveau Super-Assistant

Imaginez un médecin comme un chef de cuisine dans un restaurant très fréquenté. Son travail principal est de soigner les patients (les clients). Mais aujourd'hui, ce chef passe plus de temps à remplir des formulaires administratifs, chercher des recettes dans des livres poussiéreux et vérifier les allergies, qu'à cuisiner pour ses clients. Résultat ? Il est épuisé, stressé et risque de faire des erreurs par fatigue.

C'est exactement le problème que les auteurs de cette étude ont voulu résoudre avec un nouvel outil : DR. INFO.

🤖 Qu'est-ce que DR. INFO ?

DR. INFO n'est pas un simple robot qui invente des réponses (ce qu'on appelle une "hallucination" en langage technique). C'est plutôt un assistant de cuisine ultra-intelligent et très prudent.

• Il ne se contente pas de deviner. Avant de répondre, il va vérifier dans une bibliothèque de livres médicaux approuvés et des bases de données fiables.
• C'est comme si le chef avait un assistant qui, au lieu de dire "Je pense que c'est du sel", courait vérifier dans trois encyclopédies différentes pour confirmer : "Oui, c'est bien du sel, et voici la dose exacte recommandée."

🧪 L'Expérience : 29 Chefs en Action

Les chercheurs ont testé cet assistant pendant deux semaines avec 29 professionnels de santé (médecins expérimentés, jeunes internes et même des étudiants) en Portugal.

• La mission : Utiliser DR. INFO pendant 5 jours de travail pour l'aider dans leurs tâches quotidiennes.
• Le but : Voir si cela leur fait gagner du temps et s'ils se sentent plus sûrs dans leurs décisions.

🏆 Les Résultats : Un Succès Retentissant

Les résultats sont excellents, un peu comme si le chef avait enfin trouvé son assistant idéal :

1. Gain de temps énorme : Les médecins ont noté l'outil 4,27 sur 5. C'est comme dire : "C'est un gain de temps massif !" Ils ont pu se concentrer davantage sur les patients.
2. Meilleures décisions : Ils ont noté l'aide à la décision 4,16 sur 5. L'outil les a aidés à trouver les bonnes informations plus vite, comme un GPS médical qui évite les impasses.
3. L'effet "Wow" (NPS) : Si l'on demandait à ces médecins s'ils recommanderaient cet outil à un collègue, le score serait de 81 sur 100. C'est un score exceptionnel (la moyenne dans l'industrie est souvent autour de 30-50). Personne n'a dit "Non, ne le faites pas".

👥 Qui a aimé ?

• Les jeunes (étudiants et internes) : Ils ont adoré, l'utilisant comme un tuteur pour apprendre et préparer leurs cas.
• Les vétérans (médecins chevronnés) : Ils l'ont aussi apprécié, mais l'ont utilisé différemment : pour vérifier rapidement des doses de médicaments ou confirmer un diagnostic complexe. C'est comme un expert qui utilise un outil pour valider son intuition.
• Le seul bémol : Un médecin très senior (le "Chef de service") a trouvé que l'outil l'aidait moins pour les décisions cliniques générales (car il a déjà beaucoup d'expérience), mais il a tout de même aimé le gain de temps pour chercher des infos.

⚠️ Les Petits Défauts (Ce qu'il faut améliorer)

Même si l'outil est génial, il n'est pas parfait. Les médecins ont signalé deux petits problèmes :

1. La vitesse d'attente : Parfois, l'assistant met un peu trop de temps à réfléchir et à chercher ses sources (comme un serveur qui met 5 minutes à revenir avec la carte).
2. La précision : Parfois, les réponses sont un peu trop générales et manquent de détails très spécifiques pour des cas complexes.

🚀 Conclusion : Vers l'Avenir

Cette étude est comme une première dégustation très réussie. Elle montre que l'Intelligence Artificielle, quand elle est bien conçue (avec des sources fiables), peut être un allié formidable pour les médecins. Elle ne remplace pas le médecin, elle le libère de la paperasse pour qu'il puisse redevenir ce qu'il est : un soignant.

Les chercheurs disent maintenant : "C'est super, mais il faut faire un test plus grand et plus rigoureux pour confirmer que cela sauve vraiment du temps et améliore la santé des patients à long terme."

En résumé : DR. INFO est le "super-couteau suisse" que les médecins attendaient pour ne plus se noyer dans la paperasse, à condition qu'il soit encore un peu plus rapide !

Résumé technique

1. Problématique et Contexte

La documentation clinique et la recherche d'informations consomment plus de la moitié du temps de travail des médecins, contribuant à une surcharge cognitive et à un taux d'épuisement professionnel (burnout) élevé (43,2 % aux États-Unis). Bien que l'intelligence artificielle (IA) soit proposée comme solution, l'adoption clinique des grands modèles de langage (LLM) génériques est freinée par des préoccupations de sécurité, notamment les « hallucinations » (générations de faits plausibles mais incorrects).

Le défi principal réside dans le déploiement d'outils d'IA fiables au point de soin, capables de s'intégrer dans le flux de travail clinique tout en garantissant la traçabilité des sources et l'exactitude des informations, conformément aux exigences de l'EU AI Act.

2. Méthodologie

L'étude présente une étude pilote prospective, monocentrique et à un seul bras, menée en octobre 2025 au Portugal.

• Sujet de l'étude : Évaluation de DR. INFO, un assistant clinique basé sur une architecture d'IA « agentique ». Contrairement aux LLM standards, DR. INFO couple les capacités de génération de langage avec une récupération d'informations (RAG) auprès de bases de connaissances médicales curées et de littérature évaluée par des pairs.
• Population : 29 cliniciens (25 médecins et 4 étudiants en médecine) issus de diverses spécialités (médecine familiale, soins intensifs, médecine interne, chirurgie, etc.) dans des établissements de santé portugais.
• Protocole :
  • Durée : 2 semaines.
  • Intervention : Utilisation de DR. INFO v1.0 pendant 5 jours de travail choisis par chaque participant.
  • Collecte de données : Formulaires électroniques (eCRF) quotidiens (échelles de Likert 1-5) et questionnaire final incluant le Net Promoter Score (NPS).
• Analyse statistique : Méthodes non paramétriques (test de Mann-Whitney, test de Friedman, corrélation de Spearman, Kruskal-Wallis) en raison de la petite taille de l'échantillon et de l'échelle ordinaire des données. Une analyse de sensibilité a été réalisée pour le NPS afin de gérer le taux d'abandon (55 % de complétion finale).

3. Contributions Clés

• Validation d'une architecture agentique : L'étude démontre l'efficacité d'une approche combinant LLM et récupération de sources fiables pour réduire les risques d'hallucination dans un contexte clinique réel.
• Évaluation en conditions réelles : Contrairement aux benchmarks techniques (comme HealthBench), cette étude mesure la valeur perçue par les médecins dans leur flux de travail quotidien, y compris pour des utilisateurs déjà familiers avec les outils de décision clinique (96 % des participants).
• Analyse de la robustesse : L'étude inclut une analyse rigoureuse des biais de sélection (attrition) et une validation de la stabilité des résultats sur la durée.

4. Résultats Principaux

A. Efficacité perçue et Satisfaction

• Gain de temps : Les cliniciens ont rapporté un gain de temps significatif avec une note moyenne de 4,27/5 (IC 95 % : 3,97–4,57). 87,8 % des entrées journalières indiquaient un accord ou un accord fort.
• Soutien à la décision clinique : La note moyenne pour l'aide à la décision était de 4,16/5 (IC 95 % : 3,86–4,45). 85,6 % des entrées confirmaient que l'outil aidait au raisonnement diagnostique ou thérapeutique.
• Stabilité temporelle : Aucune tendance significative de baisse de satisfaction n'a été observée sur les 5 jours d'utilisation (test de Friedman, p > 0,05), indiquant une utilité durable et non un effet de nouveauté.

B. Net Promoter Score (NPS)

• Le NPS observé était de 81,2 (sur la base de 16 répondants), avec 81 % de « Promoteurs », 19 % de « Passifs » et 0 % de « Détracteurs ».
• Analyse de sensibilité : Même sous l'hypothèse conservatrice que tous les non-répondants étaient des « Passifs », le NPS restait positif à 44,8. L'analyse d'attrition a confirmé qu'il n'y avait pas de différence significative de satisfaction entre les compléteurs et les non-compléteurs.

C. Sous-groupes et Corrélation

• Niveau d'expérience : Une corrélation inverse modérée (mais non significative, p=0,055) a été observée entre les années de pratique et le soutien à la décision perçu. Les médecins juniors et étudiants ont rapporté les bénéfices les plus élevés, tandis que les seniors l'utilisaient davantage pour la vérification des dosages et la confirmation de diagnostics différentiels.
• Confort technologique : Aucune corrélation n'a été trouvée entre le confort technologique et le gain de temps perçu, suggérant que l'interface est accessible à tous les niveaux de compétence numérique.
• Cas d'usage : Les utilisations les plus fréquentes concernaient les conseils de traitement, les détails des maladies, les diagnostics différentiels et les détails médicamenteux.

D. Limites et Feedback Qualitatif

• Les principaux points d'amélioration identifiés par les utilisateurs étaient la latence de réponse (50 % des critiques) et le manque de spécificité ou de nuance dans certaines réponses (38 %).
• L'étude n'a pas mesuré l'exactitude clinique objective (adjudication par des experts) ni les résultats patients, se basant uniquement sur les perceptions des médecins.

5. Signification et Conclusion

Cette étude pilote démontre que DR. INFO, en tant qu'assistant clinique agentique, est bien accueilli par les professionnels de santé, offrant des gains de temps et un soutien décisionnel perçus comme élevés, même auprès d'utilisateurs expérimentés.

• Impact clinique : Les résultats suggèrent que l'intégration d'IA agentique peut atténuer la charge administrative et cognitive des médecins, potentiellement réduisant le risque de burnout.
• Adoption : La satisfaction élevée et l'absence de détracteurs, indépendamment du niveau d'expertise technologique, indiquent un fort potentiel d'adoption.
• Perspectives : Bien que prometteuse, l'étude appelle à des recherches futures plus larges, contrôlées et multicentriques, incluant des mesures objectives de performance clinique et d'impact sur les résultats des patients, pour valider définitivement l'efficacité de ces outils.

En résumé, DR. INFO représente une avancée significative vers une IA clinique fiable, capable de s'intégrer dans les workflows complexes tout en respectant les impératifs de sécurité et de transparence.