AI-Generated Responses to Patient's Messages: Effectiveness, Feasibility and Implementation

Cette étude menée dans un hôpital universitaire néerlandais révèle que, bien que l'outil de génération d'IA d'Epic pour les réponses aux messages des patients ait été initialement bien accueilli, son adoption a diminué au fil du temps en raison d'un impact limité sur l'efficacité clinique et le bien-être, soulignant la nécessité de mieux gérer les attentes et d'établir des indicateurs de qualité pour un déploiement responsable.

L'essentiel

🏥 Le Contexte : Le Docteur Submergé

Imaginez un médecin ou une infirmière comme un chef cuisinier dans une cuisine très occupée. Pendant et après la pandémie, les patients ont commencé à envoyer des milliers de petits messages (comme des commandes de plats) via leur dossier médical numérique. C'est devenu une avalanche ! Le chef est fatigué, stressé et passe plus de temps à écrire des réponses qu'à cuisiner (soigner).

🤖 La Solution Magique : Le "Robot Assistant"

Pour aider, l'hôpital a installé un nouvel outil appelé Art (une intelligence artificielle générative).

• Son rôle : C'est comme un assistant culinaire ultra-rapide. Dès qu'un patient envoie un message, le robot lit le dossier du patient et écrit brouillon de la réponse.
• L'idée : Le médecin n'aurait plus qu'à relire, corriger si besoin, et signer. Gain de temps garanti, non ?

🔍 L'Expérience : Ce qui s'est passé en réalité

Les chercheurs ont testé cet assistant pendant 6 mois dans un grand hôpital néerlandais. Ils ont regardé deux choses :

1. Est-ce que ça marche ? (Est-ce que le chef cuisine plus vite ?)
2. Est-ce que les gens l'aiment ? (Est-ce que le chef veut vraiment utiliser l'assistant ?)

Voici ce qu'ils ont découvert, avec quelques surprises :

1. L'effet "Première Impression" vs "La Réalité"

Au début, tout le monde était très optimiste. C'était comme acheter une nouvelle voiture de sport : on imagine qu'elle va aller super vite.

• Mais en conduisant : Les médecins ont vite réalisé que l'assistant n'était pas parfait. Parfois, il inventait des faits (comme dire qu'un patient prenait un médicament qu'il ne prenait pas !). Parfois, le ton était trop robotique ou froid.
• Le résultat : Au lieu de gagner du temps, les médecins devaient souvent tout réécrire ou vérifier chaque mot avec une loupe. Finalement, cela ne leur a pas fait gagner beaucoup de temps, et ça ne les a pas moins fatigués.

2. L'Abandon Progressif

Au début, beaucoup de médecins ont essayé le robot. Mais petit à petit, ils l'ont laissé de côté.

• Le taux d'utilisation est tombé : Seulement 16 % des messages ont vraiment utilisé l'assistant. C'est comme si, après avoir essayé un nouvel ustensile de cuisine qui ne coupe pas bien, on le range dans un tiroir et on reprend son vieux couteau.
• Pourquoi ? Parce que l'outil ne comprenait pas toujours les questions complexes (comme un patient qui pose trois questions à la fois) et que les médecins avaient peur de faire une erreur en faisant confiance aveuglément au robot.

3. Ce qui a plu et ce qui n'a pas plu

• Les points positifs (Les "Super-Pouvoirs") : Quand ça marchait bien, le robot écrivait des phrases bien structurées, avec un ton empathique, et il trouvait vite les infos dans le dossier. C'était comme avoir un assistant qui sait déjà écrire de belles phrases.
• Les points négatifs (Les "Tracas") : Les erreurs médicales, le manque de personnalisation, et le fait de devoir tout vérifier rendait l'outil parfois plus lourd qu'utile. C'est comme si l'assistant vous donnait un brouillon avec des fautes d'orthographe : vous devez le corriger, donc vous perdez du temps.

💡 La Conclusion : Ce qu'il faut retenir

Cette étude nous apprend une leçon importante sur l'Intelligence Artificielle dans la santé :

1. Ce n'est pas une baguette magique : L'IA ne va pas résoudre tous les problèmes de fatigue des médecins du jour au lendemain.
2. La confiance se gagne : Pour que les médecins utilisent l'outil, il faut qu'il soit très fiable et qu'il s'adapte à leur style de communication.
3. L'humain reste le chef : Le médecin doit toujours garder le contrôle. L'IA est un outil d'aide, pas un remplaçant.

En résumé : C'est comme si on avait offert un robot cuisinier à un chef étoilé. Le robot est rapide, mais il a besoin d'être réglé, il fait parfois des erreurs, et le chef doit encore tout vérifier. Pour que ça marche vraiment, il faut améliorer le robot, bien former les chefs à s'en servir, et ne pas s'attendre à ce que le travail disparaisse par magie. L'IA est prometteuse, mais elle doit encore grandir et apprendre à mieux comprendre les humains.

Résumé technique

Titre de l'étude

Réponses générées par l'IA aux messages des patients : Efficacité, faisabilité et mise en œuvre
(Étude menée au Radboudumc, Pays-Bas, sur l'outil Epic "Augmented Response Technology" - Art)

---

1. Problématique et Contexte

L'augmentation du volume de messages entre patients et professionnels de santé (HCP), exacerbée par la pandémie de COVID-19, a accru la charge administrative et le risque d'épuisement professionnel (burnout). Les modèles de langage larges (LLM) et l'intelligence artificielle générative (GenAI) sont envisagés comme des solutions pour réduire cette charge en générant des ébauches de réponses basées sur les données du Dossier Médical Électronique (DME/EHR).

Cependant, la majorité des études existantes proviennent des États-Unis et sont en anglais. Il existe un manque de données probantes concernant :

• L'efficacité et la faisabilité de ces outils dans des contextes non anglophones (ici, néerlandais).
• L'expérience utilisateur réelle des professionnels de santé au-delà de la simple adoption technique.
• Les barrières et facilitateurs spécifiques à la mise en œuvre clinique de ces outils.

2. Méthodologie

L'étude a adopté une conception hybride de type 1 (évaluation simultanée de l'efficacité et de la mise en œuvre) sur une période de six mois (janvier à juin 2025) au Centre Universitaire Médical de Radboud (Radboudumc).

• Outil évalué : Epic "Augmented Response Technology" (Art), utilisant des LLM (GPT-3.5 Turbo pour le classement, GPT-4o pour la génération de texte) intégrés au système de messagerie InBasket.
• Population : 237 professionnels de santé (médecins, infirmiers, personnel de soutien) de quatre départements cliniques : dermatologie, pneumologie, oncologie médicale et ORL.
• Collecte de données :
  1. Métriques d'utilisation (EHR) : Temps de révision, temps de rédaction, taux d'adoption, et feedback utilisateur (données quantitatives objectives).
  2. Enquête longitudinale : Trois mesures (PRE, POST-1 à 1 mois, POST-2 à 4 mois) évaluant le bien-être, l'efficacité clinique, l'utilisation, l'utilisabilité (échelles TAM, NASA-TLX, SUS, NPS) et les perceptions qualitatives.
  3. Analyse qualitative : Codage thématique des réponses ouvertes selon le cadre NASSS (Nonadoption, Abandonment, Scale-up, Spread and Sustainability).

3. Contributions Clés

• Première évaluation approfondie en contexte néerlandais : L'étude comble le vide de la littérature sur l'expérience utilisateur des outils GenAI en dehors des États-Unis et en langue non anglaise.
• Analyse longitudinale réaliste : Contrairement à des études ponctuelles, cette recherche suit l'évolution des perceptions et de l'adoption sur six mois, révélant un déclin de l'enthousiasme initial.
• Cadre d'analyse NASSS : Application rigoureuse du cadre NASSS pour catégoriser les barrières et facilitateurs, offrant une structure pour comprendre les échecs ou succès de l'implémentation technologique.
• Données mixtes : Combinaison de métriques objectives (temps de réponse) et subjectives (perception des utilisateurs) pour une vue d'ensemble nuancée.

4. Résultats Principaux

A. Efficacité et Efficience

• Gain de temps négligeable : Les métriques objectives montrent une différence minime entre les messages traités avec Art et ceux sans Art (Temps de révision : ~2 min 02s avec Art vs 2 min 10s sans ; Temps de rédaction : ~1 min 52s avec vs 1 min 56s sans).
• Déclin de l'efficacité perçue : L'efficacité clinique perçue a chuté significativement entre la baseline (PRE) et le suivi à 4 mois (POST-2). Les utilisateurs ont constaté que l'outil ne réduisait pas le temps de travail comme espéré.
• Bien-être : Aucune amélioration significative du bien-être ou de la réduction de l'épuisement n'a été observée.

B. Faisabilité et Adoption

• Taux d'adoption faible et décroissant : Bien que 8 410 ébauches aient été générées, seulement 16,7 % ont été utilisées. Le taux d'adoption a diminué au fil du temps, avec des variations importantes entre les départements (Pneumologie : 27,1 % vs Oncologie : 10,7 %).
• Qualité perçue en baisse : Les scores d'utilisabilité (SUS) et d'intention d'utilisation ont diminué de manière significative. Le Net Promoter Score (NPS) est passé de -13 à -38, indiquant une détérioration de la satisfaction.

C. Barrières et Facilitateurs (Analyse Qualitative)

• Facilitateurs :
  • Structure bien organisée des ébauches.
  • Langage centré sur le patient et ton empathique.
  • Réduction de la charge mentale initiale (point de départ pour la réponse).
• Barrières majeures :
  • Inexactitudes médicales : Hallucinations, erreurs de noms, informations obsolètes ou non pertinentes (ex: médicaments non prescrits).
  • Manque de fiabilité : Nécessité de vérifier chaque mot, ce qui annule le gain de temps.
  • Style inadapté : Le ton généré ne correspondait pas toujours au style de communication habituel du médecin.
  • Biais d'automatisation : Crainte que les utilisateurs ne vérifient pas assez les erreurs générées par l'IA.
  • Relation patient-médecin : Préoccupations concernant l'aspect impersonnel des messages générés par IA.

5. Signification et Conclusion

Cette étude met en lumière un décalage critique entre les attentes initiales élevées et la réalité de l'utilisation clinique d'un outil GenAI en milieu hospitalier non anglophone.

• Limites actuelles : Dans sa forme actuelle, l'outil "Art" ne parvient pas à réduire significativement la charge administrative ni à améliorer le bien-être des soignants, principalement en raison de la nécessité d'une vérification minutieuse des contenus générés.
• Implications pour la mise en œuvre :
  • Il est crucial d'établir des indicateurs de qualité clairs et des seuils de performance avant un déploiement à grande échelle.
  • Une communication transparente sur les limites de l'outil et la responsabilité clinique (qui reste entre les mains du professionnel) est essentielle.
  • L'intégration de boucles de rétroaction itératives (prompt engineering continu) et d'outils de personnalisation (ex: ajustement du style) est nécessaire pour améliorer l'adoption.
• Perspective future : L'adoption durable de l'IA générative en clinique dépendra de la capacité à transformer ces outils en assistants fiables qui s'intègrent véritablement au flux de travail, plutôt qu'en simples générateurs de texte nécessitant une relecture complète.

En résumé, bien que la technologie soit prometteuse, cette étude souligne que le passage de la preuve de concept à la pratique clinique quotidienne nécessite une gestion rigoureuse des attentes, une amélioration continue de la précision des modèles et une attention particulière aux facteurs humains et organisationnels.