Résumé technique : Évaluation centrée sur le clinicien des résumés de sortie générés par LLM pour les hospitalisations prolongées

Énoncé du problème

Les résumés de sortie hospitalière sont essentiels pour des transitions de soins sécurisées, mais ils imposent une charge cognitive importante aux cliniciens, particulièrement lors d'hospitalisations prolongées (7 à 21 jours). Ces séjours étendus génèrent un volume élevé de documentation fragmentée, répétitive et complexe, rendant difficile la synthèse d'un document de transition concis et précis. Bien que les modèles de langage de grande taille (LLM) aient montré un potentiel pour générer des résumés de sortie, les évaluations antérieures se sont largement concentrées sur les séjours courts et ont rarement examiné les priorités spécifiques des cliniciens receveurs (médecins de soins primaires, ou PCP) ou le signalement des découvertes fortuites. De plus, la littérature existante manque de preuves sur la capacité des LLM à traiter efficacement les dossiers de santé électroniques (DSE) qui dépassent les limites actuelles de la fenêtre de contexte des modèles, un défi courant dans les cas de séjours longs.

Méthodologie

L'étude a mené une évaluation centrée sur le clinicien comparant des résumés de sortie générés par LLM à des résumés rédigés par des humains pour 60 hospitalisations en médecine interne d'une durée comprise entre 7 et 21 jours.

Traitement des données et pipeline :

• Cohorte : 60 rencontres ont été stratifiées à partir d'un bassin de 400 cas d'hospitalisation historiques à l'hôpital de l'université de Stony Brook (janvier 2023 – décembre 2024).
• Données d'entrée : Le pipeline a extrait 370 types de notes uniques (incluant les notes des urgences, les consultations, les notes de progression et les rapports d'imagerie) à partir du DSE Oracle Cerner. Cela a entraîné une réduction moyenne de 55 % du volume de texte par rencontre après filtrage.
• Architecture LLM : Pour pallier les limitations de la fenêtre de contexte, les auteurs ont développé un pipeline évolutif utilisant une approche de fenêtre glissante. Les documents cliniques ont été segmentés en blocs de 50 000 jetons. Un processus de raffinement itératif a été employé où le LLM (GPT-5.2) générait un premier brouillon chronologique et sous forme de puces à partir du premier segment, puis le mettait à jour au fur et à mesure que les segments successifs étaient traités.
• Découvertes fortuites : Un flux de travail de prompt distinct a été conçu pour identifier et extraire les découvertes fortuites cliniquement pertinentes à partir des rapports de radiologie.
• Sortie finale : Le système a consolidé le brouillon chronologique et les découvertes fortuites en un résumé narratif final.

Protocole d'évaluation :

• Évaluateurs : 12 médecins titulaires (6 hospitaliers et 6 PCP) ont évalué les résumés de manière indépendante.
• Alignement du flux de travail : Les hospitaliers ont examiné toutes les notes d'hospitalisation avant d'évaluer les résumés, tandis que les PCP ont examiné les résumés d'abord, puis ont corroboré les découvertes avec les notes d'hospitalisation pour simuler les flux de travail réels de transition de soins.
• Métriques :
  • Quantitatives : Les évaluateurs ont noté les résumés sur une échelle de Likert de 5 points pour la qualité, la lisibilité, l'exactitude et l'exhaustivité. Les PCP ont fourni des évaluations supplémentaires sur la facilité de compréhension, la verbalisation aux patients et l'utilité du suivi.
  • Annotation des erreurs : Les évaluateurs ont annoté les inexactitudes et les omissions, évaluant le potentiel de préjudice et la probabilité de préjudice à l'aide d'une échelle adaptée de l'Agency for Healthcare Research and Quality (AHRQ).
  • Découvertes fortuites : Les évaluateurs ont évalué l'exactitude et la pertinence du signalement des découvertes fortuites.
• Qualitatives : Des sessions de débriefing semi-structurées post-examen ont été menées pour recueillir des commentaires qualitatifs sur le flux de travail et la confiance.

Résultats clés

Performance et préférence :

• Préférence : Les médecins évaluateurs ont préféré les résumés générés par LLM dans 95 % des 60 rencontres.
• Métriques de qualité : Les résumés générés par LLM ont reçu des scores moyens significativement plus élevés que les résumés rédigés par des humains sur tous les critères :
  • Qualité : 4,71 vs 3,16 ($p = 1,40 \times 10^{-17}$)
  • Lisibilité : 4,66 vs 3,39 ($p = 3,25 \times 10^{-15}$)
  • Exactitude : 4,62 vs 3,73 ($p = 1,08 \times 10^{-13}$)
  • Exhaustivité : 4,69 vs 3,42 ($p = 2,67 \times 10^{-15}$)
• Cohérence : Les résumés par LLM ont démontré une plus grande cohérence, avec un écart absolu moyen des scores de Likert inférieur à la moitié de celui des résumés humains (0,49 vs 1,07).

Analyse des erreurs :

• Fréquence : Les résumés générés par LLM contenaient moins d'erreurs totales (moyenne 0,42) par rapport aux résumés rédigés par des humains (moyenne 0,73 ; $p = 0,011$).
• Types d'erreurs : La réduction des erreurs était principalement due à moins d'omissions dans les résumés par LLM. Il n'y avait pas de différence significative dans le taux d'inexactitudes entre les deux groupes.
• Potentiel de préjudice : Il n'y avait pas de différence statistiquement significative dans l'estimation du potentiel de préjudice ou de la probabilité de préjudice pour les erreurs entre les résumés générés par LLM et ceux rédigés par des humains.

Résultats spécifiques aux parties prenantes :

• Perspective des PCP : Les PCP ont évalué les résumés par LLM de manière nettement plus élevée que les hospitaliers pour la lisibilité et l'exhaustivité. Les PCP ont identifié nettement plus d'omissions dans les deux types de résumés et ont attribué des scores de probabilité de préjudice plus élevés aux erreurs, reflétant leur responsabilité dans les soins longitudinaux post-hospitalisation.
• Découvertes fortuites : Sur 31 découvertes fortuites identifiées par le LLM, 93,5 % ont été jugées factuellement correctes et 87,1 % appropriées pour un signalement.

Aperçus qualitatifs :

• Les évaluateurs ont cité la réduction de la charge cognitive, une plus grande cohérence et une présentation plus claire de la logique de traitement et des problèmes de suivi non résolus comme les principales raisons de leur préférence pour les résumés par LLM.
• Les hospitaliers ont noté que les résumés rédigés par des humains souffraient souvent de redondance et de variabilité dépendante du médecin, alors que les résumés par LLM étaient plus uniformes et concis.
• Les PCP ont souligné que les résumés par LLM facilitaient mieux la transition de soins en mettant en évidence les éléments exploitables et les résultats en attente.

Signification et affirmations

L'article affirme que cette étude étend les travaux antérieurs en démontrant l'utilité clinique des LLM pour résumer des hospitalisations plus longues et plus complexes, un scénario auparavant sous-exploré en raison des défis techniques et du volume de documentation.

• Conception centrée sur les parties prenantes : Les résultats soulignent que la conception de documents de transition autour des priorités informationnelles des cliniciens receveurs (spécifiquement les PCP) apporte des améliorations significatives de la qualité et de l'utilité perçues. L'étude suggère que les stratégies de prompting alignées sur les flux de travail des PCP (par exemple, l'accent sur les actions à entreprendre et le suivi) sont cruciales.
• Évolutivité technique : L'étude fournit des preuves que les LLM peuvent traiter efficacement les DSE dépassant les fenêtres de contexte standard en utilisant des techniques de fenêtre glissante itérative, maintenant une production de haute qualité même pour des hospitalisations de 21 jours.
• Sécurité et surveillance : Bien que les résumés générés par LLM présentent moins d'omissions et une meilleure qualité, les auteurs soulignent qu'ils ne sont pas exempts d'erreurs. Les conclusions soutiennent un modèle de résumé assisté par LLM supervisé, où l'IA réduit la charge cognitive et améliore la qualité de la documentation, mais où la surveillance par un clinicien reste essentielle pour la vérification, particulièrement concernant les contenus à haut risque comme les changements de médication et les découvertes fortuites.

Les auteurs concluent que la synthèse de sortie assistée par LLM a le potentiel de réduire la charge des cliniciens et d'améliorer la communication lors de la transition de soins, à condition d'être mise en œuvre avec des flux de travail de vérification clinique appropriés.