Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

Dans l'environnement trépidant et de haute pression d'un service d'urgences hospitalières, les médecins luttent constamment contre la montre. Ils doivent reconstituer l'histoire d'un patient à partir de notes fragmentées, de résultats de tests éparpillés et d'observations hâtives pour prendre des décisions vitales. Pour les patients vivant avec le VIH, un virus qui affaiblit le système immunitaire du corps, ce processus est particulièrement critique. L'identification précoce des facteurs de risque — tels que les rapports sexuels non protégés, le partage de seringues ou des symptômes spécifiques — peut mener à des tests et à un traitement qui stoppent la propagation du virus. Cependant, lorsqu'un médecin est submergé par des dizaines de patients par jour, des détails cruciaux peuvent facilement passer entre les mailles du filet. Le volume considérable de texte non structuré dans les dossiers médicaux rend difficile l'extraction manuelle de chaque indice pertinent, créant un goulot d'étranglement où l'information manquée peut retarder le diagnostic et permettre à la maladie de poursuivre sa propagation silencieuse.

Pour remédier à cela, des chercheurs explorent l'utilisation de programmes informatiques avancés connus sous le nom de modèles de langage étendus. Il s'agit de systèmes d'intelligence artificielle entraînés sur de vastes quantités de texte qui peuvent lire, comprendre et résumer le langage humain. L'idée est que ces outils pourraient agir comme une seconde paire d'yeux, parcourant rapidement des milliers de dossiers médicaux pour mettre en évidence les détails clés et résumer les antécédents des patients. Mais pour que cette technologie fonctionne dans un véritable hôpital, elle doit être incroyablement fiable. Elle ne peut pas inventer de faits, omettre des informations vitales ou se comporter de manière imprévisible. De plus, comme ces outils sont souvent testés dans des pays hispanophones, ils doivent comprendre le langage médical spécifique et les nuances culturelles des notes cliniques en espagnol, et pas seulement l'anglais.

Une équipe de chercheurs en Espagne a récemment mis cette idée à l'épreuve. Ils voulaient voir si ces programmes d'intelligence artificielle pouvaient résumer avec précision les dossiers des urgences et extraire des facteurs de risque spécifiques au VIH à partir de textes espagnols sans avoir besoin d'être réentraînés sur de nouvelles données au préalable. Ils ont rassemblé 100 dossiers de patients anonymisés provenant d'un hôpital universitaire, un mélange de personnes qui ont été diagnostiquées séropositives par la suite et d'autres qui ne le sont pas. Les dossiers variaient considérablement en longueur et en complexité, reflétant la réalité désordonnée des soins d'urgence quotidiens. Les chercheurs ont ensuite injectés ces dossiers dans onze modèles d'IA différents, allant de systèmes puissants basés sur le cloud à des programmes en code source ouvert (open-source) pouvant être exécutés sur les propres serveurs sécurisés d'un hôpital. Ils ont demandé aux modèles de faire deux choses : rédiger un résumé court et clair de la visite du patient, et identifier si des facteurs de risque spécifiques étaient présents, absents ou simplement non mentionnés dans le texte.

Les résultats ont révélé un vainqueur clair dans la tâche de résumé. Un modèle, un système basé sur le cloud de Google, a produit des résumés nettement plus précis et complets qu'une alternative open-source. Lorsque les médecins ont examiné ces résumés, ils ont constaté que le modèle basé sur le cloud commettait beaucoup moins d'erreurs. Il inventait rarement des faits qui n'étaient pas présents, et omettait beaucoup moins de détails importants. Le modèle open-source, bien que capable, omettait fréquemment des informations critiques, telles que des résultats de tests en attente ou des antécédents médicaux, ce qui pourrait être dangereux si un médecin se fiait uniquement au résumé. Les chercheurs ont également testé si une IA pouvait juger la qualité de ces résumés aussi bien qu'un médecin humain. Ils ont découvert que l'IA juge était très efficace pour repérer les faits inventés et les erreurs évidentes, mais qu'elle peinait à s'accorder avec les médecins humains sur ce qui constituait un détail manquant. Cela suggère que, bien que l'IA puisse aider à filtrer les mauvais résumés, la supervision humaine reste essentielle pour détecter les omissions subtiles.

En ce qui concerne l'extraction de facteurs de risque spécifiques, la performance des modèles dépendait fortement de la rigueur de la mesure des résultats. Les chercheurs ont fait passer chaque modèle cinq fois sur les mêmes dossiers pour voir s'il donnerait la même réponse à chaque fois. Ils ont constaté que les modèles étaient généralement meilleurs pour identifier les facteurs de risque sociaux, comme la consommation de drogues ou les antécédents sexuels, qui sont souvent déclarés directement par les patients. Cependant, ils étaient moins cohérents lors de l'identification des facteurs de risque cliniques, tels que des symptômes spécifiques ou des infections passées, qui nécessitent de rassembler des indices éparpillés provenant de différentes parties d'une longue note médicale. Même lorsque les modèles étaient configurés pour être aussi cohérents que possible, ils donna de parfois des réponses différentes lors de répétitions successives. Cette instabilité signifiait qu'un modèle qui semblait excellent lors d'un test unique pourrait se comporter différemment dans un flux de travail réel et continu.

L'étude a conclu que, bien que ces outils d'IA soient très prometteurs pour aider les services d'urgence hispanophones à gérer leur charge de travail, ils ne sont pas encore parfaits. Les meilleurs modèles peuvent réduire considérablement le temps que les médecins passent à rédiger des résumés et peuvent aider à faire émerger des facteurs de risque qui pourraient autrement passer inaperçus. Cependant, les chercheurs ont souligné que la technologie doit être utilisée avec prudence. L'erreur la plus courante n'était pas d'inventer des choses, mais plutôt d'omettre des informations importantes. Pour un système conçu pour détecter les diagnostics manqués, omettre un détail est tout aussi dangereux qu'en inventer un. Les conclusions suggèrent que l'approche la plus efficace est une approche hybride : utiliser l'IA pour effectuer le gros du travail de lecture et de résumé, tout en gardant les médecins humains dans la boucle pour vérifier les résultats et s'assurer qu'aucune pièce cruciale du puzzle n'est perdue. Cet équilibre pourrait aider les services d'urgence à détecter plus précocement les cas de VIH, sauvant potentiellement des vies et ralentissant la propagation du virus dans les communautés où il demeure un défi persistant.