Automated Identification of Complex Percutaneous Coronary Intervention from Cardiac Catheterization Reports Using Large Language Models

Les hôpitaux génèrent chaque jour un océan de textes non structurés. Parmi ces documents, les plus critiques sont les rapports narratifs rédigés après une cathétérisme cardiaque, une procédure où les médecins introduisent un tube mince à travers les artères pour examiner les vaisseaux sanguins du cœur. Ces rapports sont riches en détails sur l'anatomie du cœur d'un patient et les techniques spécifiques utilisées pour traiter les obstructions, mais ils sont rédigés sous forme de paragraphes libres plutôt que dans des champs à cases à cocher bien ordonnés. Pour les chercheurs et les équipes d'amélioration de la qualité, cela crée un goulot d'étrangleur important. Pour étudier l'efficacité de ces procédures ou suivre la complexité des cas à travers un système de santé, des experts humains doivent lire manuellement des milliers de ces rapports et extraire des points de données spécifiques. Ce processus est lent, coûteux et difficile à mettre à l'échelle, limitant souvent la taille et la vitesse d'études médicales importantes.

L'essor des grands modèles de langage, un type d'intelligence artificielle capable de comprendre et de générer du texte semblable à celui de l'humain, offre une solution potentielle à ce problème. Ces systèmes peuvent être entraînés pour lire des documents complexes et en extraire des faits spécifiques, un peu comme un assistant de recherche très rapide et infatigable. Cependant, il restait incertain de savoir si ces outils pouvaient gérer le langage nuancé et spécialisé trouvé dans les notes de procédures cardiaques, particulièrement lorsqu'il s'agit d'identifier des cas « complexes » impliquant des obstructions multiples ou des techniques difficiles. Une équipe de chercheurs s'est donné pour mission de tester cette question en utilisant une vaste collection de rapports de cathétérisme cardiaque réels.

Les chercheurs ont rassemblé 1 412 notes de procédure anonymisées provenant de trois hôpitaux différents du système de santé Yale New Haven. Ces documents couvraient des procédures réalisées entre 2011 et 2017 et comprenaient un mélange d'examens diagnostiques et d'interventions réelles où les médecins ont placé des stents ou utilisé des ballons pour ouvrir des artères obstruées. Pour créer un standard fiable de comparaison, un groupe de spécialistes du cœur a lu manuellement chaque note. Ils ont d'abord déterminé si un rapport décrivait une procédure où un stent ou un ballon était réellement utilisé pour traiter une artère coronaire. Pour ceux qui le faisaient, ils ont ensuite extrait six détails spécifiques qui définissent une procédure « complexe » : le nombre de vaisseaux sanguins traités, le nombre d'obstructions distinctes réparées, le nombre total de stents placés, si une technique spécifique à deux stents était utilisée pour un vaisseau bifurqué, la longueur totale de tous les stents combinés, et si une occlusion totale chronique — une obstruction complète et de longue date — a été traitée.

Avec ce « gold standard » vérifié par l'humain en place, l'équipe a testé trois modèles d'intelligence artificielle différents pour voir s'ils pouvaient reproduire le travail des experts. Ils ont choisi des modèles open-source, ce qui signifie que leur code et leurs poids sont publics, ce qui a permis aux chercheurs de les exécuter sur des ordinateurs locaux sécurisés pour protéger la confidentialité des patients. Un modèle était un système massif à usage général doté de 70 milliards de paramètres, une mesure de sa taille et de sa capacité de raisonnement. Les deux autres étaient des modèles plus petits, pré-entraînés spécifiquement sur la littérature médicale, avec 7 milliards de paramètres chacun, conçus pour comprendre la terminologie clinique. Les chercheurs ont soumis les mêmes invites textuelles et les mêmes rapports aux trois modèles, en leur demandant d'identifier si une procédure avait eu lieu et d'extraire les six variables spécifiques.

Les résultats ont montré une distinction claire de capacité. Le grand modèle à usage général a nettement surpassé les deux modèles plus petits spécialisés en médecine. Lorsqu'on lui demandait simplement d'identifier si un rapport décrivait une procédure cardiaque, le grand modèle a atteint une sensibilité parfaite, ce qui signifie qu'il n'a manqué aucune procédure réelle, et a correctement identifié les non-procédures avec une grande précision. En revanche, les modèles plus petits ont éprouvé des difficultés, l'un confondant fréquemment des notes de non-procédure avec des procédures, et l'autre ne parvenant presque pas à reconnaître les procédures réelles.

L'écart s'est creusé lorsque la tâche exigeait l'extraction des six détails complexes. Le grand modèle a identifié avec succès le nombre de stents et la longueur totale des stents avec une précision très élevée, dépassant souvent 90 pour cent. Il a également bien performé pour identifier le nombre de vaisseaux traités. Cependant, ses performances ont chuté sur les variables nécessitant plus d'interprétation, comme le comptage du nombre exact d'obstructions distinctes ou la détermination si une technique spécifique à deux stents était utilisée pour un vaisseau bifurqué. Dans ces cas, le modèle a parfois manqué des détails ou a mal interprété le contexte, bien qu'il soit resté bien plus précis que les modèles plus petits. Les plus petits modèles médicaux, malgré leur entraînement spécialisé, n'ont pas réussi à extraire ces détails de manière cohérente, produisant souvent des résultats trop peu fiables pour la recherche.

L'étude a également examiné si les modèles se comportaient différemment selon les trois sites hospitaliers. Bien que le grand modèle ait maintenu une précision élevée dans les trois localisations, il y avait des variations notables dans sa performance à chaque site, probablement dues aux différences dans la manière dont les médecins de chaque hôpital rédigeaient leurs notes. Les modèles plus petits montraient une incohérence encore plus grande, leur performance fluctuant de manière erratique selon la localisation. Cela suggère que, bien que le grand modèle soit robuste, la façon dont l'information est documentée peut toujours influencer les résultats.

Les chercheurs ont analysé les erreurs commises par le modèle le plus performant pour comprendre ses difficultés. Ils ont constaté que les erreurs survenaient souvent lorsque la documentation était ambiguë ou fragmentée. Par exemple, le modèle confondait parfois un test diagnostique avec un traitement, ou peinait à distinguer un stent placé avec succès d'un stent tenté mais non déployé. Il avait également des difficultés lorsqu'un rapport mentionnait une obstruction qui n'était pas réellement traitée, ou lorsque la description d'une occlusion totale chronique était implicite plutôt qu'explicitement énoncée. Ces erreurs soulignent que, bien que la technologie soit puissante, elle n'est pas encore parfaite pour naviguer dans la réalité désordonnée et incohérente de l'écriture médicale humaine.

En fin de compte, l'étude démontre qu'un grand modèle d'intelligence artificielle open-source peut extraire avec précision des données complexes à partir de rapports de procédures cardiaques non structurés, une tâche qui a traditionnellement nécessité des heures de travail manuel. Les conclusions suggèrent que pour de nombreuses variables, particulièrement celles qui sont explicitement énoncées comme le nombre de stents, ces outils peuvent atteindre un niveau de précision adapté à la recherche. Cependant, pour les variables nécessitant une interprétation contextuelle profonde, la technologie fait encore face à des défis. Ces travaux indiquent que l'avenir de la recherche cardiovasculaire évolutive pourrait résider dans l'utilisation de ces modèles puissants pour gérer l'essentiel de l'extraction de données, potentiellement combinés à une supervision humaine pour les cas les plus difficiles, plutôt que de compter uniquement sur des modèles plus petits et spécialisés ou sur une revue manuelle.