Chest2Vec: A multipurpose text encoder conditioned by instructions for chest radiograph and computed tomography reports
L'article présente Chest2Vec, un encodeur de texte polyvalent et conditionné par instructions, disponible en tailles de 0,6 milliard et 4 milliards de paramètres, qui traite efficacement les radiographies thoraciques et les rapports de scanner pour des tâches telles que la recherche, la classification et la supervision image-texte, démontrant une performance supérieure sur les rapports de scanner par rapport aux modèles existants.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'imagerie médicale, une image vaut souvent mille mots, mais pour les ordinateurs qui aident les médecins à lire ces images, les mots sont tout aussi essentiels. Lorsqu'un radiologue examine une radiographie pulmonaire ou un scanner CT, il rédige un rapport décrivant ce qu'il voit : si les poumons sont clairs, s'il y a du liquide autour du cœur ou si un os est fracturé. Ces rapports constituent le dossier principal de ce que l'image montre, et ils sont devenus le fondement de la construction de systèmes d'intelligence artificielle capables d'aider au diagnostic. Pour apprendre à un ordinateur à comprendre ces images, les ingénieurs doivent d'abord lui apprendre à comprendre le langage des rapports. Cela nécessite un « encodeur de texte », un programme informatique spécialisé qui traduit les phrases humaines en un format mathématique que la machine peut traiter. Pendant des années, ces programmes ont été entraînés sur un langage général ou spécifiquement sur des radiographies pulmonaires, mais ils avaient du mal avec les rapports plus complexes et détaillés générés par les scanners CT thoraciques, qui révèlent une vue beaucoup plus large de l'intérieur du corps.
Une équipe de chercheurs a maintenant créé un nouvel outil appelé Chest2Vec pour combler cette lacune. Ce système est conçu pour comprendre le texte provenant à la fois des radiographies pulmonaires et des scanners CT thoraciques, agissant comme un traducteur universel pour ces deux types différents d'imagerie médicale. Les chercheurs ont construit deux versions de cet outil, une plus petite et une plus grande, et les ont testées par rapport à des programmes existants pour voir lequel saisissait le mieux le sens des rapports médicaux. Ils ont découvert que leur nouveau système, particulièrement la version plus grande, était nettement meilleur pour comprendre les nuances des rapports de scanner CT que n'importe quel autre outil disponible. Il pouvait associer avec précision des découvertes spécifiques dans un rapport à la conclusion finale du médecin, repérer des erreurs subtiles dans le texte, et même focaliser son attention sur des parties spécifiques du corps, comme les poumons ou le cœur, simplement en suivant une instruction simple. Ce travail suggère qu'en entraînant les ordinateurs spécifiquement sur le langage de l'imagerie thoracique, plutôt qu'en les rendant simplement plus gros ou en utilisant des compétences linguistiques générales, nous pouvons créer des outils plus fiables et plus utiles pour le diagnostic médical.
Le défi auquel les chercheurs ont été confrontés était que le langage utilisé dans les rapports de scanner CT thoracique est différent de celui utilisé pour les radiographies pulmonaires. Bien que les deux décrivent les mêmes organes, un rapport de scanner CT est souvent plus long et inclut des détails sur des zones que la radiographie ne peut pas voir, telles que l'abdomen supérieur ou les vaisseaux sanguins du cou. Les programmes informatiques existants étaient soit trop généraux pour saisir ces spécificités médicales, soit entraînés uniquement sur le langage plus simple des radiographies. Les chercheurs ont émis l'hypothèse que s'ils entraînaient un modèle informatique spécifiquement sur le texte des deux types de rapports thoraciques, il apprendrait à représenter le sens des mots plus précisément qu'un modèle entraîné sur un langage général ou sur un seul type de scanner. Ils ont commencé avec un modèle de base puissant, puis l'ont enseigné en utilisant des milliers de rapports médicaux réels, associant le texte à des instructions qui disaient à l'ordinateur quelle tâche effectuer, telle que « trouver l'erreur » ou « résumer les découvertes ».
Pour tester leur création, l'équipe a soumis Chest2Vec à une série de défis rigoureux en utilisant des données provenant d'hôpitaux que l'ordinateur n'avait jamais vus auparavant. Dans un test, ils ont demandé au système de trouver le résumé final correct de l'état d'un patient en se basant uniquement sur la liste détaillée des découvertes. Sur les rapports de scanner CT thoracique, le nouveau système a réussi à trouver le résumé correct près de 69 % du temps, tandis que le meilleur concurrent, un programme spécialisé uniquement pour les radiographies, a réussi moins de 58 % du temps. Dans un autre test, les chercheurs ont demandé à l'ordinateur d'identifier si un rapport avait été subtilement altéré pour inclure une erreur médicale, comme changer une découverte négative en une découverte positive. Le nouveau système a correctement identifié le rapport non altéré et correct plus de 87 % du temps, surpassant de loin les autres outils. Ces résultats ont montré que l'amélioration provenait de l'entraînement spécifique sur le texte de l'imagerie thoracique, et non de la taille du modèle informatique.
Les chercheurs ont également découvert que le système pouvait être dirigé pour se concentrer sur des parties spécifiques du corps sans avoir besoin d'être réentraîné. En changeant simplement l'instruction donnée à l'ordinateur, ils pouvaient le faire prioriser les informations concernant les poumons, le cœur ou les os, ajustant ainsi son attention à la zone d'intérêt. Cette flexibilité est précieuse car elle permet à un seul modèle informatique de servir de nombreux objectifs différents, de la vérification de maladies spécifiques à l'aide des médecins pour trouver des cas passés similaires. De plus, l'équipe a montré que cet encodeur de texte pouvait améliorer les performances de l'IA basée sur l'image. Lorsqu'ils ont utilisé ce nouvel outil de texte pour aider un ordinateur à « voir » les scanners CT, le système de reconnaissance d'images qui en résultait était plus précis que ceux entraînés avec d'anciens outils de texte moins spécialisés.
Malgré ces succès, les chercheurs ont noté plusieurs limites. Les données d'entraînement pour les scanners CT provenaient d'une source publique unique, ce qui signifie que le système pourrait ne pas être parfaitement adapté aux styles de rédaction de chaque hôpital ou pays. De plus, le système a été testé sur des rapports en langue anglaise, et ses performances dans d'autres langues ou dans différents contextes médicaux restent à déterminer. L'équipe a également souligné que les erreurs utilisées dans leurs tests ont été créées par des ordinateurs plutôt que de se produire naturellement dans les rapports du monde réel, ce qui signifie que la capacité du système à détecter les erreurs réelles pourrait différer. Néanmoins, l'étude fournit des preuves solides qu'une approche spécialisée et guidée par des instructions fonctionne mieux que les méthodes générales pour comprendre les rapports d'imagerie thoracique. En publiant leurs outils et les données structurées qu'ils ont créées, les chercheurs espèrent permettre à d'autres scientifiques de construire des systèmes encore plus avancés qui pourront assister le travail complexe et vital de l'interprétation des images médicales.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.