Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

Résumé technique : Utilisation des grands modèles de langage pour étiqueter les rapports de radiologie CT pour les découvertes fortuites en dépistage du cancer du poumon

Énoncé du problème
La mise en œuvre des programmes de dépistage du cancer du poumon (LCS) dans l'Union européenne fait face à des défis importants concernant la charge de travail imposée aux radiologues pour interpréter de grands volumes de scanners de faible dose (LDCT). Au-delà de la détection du cancer du poumon, ces scanners révèlent fréquemment des découvertes fortuites spécifiques (SIF), notamment une valvulopathie aortique, une bronchiectasie, une consolidation, une calcification de l'artère coronaire, de l'emphysème, des anomalies interstitielles pulmonaires (ILA), des anomalies des ganglions lymphatiques médiastinaux, une masse médiastinale et des anomalies thyroïdiennes. Bien que l'intelligence artificielle (IA) ait progressé dans la détection des nodules pulmonaires, les algorithmes pour les SIF sont encore en phase de développement précoce. Un goulot d'étranglement majeur est la rareté des ensembles de données annotés de grande taille nécessaires pour entraîner de tels modèles. Les ensembles de données existants, tels que le National Lung Screening Trial (NLST), manquent d'annotations complètes pour les SIF. Si les rapports de radiologie clinique constituent une source riche d'informations pour la « supervision faible » (weak supervision), les méthodes traditionnelles de recherche par mots-clés ne parviennent pas à capturer les nuances médicales, les négations et les variations de terminologie. De plus, bien que les grands modèles de langage (LLM) soient prometteurs, il existe un manque de stratégies validées pour utiliser les LLM afin d'étiqueter les SIF dans les rapports de LCS, particulièrement en ce qui concerne l'efficacité des différentes techniques de prompting (par exemple, le Chain-of-Thought) et la performance des modèles open-source légers et respectueux de la vie privée par rapport aux modèles propriétaires.

Méthodologie
Cette étude rétrospective a évalué la faisabilité et les stratégies optimales pour utiliser les LLM afin d'étiqueter automatiquement la présence ou l'absence de neuf SIF dans des rapports de radiologie néerlandais.

• Jeu de données : L'étude a utilisé 300 rapports de scanner thorax/abdomen provenant d'un hôpital universitaire néerlandais (collectés entre 2003 et 2020). Le jeu de données a été construit en sélectionnant 200 rapports de 2016–2017 et 100 rapports sur l'ensemble de la période (1997–2021) pour assurer la diversité. Tous les rapports ont été anonymisés.
• Standard de référence : Un radiologue généraliste ayant 32 ans d'expérience a étiqueté manuellement les rapports pour les neuf SIF, servant ainsi de vérité de terrain (ground truth).
• Modèles évalués :
  • Propriétaires : GPT-5 et GPT-4-Turbo (via l'API OpenAI).
  • Open-Source : Llama-3.1-8B-INST et MedGemma-4B-IT (déployés localement).
  • Référence (Baseline) : Une méthode de recherche par mots-clés (regex).
• Stratégies de prompting : Quatre stratégies distinctes ont été testées pour chaque modèle :
  1. V1 : Prompt général pour étiqueter les neuf SIF sans instructions spécifiques sur les critères de détermination.
  2. V2 : Prompts spécifiques par SIF, incluant les critères de la déclaration de la société européenne de radiologie.
  3. V3 : Identique à V2 mais avec un raisonnement de type Chain-of-Thought (CoT).
  4. V4 : Identique à V3 mais avec des exemples de type few-shot (trois exemples de rapport, raisonnement et résultat).
• Métriques d'évaluation : L'accord a été principalement mesuré à l'aide du kappa de Cohen ($\kappa$), interprété via les catégories de Landis et Koch (1977) (allant de faible à presque parfait). Les métriques secondaires incluaient la sensibilité, la spécificité et les scores F1. Toutes les métriques comprenaient des intervalles de confiance à 95 % calculés par bootstrapping.

Résultats clés

• Performance globale : Les LLM ont atteint un accord modéré à presque parfait avec le radiologue pour la plupart des SIF, validant leur utilité pour l'étiquetage automatique. Cependant, aucune combinaison modèle-prompt n'était optimale pour l'ensemble des neuf découvertes.
• Performance des modèles :
  • GPT-5 a obtenu un accord substantiel ou presque parfait pour sept des neuf SIF (incluant l'AVD, la bronchiectasie, la consolidation, la CAC, l'emphysème, les MLN et la TA).
  • MedGemma-4B-IT (open-source) a démontré un accord substantiel ou supérieur pour la plupart des SIF et a notamment surpassé le meilleur modèle propriétaire spécifiquement pour les anomalies interstitielles pulmonaires (ILA) ($\kappa = 0,48$ contre $0,46$).
  • Llama-3.1-8B-INST a généralement montré un accord inférieur aux modèles propriétaires et à MedGemma.
  • La recherche par mots-clés a été la plus performante uniquement pour la masse médiastinale (MM), probablement en raison de la faible variabilité linguistique pour cette découverte spécifique, mais a généralement sous-performé par rapport aux LLM en raison d'une mauvaise gestion de la négation et du contexte.
• Stratégie de prompting : Contrairement aux attentes, le prompting de type Chain-of-Thought (CoT) (V3 et V4) a généralement réduit la performance par rapport aux stratégies sans CoT (V1 et V2). Les valeurs d'accord les plus élevées ont été principalement obtenues avec V1 ou V2. L'inclusion d'exemples few-shot (V4) n'a pas amélioré l'accord et, dans certains cas, a dégradé la performance, potentiellement parce que les modèles allouent moins d'attention aux instructions ou se concentrent sur des parties non pertinentes de prompts plus longs.
• Analyse d'erreurs : Les désaccords provenaient souvent d'une mauvaise interprétation du contexte par les modèles (par exemple, étiqueter une AVD sur la base de références de l'arc aortique) ou d'un « excès de réflexion » via le CoT, menant à des justifications absurdes.

Signification et affirmations
Les auteurs concluent que les LLM sont un outil viable pour l'« annotation faible » des rapports de radiologie afin de dimensionner les données d'entraînement pour de futurs algorithmes de détection de SIF. L'étude souligne que :

1. Pas de stratégie universelle : Il n'existe pas de modèle ou de prompt optimal unique pour toutes les SIF ; la sélection doit être adaptée à la découverte spécifique.
2. Ingénierie de prompt : Pour cette tâche spécifique, les prompts concis sans CoT sont supérieurs aux approches CoT ou few-shot.
3. Viabilité de l'open-source : Des modèles open-source légers (spécifiquement MedGemma-4B-IT) peuvent atteindre des performances comparables ou supérieures à celles de modèles propriétaires plus lourds pour certaines découvertes, offrant une alternative respectueuse de la vie privée et rentable pour un déploiement local.
4. Recommandation : Les auteurs suggèrent un pipeline pour le futur étiquetage par supervision faible qui commence par des prompts concis sans CoT et, lorsque la confidentialité est critique, utilise des modèles open-source légers. Ils insistent sur le fait que la sélection des modèles et des prompts doit être validée par rapport à un ensemble de données étiqueté par un expert pour chaque découverte spécifique avant un déploiement à grande échelle.

Limites
L'étude reconnaît plusieurs contraintes : la petite taille de l'échantillon (300 rapports) a entraîné très peu de cas pour les découvertes rares comme la masse médiastinale, limitant la certitude statistique ; l'utilisation d'un seul radiologue comme standard de référence empêche l'évaluation de la variabilité inter-lecteurs ; l'étude est limitée aux rapports néerlandais d'un seul centre ; et l'évolution rapide des LLM signifie que ces résultats pourraient ne pas refléter les capacités futures des modèles. Aucun test de signification statistique entre les modèles n'a été effectué en raison de la nature exploratoire de l'étude.