Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

Résumé technique : Nettoyage des étiquettes dérivées de rapports dans un ensemble de données de scanner thoracique à grande échelle assisté par un grand modèle de langage

Énoncé du problème
Les ensembles de données d'imagerie médicale publics sont essentiels pour évaluer les modèles d'intelligence artificielle et entraîner de nouveaux algorithmes. Cependant, la qualité des étiquettes structurées au sein de ces ensembles est souvent compromise par les styles de rédaction des rapports, la négation, l'incertitude, les définitions ambiguës et les erreurs d'extraction automatisées. Même dans des ensembles de données soigneusement construits comme le CT-RATE (un ensemble de données de scanner thoracique à grande échelle comprenant des images volumétriques, des rapports et des étiquettes de multi-anomalies), une discordance entre l'étiquette et le rapport peut survenir. Étant donné que ces ensembles de données sont réutilisés de manière répétée pour l'évaluation de référence, de telles erreurs peuvent se propager dans l'évaluation et la comparaison des modèles, risquant ainsi de fausser les estimations de performance. Il existe un besoin de méthodes évolutives pour identifier et corriger ces incohérences sans dépendre uniquement d'une revue manuelle laborieuse.

Méthodologie
Les auteurs ont développé un cadre assisté par un LLM (grand modèle de langage) pour évaluer et nettoyer les étiquettes dérivées de rapports dans l'ensemble de données CT-RATE. L'étude a utilisé un ensemble de données rétrospectif de 24 446 rapports de radiologie uniques (après déduplication) appariés à 18 catégories d'anomalies prédéfinies.

1. Extraction par LLM : Les rapports de radiologie (spécifiquement les sections « constatations » et « impression ») ont été traités par GPT-5.4 via Microsoft Azure AI Foundry. Le modèle a été incité à générer des étiquettes binaires (présent/absent) pour les 18 catégories en se basant strictement sur le texte, en traitant les constatations incertaines (ex: « possible ») comme présentes. Les sorties ont été contraintes à un format JSON structuré.
2. Comparaison et identification de la discordance : Les étiquettes dérivées par GPT-5.4 ont été comparées aux étiquettes originales de CT-RATE au niveau de l'instance. Les cas discordants ont été classés soit comme « étiquette existante positive / GPT négatif », soit comme « étiquette existante négative / GPT positif ».
3. Validation multi-modèles : Pour évaluer la fiabilité, les mêmes rapports ont été traités par GPT-5.4 mini et DeepSeek V3.2. Une stratégie de vote majoritaire multi-LLM a été employée, où une étiquette était attribuée si au moins deux des trois modèles étaient d'accord.
4. Adjudication par radiologue : Trois ensembles de revue ont été établis pour la validation manuelle :
   • Un échantillon aléatoire de 100 rapports (1 800 instances d'étiquettes) annotés par un interne en radiologie et finalisés par un radiologue certifié pour servir de référence standard.
   • Un ensemble de discordance générale de 100 instances (50 positif/négatif et 50 négatif/positif) excluant l'adénopathie.
   • Un ensemble de discordance ciblé se concentrant sur l'« adénopathie », la seule catégorie présentant un coefficient κ de Cohen ≤ 0,80, échantillonnant jusqu'à 50 instances discordantes dans chaque direction.
5. Analyse statistique : L'accord a été mesuré à l'aide du κ de Cohen et des mesures de précision. La performance par rapport au jeu de référence annoté par le radiologue a été évaluée via la sensibilité, la spécificité, la VPP, la VPN, le score F1 et le κ de Cohen, calculés via la moyenne macro et micro des étiquettes.

Résultats clés

• Accord global : Les étiquettes dérivées de GPT-5.4 ont montré un accord global de 96,4 % avec les étiquettes originales de CT-RATE, avec un κ de Cohen de 0,884. L'accord variait considérablement selon la catégorie, allant de 99,6 % pour la hernie hiatale à 79,4 % pour l'adénopathie.
• Discrépance de l'adénopathie : L'adénopathie a présenté l'accord le plus faible (κ = 0,309). Dans la revue ciblée de 99 instances discordantes d'adénopathie, l'adjudication du radiologue a soutenu l'étiquette dérivée de GPT-5.4 dans 91,9 % des cas, suggérant que les étiquettes originales de CT-RATE étaient fréquemment incorrectes pour cette catégorie.
• Discordance générale : Dans la revue de discordance générale (excluant l'adénopathie), les radiologues ont soutenu l'étiquette dérivée de GPT-5.4 dans 74,2 % des cas adjudicables, contre 25,8 % soutenant l'étiquette originale de CT-RATE.
• Performance par rapport à la référence standard : Par rapport aux étiquettes de référence annotées par le radiologue, l'approche de vote majoritaire multi-LLM a obtenu la performance la plus élevée avec un score F1 moyen macro-étiquettes de 96,0 % et un κ de Cohen de 0,951. Cela a surpassé à la fois les étiquettes originales de CT-RATE (F1 : 93,8 %, κ : 0,923) et le modèle unique GPT-5.4 (F1 : 95,1 %, κ : 0,940). Notamment, le vote majoritaire a atteint un accord « presque parfait » (κ > 0,80) sur l'ensemble des 18 catégories.

Signification et affirmations
L'article affirme que le nettoyage des étiquettes assisté par LLM est une méthode évolutive et efficace pour identifier les discordances cliniquement significatives entre les rapports et les étiquettes dans les grands ensembles de données d'imagerie publics. L'étude démontre que :

1. Détection de la discordance : Les LLM peuvent identifier les erreurs dans les étiquettes existantes des ensembles de données qui pourraient ne pas être apparentes par les seules mesures d'accord agrégées.
2. Amélioration de la qualité : Le vote majoritaire multi-modèles peut affiner les étiquettes dérivées des rapports pour atteindre une fiabilité supérieure à l'extraction par un modèle unique ou aux étiquettes originales du jeu de données.
3. Maintenance des données : Cette approche sert d'outil pratique pour la maintenance des ensembles de données, aidant à prioriser les catégories aux définitions ambiguës (telles que l'adénopathie) pour la revue d'experts et l'affinement des définitions.
4. Utilité future : Les auteurs ont l'intention de publier l'ensemble de données nettoyé ainsi que le code associé pour soutenir la recherche future, visant à améliorer la fiabilité des benchmarks utilisés pour le développement et l'évaluation des modèles d'IA.

Les auteurs maintiennent une position modeste, reconnaissant que leurs étiquettes et adjudications dérivées de LLM sont basées sur le texte des rapports plutôt que sur la vérité terrain au niveau de l'image, et que les ensembles de revue de discordance ont été enrichis pour la divergence, ce qui signifie qu'ils ne représentent pas des estimations directes de la précision globale du jeu de données. Ils soulignent la nécessité d'une vérification humaine dans les sous-ensembles de validation afin d'atténuer les biais potentiels introduits par les étiquettes générées par les LLM.