Natural Language Processing Based Solution for Labeling Brain Metastasis Identified in Radiology Reports

Résumé technique : Solution basée sur le traitement du langage naturel pour l'étiquetage des métastases cérébrales identifiées dans les rapports de radiologie

Énoncé du problème
Les métastases cérébrales (MC) représentent une charge importante en neuro-oncologie, dépassant de loin le volume des tumeurs primaires du système nerveux central. Cependant, la quantification précise des MC reste élusive car les registres actuels du cancer ne sont pas tenus de capturer la progression métastatique. Bien que les registres capturent les MC synchrones (présentes au moment du diagnostic), ils manquent la majorité des MC asynchrones qui se développent après le diagnostic initial du cancer. L'identification de ces cas asynchrones repose actuellement sur la revue manuelle des dossiers par des registres formés, un processus gourmand en ressources qui limite la surveillance à l'échelle de la population. Les tentatives existantes de traitement du langage naturel (NLP) reposent souvent sur l'extraction de mots-clés ou n'analysent que la section « Impression/Conclusion » des rapports de radiologie, risquant ainsi de manquer jusqu'à 36 % des découvertes pertinentes documentées uniquement dans la section « Résultats » (Findings). De plus, peu d'études ont validé la généralisabilité des modèles à travers des sources de données hétérogènes ou des flux de travail réels.

Méthodologie
L'étude a développé et validé un pipeline de NLP utilisant des données de registres du cancer basées sur la population de l'Alberta, Canada (diagnostics 2012–2019, suivi jusqu'en 2022), avec une validation externe en Ontario et en Colombie-Britannique. La méthodologie s'est déroulée en quatre phases :

1. Curation et échantillonnage des données :

   • Phase 1 (Entraînement initial) : Pour remédier à la faible prévalence des MC, une stratégie d'échantillonnage stratifié a été employée en utilisant les données du Registre du cancer de l'Alberta. Les patients ont été catégorisés selon le statut de tumeur cérébrale primaire et le statut de métastase synchrone pour enrichir l'ensemble de données. 1 200 rapports ont été annotés manuellement par des assistants de recherche sous la direction de radiologues.
   • Phase 2 (Échantillonnage guidé par le modèle) : Pour capturer les MC asynchrones, le modèle de la Phase 1 a été appliqué à 30 000 rapports post-diagnostic. Les probabilités prédites ont servi à guider l'échantillonnage stratifié, aboutissant à 1 011 rapports supplémentaires annotés manuellement.
   • Ensemble d'entraînement final : L'ensemble consolidé d'entraînement comprenait 1 879 rapports (505 positifs pour les MC).

2. Architecture du modèle :

   • Modèle de base : Bio_ClinicalBERT (initialisé avec BioBERT et pré-entraîné sur MIMIC-III) a été sélectionné pour gérer la terminologie clinique.
   • Gestion des sections : Pour respecter la limite de 512 jetons (tokens) du modèle et éviter de tronquer 25 % des rapports, le pipeline a isolé les sections « Résultats » (Findings) et « Impressions » à l'aide d'expressions régulières.
   • Stratégie d'ensemble : Deux modèles distincts ont été entraînés, un pour chaque section. La prédiction finale au niveau du rapport a été déterminée en prenant la probabilité prédite maximale des deux modèles composants.
   • Gestion des données manquantes : Lors de la validation interne et de la validation externe en Ontario, les sections manquantes ont été imputées par le texte complet du rapport. Dans la validation en Colombie-Britannique, les sections manquantes ont été traitées comme des chaînes de caractères vides.

3. Stratégie de validation :

   • Validation interne : Testée sur 1 833 rapports de 357 patients (Alberta) diagnostiqués entre 2012 et 2013, sans chevauchement avec les données d'entraînement.
   • Validation externe :
     • Ontario : 17 402 rapports de l'hôpital St. Michael (Toronto) ont été filtrés via un échantillonnage stratifié.
     • Colombie-Britannique : 908 rapports du registre du cancer de la Colombie-Britannique ont été revus manuellement.
   • Annotation : Tous les ensembles de validation ont fait l'objet d'une annotation manuelle par des professionnels de la santé, les divergences ayant été arbitrées par des cliniciens seniors. Les rapports étiquetés comme tumeurs cérébrales primaires ont été exclus de l'évaluation de la performance des MC.

Résultats clés

• Validation interne : À un seuil de probabilité de 0,4, le modèle d'ensemble a atteint une sensibilité de 0,888 et une précision de 0,499.
• Performance de l'ensemble : L'approche par ensemble a nettement surpassé les modèles à section unique. Les modèles à section unique ont atteint des sensibilités de seulement 67,8 % (uniquement les « Résultats ») et 74,2 % (uniquement les « Impressions »), démontant la nécessité de traiter les deux sections.
• Validation externe : Le modèle a démontré sa robustesse à travers diverses distributions de données :
  • Ontario : Sensibilité de 0,918.
  • Colombie-Britannique : Sensibilité de 0,726.

Signification et revendications
L'article affirme que ce pipeline basé sur le NLP répond avec succès aux exigences opérationnelles des registres du cancer en permettant une surveillance évolutive des métastases cérébrales asynchrones. En traitant à la fois les sections « Résultats » et « Impressions », le système capture un volume plus élevé de cas pertinents que les approches à section unique. Les auteurs déclarent que le modèle respecte les normes de sensibilité requises pour les opérations de registres et qu'il est en cours d'implantation dans les flux de travail de surveillance en Alberta et en Colombie-Britannique. Cette mise en œuvre fournit une base pour la surveillance des MC à l'échelle de la population, allant au-delà des limites des processus de revue manuelle actuels et des mandats des registres qui ne capturent que les cas synchrones.