In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation

Résumé technique : Classification de rapports de pathologie par apprentissage supervisé en domaine spécifique

Énoncé du problème
Les modèles de traitement du langage naturel (NLP) biomédical supervisés souffrent souvent d'une dégradation significative des performances lorsqu'ils sont déployés sur différents registres de cancer en raison de changements de distribution. Ce problème découle des hétérogénéités dans les styles de rapports, les sources de données et les flux de travail cliniques. Plus précisément, le classificateur MOSSAIC OncoID, entraîné sur des données du registre SEER de Seattle, a obtenu une grande précision localement mais a présenté un taux de faux positifs (TFP) élevé lors de son déploiement au Kentucky Cancer Registry (KCR). Cela a entraîné une charge de révision manuelle ingérable pour le personnel du registre, car le modèle signalait trop de rapports non déclarables. De plus, les modèles supervisés existants reposent souvent sur des ensembles de données représentant des types de cancer ou des installations uniques, ce qui limite leur capacité de généralisation.

Méthodologie
Les auteurs proposent un pipeline supervisé reproductible et en domaine spécifique, conçu pour entraîner un classificateur à l'aide de données collectées de routine par le registre cible (KCR). La méthodologie englobe la curation des données, l'entraînement du modèle et l'évaluation correspondant à la production.

• Curation et stratification des données :
  Le pipeline utilise les rapports de pathologie de la base de données KCR Feeds, en stratifiant les données en trois sous-ensembles pour assurer la représentativité :
  1. Rapports liés ($M_{linked}$/$H_{linked}$) : Rapports liés à des cas de cancer dans le système SEERDMS. Ceux-ci sont stratifiés par topographie du cancer (site primaire) pour assurer une large représentation à travers les sites cancéreux.
  2. Rapports non liés ($M_{unlinked}$/$H_{unlinked}$) : Rapports catégorisés par un spécialiste des données d'oncologie (ODS) mais non liés à un cas spécifique. Ils sont stratifiés par catégories assignées par l'ODS (ex. : « Nécessite une révision », « Métastases », « Pas de cancer »).
  3. Négatifs du modèle de Seattle ($SM^-$) : Rapports étiquetés comme non déclarables par le modèle OncoID de Seattle. Ils sont exclus de l'entraînement pour éviter le bruit d'étiquetage (car ils manquent de validation humaine) mais sont inclus dans l'ensemble de test pour simuler le flux de données réel.

Les données d'entraînement sont divisées selon un ratio 80:20 pour les rapports liés et 90:10 pour les rapports non liés afin de correspondre aux proportions observées dans les flux de données de production.

• Architecture et entraînement du modèle :
  L'étude utilise le classificateur OncoID, une architecture de réseau à attention hiérarchique (HiSAN) implémentée via les packages logiciels BARDI et FrESCO.

  • Prétraitement : La construction du vocabulaire comprend un compte de mots minimum de 5, la suppression des caractères spéciaux et l'exclusion des noms de famille courants.
  • Gestion du déséquilibre des classes : Pour donner la priorité au rappel (minimiser les cas de cancer manqués), les auteurs ont expérimenté des schémas de pondération de la fonction de perte (30:1, 15:1 et non pondéré) pour les classes non déclarables et déclarables.
  • Sélection du point de fonctionnement : L'objectif est de maintenir un taux de faux négatifs (TFN) extrêmement bas tout en gardant un taux de faux positifs (TFP) suffisamment bas pour être gérable par les réviseurs humains.

• Évaluation et validation :

  • Test de holdout correspondant à la production : Un ensemble de holdout ($H$) de 418 166 rapports reflète l'environnement de production, incluant à la fois les données étiquetées par l'humain et les données filtrées par le modèle.
  • Audit manuel en aveugle : Une revue manuelle en deux étapes de 600 rapports a été menée pour estimer la prévalence des vrais positifs et quantifier le bruit d'étiquetage. Deux membres du personnel ODS ont examiné les rapports, un troisième tranchant les conflits, en suivant strictement les directives de codage et de déclarabilité SEER 2024.
  • Revue qualitative : Les auteurs ont analysé 30 faux négatifs et 30 faux positifs pour identifier des modèles de erreurs de classification.

Résultats clés

• Amélioration des performances : Le modèle OncoID entraîné au Kentucky a nettement surpassé la référence entraînée à Seattle sur l'ensemble de holdout du KCR.
  • Score F1 : Amélioré de 0,860 (Seattle) à 0,922 (Kentucky).
  • Taux de faux négatifs (TFN) : Réduit de 0,010 à 0,003.
  • Taux de faux positifs (TFP) : Réduit de 0,183 à 0,097.
• Sélection du point de fonctionnement : Le modèle entraîné avec un schéma de pondération de perte de 15:1 a été sélectionné comme point de fonctionnement final, atteignant un TFN de 0,003 et un TFP de 0,097. Cet équilibre donne la priorité à la capture des cas tout en réduisant la charge de révision manuelle d'environ 47 % par rapport à la référence (18,3 % contre 9,7 % des rapports non déclarables signalés).
• Analyse du bruit d'étiquetage : L'audit manuel en aveugle a révélé que les étiquettes du jeu de données original contenaient un bruit substantiel. La prévalence positive estimée dans l'ensemble de holdout est passée de 0,500 (étiquette originale) à 0,398 (étiquette auditée), indiquant qu'environ 20 % des rapports étiquetés comme « déclarables » étaient en réalité non déclarables. Les erreurs étaient concentrées dans les sites primaires rares (ex. : langue, bouche, gencives) et les catégories spécifiques comme « Spécifique au projet ».
• Performance par site : Le modèle a atteint un TFN proche de zéro pour les cancers communs (sein : 0,0001, poumon : 0,0005) mais a montré des TFN plus élevés pour les cancers rares, reflétant la difficulté d'acquérir des données d'entraînement équilibrées pour les conditions rares.

Signification et affirmations
L'article affirme que l'entraînement d'un classificateur supervisé sur des données en domaine spécifique qui correspondent au formatage, au langage et à la terminologie locaux est essentiel pour surmonter les changements de distribution dans le NLP des registres de cancer. La contribution principale est une recette reproductible permettant aux autres registres de cancer de :

1. Construire des ensembles d'entraînement en domaine spécifique à l'aide de flux de données de routine.
2. Construire des ensembles de holdout correspondant à la production incluant à la fois des données étiquetées par l'humain et des données filtrées par le modèle.
3. Sélectionner des points de fonctionnement contrôlant strictement le TFN tout en gardant un TFP gérable pour le personnel.

Les auteurs soulignent que, bien que le modèle du Kentucky démontre un fort potentiel pour réduire la charge de révision manuelle sans manquer de cas, l'approche n'est pas une solution « universelle ». Elle nécessite une curation de données locales et reconnaît que le bruit d'étiquetage et les variations linguistiques entre les établissements restent des défis. Le travail futur est proposé pour explorer l'adoucissement des étiquettes (label smoothing), les tests de robustesse face aux formulations des établissements et aux changements HL7, ainsi que l'utilisation potentielle (mais actuellement contrainte) des grands modèles de langage (LLM) compte tenu des limites de confidentialité et de ressources.