In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation

Technische Samenvatting: In-domain Supervised Classificatie van Pathologierapporten

Probleemstelling
Supervised biomedische Natural Language Processing (NLP) modellen lijden vaak onder aanzienlijke prestatieverslechtering wanneer ze worden ingezet over verschillende kankerregistraties heen doorgaande distributieverschuivingen (distribution shifts). Dit probleem ontstaat door heterogeniteiten in rapportstijlen, databronnen en klinische workflows. Specifiek vertoonde de MOSSAIC OncoID-classifier, getraind op gegevens uit de Seattle SEER-registratie, een hoge nauwkeurigheid lokaal, maar vertoonde een hoog percentage fout-positieven (FPR) bij de inzet bij de Kentucky Cancer Registry (KCR). Dit resulteerde in een onbeheersbare handmatige beoordelingslast voor het personeel van de registratie, omdat het model te veel niet-rapporteerbare rapporten markeerde. Bovendien vertrouwen bestaande supervised modellen vaak op datasets die representatief zijn voor enkelvoudige kankertypes of faciliteiten, wat de generaliseerbaarheid beperkt.

Methodologie
De auteurs stellen een reproduceerbare, in-domain supervised pipeline voor die is ontworpen om een classifier te trainen met behulp van routinematig verzamelde gegevens uit de doelregistratie (KCR). De methodologie omvat data-curatie, modeltraining en productie-overeenkomstige evaluatie.

• Data-curatie en Stratificatie:
  De pipeline maakt gebruik van pathologierapporten uit de KCR Feeds-database, waarbij de data wordt gestratificeerd in drie subsets om representatie te waarborgen:

  1. Gekoppelde Rapporten ($M_{linked}$/$H_{linked}$): Rapporten die gekoppeld zijn aan kankergevallen in het SEERDMS-systeem. Deze zijn gestratificeerd op kankertopografie (primaire locatie) om brede representatie over verschillende kankersites te garanderen.
  2. Niet-gekoppelde Rapporten ($M_{unlinked}$/$H_{unlinked}$): Rapporten gecategoriseerd door een Oncology Data Specialist (ODS) maar niet gekoppeld aan een specifiek geval. Deze zijn gestratificeerd volgens door de ODS toegewezen categorieën (bijv. "Needs Review," "Metastases," "No Cancer").
  3. Seattle Model Negatieven ($SM^-$): Rapporten die als niet-rapporteerbaar zijn gelabeld door het Seattle OncoID-model. Deze worden uitgesloten van training om labelruis te voorkomen (aangezien ze geen menselijke validatie hebben), maar worden wel opgenomen in de holdout-set om de real-world datastroom te simuleren.

  De trainingsdata wordt gesplitst in 80:20 voor gekoppelde rapporten en 90:10 voor niet-gekoppelde rapporten om overeen te komen met de geobserveerde proporties in de productiestromen.

• Modelarchitectuur en Training:
  De studie maakt gebruik van de OncoID-classifier, een Hierarchical Self-Attention Network (HiSAN) architectuur geïmplementeerd via de BARDI- en FrESCO-softwarepakketten.

  • Preprocessing: De vocabulaire-opbouw omvat een minimale woordtelling van 5, het verwijderen van speciale tekens en het uitsluiten van veelvoorkomende voornamen.
  • Aanpak van Class Imbalance: Om de recall te prioriteren (het minimaliseren van gemiste kankergevallen), experimenteerden de auteurs met weegschema's voor de loss-functie (30:1, 15:1 en ongegewogen) voor de niet-rapporteerbare versus rapporteerbare klassen.
  • Selectie van Operating Point: Het doel is om een extreem lage False Negative Rate (FNR) te behouden, terwijl de False Positive Rate (FPR) laag genoeg wordt gehouden om beheersbaar te blijven voor menselijke beoordelaars.

• Evaluatie en Validatie:

  • Productie-overeenkomstige Holdout: Een holdout-set ($H$) van 418.166 rapporten spiegelt de productieomgeving, inclusief zowel menselijk gelabelde als door het model gefilterde gegevens.
  • Blinde Handmatige Audit: Een twee-fasen handmatige review van 600 rapporten werd uitgevoerd om de prevalentie van ware positieven te schatten en labelruis te kwantificeren. Twee onafhankelijke ODS-medewerkers beoordeelden de rapporten, waarbij een derde conflicten beslechtte, strikt volgens de 2024 SEER Coding en Reportability Guidelines.
  • Kwalitatieve Review: De auteurs analyseerden 30 false negatives en 30 false positives om patronen in misclassificaties te identificeren.

Belangrijkste Resultaten

• Prestatieverbetering: De in Kentucky getrainde OncoID-model presteerde aanzienlijk beter dan de in Seattle getrainde baseline op de KCR holdout-set.
  • F1-score: Verbeterde van 0.860 (Seattle) naar 0.922 (Kentucky).
  • False Negative Rate (FNR): Verminderd van 0.010 naar 0.003.
  • False Positive Rate (FPR): Verminderd van 0.183 naar 0.097.
• Selectie van Operating Point: Het model getraind met een 15:1 loss-weging werd gekozen als het definitieve operating point, met een FNR van 0.003 en een FPR van 0.097. Deze balans geeft prioriteit aan het detecteren van gevallen (case capture) terwijl de handmatige review-werkdruk met ongeveer 47% wordt verminderd vergeleken met de baseline (18,3% versus 9,7% van de als niet-rapporteerbaar gemarkeerde rapporten).
• Analyse van Labelruis: De blinde handmatige audit toonde aan dat de originele datasetlabels aanzienlijke ruis bevatten. De geschatte positieve prevalentie in de holdout-set daalde van 0.500 (originele label) naar 0.398 (geauditeerde label), wat aangeeft dat ongeveer 20% van de rapporten gelabeld als "reportable" eigenlijk niet-rapporteerbaar waren. Fouten concentreerden zich in zeldzame primaire locaties (bijv. tong, mond, tandvlees) en specifieke categorieën zoals "Project-Specific."
• Locatiespecifieke Prestaties: Het model bereikte bijna nul FNR's voor veelvoorkomende kankers (borst: 0.0001, long: 0.0005), maar vertoonde hogere FNR's voor zeldzame kankers, wat de moeilijkheid weerspiegelt van het verkrijgen van gebalanceerde trainingsdata voor zeldzame condities.

Significantie en Claims
Het artikel beweert dat het trainen van een supervised classifier op in-domain data die overeenkomt met lokale formattering, taal en terminologie essentieel is om distributieverschuivingen in kankerregistratie-NLP te overwinnen. De primaire bijdrage is een reproduceerbaar recept voor andere kankerregistraties om:

1. In-domain trainingssets op te bouwen met behulp van routinematige datastromen.
2. Productie-overeenkomstige holdout-sets te construeren die zowel menselijk gelabelde als door het model gefilterde data bevatten.
3. Operating points te selecteren die de FNR strikt controleren terwijl de FPR beheersbaar blijft voor het personeel.

De auteurs benadrukken dat hoewel het Kentucky-model een sterk potentieel heeft om de handmatige review-werkdruk te verminderen zonder gevallen te missen, de aanpak geen "one-size-fits-all" oplossing is. Het vereist lokale data-curatie en erkent dat labelruis en linguïstische variaties tussen faciliteiten uitdagingen blijven. Toekomstig werk wordt voorgesteld om label smoothing, robuustheidstesten tegen faciliteitsformuleringen en HL7-wijzigingen, en het potentieel (maar momenteel beperkt) gebruik van Large Language Models (LLM's) te verkennen, gezien privacy- en middelenbeperkingen.