In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation

Technisches Resümee: In-Domain Supervised Pathology Report Classification

Problemstellung
Überwachte biomedizinische NLP-Modelle (Natural Language Processing) leiden häufig unter einem signifikanten Leistungsabfall, wenn sie über verschiedene Krebsregister hinweg eingesetzt werden, was auf Verteilungsverschiebungen (Distribution Shifts) zurückzuführen ist. Dieses Problem entsteht durch Heterogenitäten in Berichtsstilen, Datenquellen und klinischen Arbeitsabläufen. Konkret erreichte der MOSSAIC OncoID-Klassifikator, der auf Daten aus dem Seattle SEER-Register trainiert wurde, lokal eine hohe Genauigkeit, wies jedoch bei der Implementierung am Kentucky Cancer Registry (KCR) eine hohe Falsch-Positiv-Rate (FPR) auf. Dies führte zu einer unvertretbaren manuellen Überprüfungslast für das Personal des Registers, da das Modell zu viele nicht meldepflichtige Berichte als solche markierte. Darüber hinaus stützen sich bestehende überwachte Modelle oft auf Datensätze, die nur einzelne Krebsarten oder einzelne Einrichtungen repräsentieren, was deren Generalisierbarkeit einschränkt.

Methodik
Die Autoren schlagen eine reproduzierbare, In-Domain-überwachte Pipeline vor, die darauf ausgelegt ist, einen Klassifikator unter Verwendung der routinemäßig gesammelten Daten des Zielregisters (KCR) zu trainieren. Die Methodik umfasst die Datenkuratierung, das Modelltraining und die produktionsnahe Evaluierung.

• Datenkuratierung und Stratifizierung:
  Die Pipeline nutzt Pathologieberichte aus der KCR Feeds-Datenbank und stratifiziert die Daten in drei Teilmengen, um Repräsentativität zu gewährleisten:

  1. Verknüpfte Berichte ($M_{linked}$/$H_{linked}$): Berichte, die mit Krebsfällen im SEERDMS-System verknüpft sind. Diese sind nach Krebs-Topographie (Primärlokalisation) stratifiziert, um eine breite Repräsentation über verschiedene Krebsstandorte hinweg sicherzustellen.
  2. Unverknüpfte Berichte ($M_{unlinked}$/$H_{unlinked}$): Berichte, die von einem Oncology Data Specialist (ODS) kategorisiert, aber nicht mit einem spezifischen Fall verknüpft wurden. Diese sind nach den vom ODS zugewiesenen Kategorien stratifiziert (z. B. „Needs Review“, „Metastases“, „No Cancer“).
  3. Seattle-Modell-Negative ($SM^-$): Berichte, die vom Seattle OncoID-Modell als nicht meldepflichtig eingestuft wurden. Diese werden vom Training ausgeschlossen, um Label-Rauschen zu vermeiden (da sie keine menschliche Validierung besitzen), sind jedoch im Holdout-Set enthalten, um den realen Datenstrom zu simulieren.

  Die Trainingsdaten werden im Verhältnis 80:20 für verknüpfte Berichte und 90:10 für unverknüpfte Berichte aufgeteilt, um die beobachteten Proportionen in den Produktionsdatenströmen abzubilden.

• Modellarchitektur und Training:
  Die Studie verwendet den OncoID-Klassifikator, eine Hierarchical Self-Attention Network (HiSAN)-Architektur, die über die Softwarepakete BARDI und FrESCO implementiert wird.

  • Vorverarbeitung: Der Aufbau des Vokabulars umfasst eine Mindestwortanzahl von 5, die Entfernung von Sonderzeichen und den Ausschluss gängiger Vornamen.
  • Umgang mit Klassenimbalance: Um die Recall (Minimierung verpasster Krebsfälle) zu priorisieren, experimentierten die Autoren mit Gewichtungsschemata der Loss-Funktion (30:1, 15:1 und ungewichtet) für die Klassen „nicht meldepflichtig“ zu „meldepflichtig“.
  • Auswahl des Betriebspunkts (Operating Point): Das Ziel ist es, eine extrem niedrige Falsch-Negativ-Rate (FNR) aufrechtzuerhalten und gleichzeitig die Falsch-Positiv-Rate (FPR) niedrig genug zu halten, damit sie für menschliche Prüfer handhabbar bleibt.

• Evaluierung und Validierung:

  • Produktionsnahes Holdout-Set: Ein Holdout-Set ($H$) von 418.166 Berichten spiegelt die Produktionsumgebung wider, einschließlich sowohl menschlich gelabelter als auch modellgefilterter Daten.
  • Blinde manuelle Prüfung: Eine zweistufige manuelle Überprüfung von 600 Berichten wurde durchgeführt, um die wahre Prävalenz positiver Fälle zu schätzen und das Label-Rauschen zu quantifizieren. Zwei unabhängige ODS-Mitarbeiter überprüften die Berichte, wobei ein dritter bei Konflikten entscheidend eingriff, wobei strikt die 2024 SEER Coding und Reportability Guidelines befolgt wurden.
  • Qualitative Überprüfung: Die Autoren analysierten 30 Falsch-Negative und 30 Falsch-Positive, um Muster in den Fehlklassifikationen zu identifizieren.

Wichtigste Ergebnisse

• Leistungssteigerung: Der in Kentucky trainierte OncoID-Modell übertraf den in Seattle trainierten Baseline-Modell auf dem KCR-Holdout-Set signifikant.
  • F1-Score: Verbesserte sich von 0,860 (Seattle) auf 0,922 (Kentucky).
  • Falsch-Negativ-Rate (FNR): Reduziert von 0,010 auf 0,003.
  • Falsch-Positiv-Rate (FPR): Reduziert von 0,183 auf 0,097.
• Auswahl des Betriebspunkts: Das mit einem 15:1 Loss-Weighting trainierte Modell wurde als finaler Betriebspunkt ausgewählt, der eine FNR von 0,003 und eine FPR von 0,097 erreicht. Dieses Gleichgewicht priorisiert die Erfassung von Fällen und reduziert gleichzeitig die manuelle Überprüfungslast um etwa 47 % im Vergleich zur Baseline (18,3 % vs. 9,7 % der als nicht meldepflichtig markierten Berichte).
• Analyse des Label-Rauschens: Die blinde manuelle Prüfung ergab, dass die ursprünglichen Datensatz-Labels erhebliches Rauschen enthielten. Die geschätzte positive Prävalenz im Holdout-Set sank von 0,500 (Original-Label) auf 0,3�98 (auditierte Label), was darauf hindeutet, dass etwa 20 % der als „meldepflichtig“ bezeichneten Berichte tatsächlich nicht meldepflichtig waren. Fehler konzentrierten sich auf seltene Primärlokalisationen (z. B. Zunge, Mund, Zahnfleisch) und spezifische Kategorien wie „Project-Specific“.
• Standortspezifische Leistung: Das Modell erreichte nahezu Null-FNRs für häufige Krebsarten (Brust: 0,0001, Lunge: 0,0005), zeigte jedoch höhere FNRs für seltene Krebsarten, was die Schwierigkeit widerspiegelt, ausgewogene Trainingsdaten für seltene Erkrankungen zu erwerben.

Bedeutung und Ansprüche
Das Paper behauptet, dass das Training eines überwachten Klassifikators auf In-Domain-Daten, die lokale Formatierung, Sprache und Terminologie widerspiegeln, essenziell ist, um Verteilungsverschiebungen in der Krebsregister-NLP zu überwinden. Der primäre Beitrag ist ein reproduzierbares Rezept für andere Krebsregister, um:

1. In-Domain-Trainingssets unter Verwendung routinemäßiger Datenfeeds aufzubauen.
2. Produktionsnahe Holdout-Sets zu konstruieren, die sowohl menschlich gelabelte als auch modellgefilterte Daten enthalten.
3. Betriebspunkte zu wählen, die die FNR strikt kontrollieren und gleichzeitig die FPR für das Personal handhabbar halten.

Die Autoren betonen, dass das Kentucky-Modell zwar ein starkes Potenzial aufweist, die manuelle Überprüfungslast zu reduzieren, ohne Fälle zu übersehen, der Ansatz jedoch keine „Einheitslösung“ (One-size-fits-all) ist. Er erfordert eine lokale Datenkuratierung und erkennt an, dass Label-Rauschen und linguistische Variationen zwischen Einrichtungen weiterhin Herausforderungen darstellen. Die Studie beansprucht nicht, alle Generalisierungsprobleme zu lösen, sondern bietet einen validierten Rahmen, der es Registern ermöglicht, ihre Modelle an ihren spezifischen operativen Kontext anzupassen. Zukünftige Arbeiten sollen die Untersuchung von Label Smoothing, Robustheitstests gegenüber Einrichtungsspezifischer Phrasierung und HL7-Änderungen sowie den potenziellen (derzeit jedoch eingeschränkten) Einsatz von Large Language Models (LLMs) angesichts von Datenschutz- und Ressourcenbeschränkungen untersuchen.