Automated Extraction of Cancer Registry Data from Pathology Reports: Comparing LLM-Based and Ontology-Driven NLP Platforms

Die Studie zeigt, dass ein auf LLMs basierendes System (Brim Analytics) im Vergleich zu einem ontologiebasierten Ansatz (DeepPhe) bei der automatisierten Extraktion von Krebsregisterdaten aus Pathologieberichten eine höhere Gesamtgenauigkeit und effiziente Verarbeitungszeiten erreicht.

Das Wesentliche

🏥 Der große Daten-Detektiv: Wie KI Krebs-Reports liest

Stellen Sie sich vor, ein Krebsregister ist wie eine riesige Bibliothek, die jedes Jahr Millionen von Patientenakten sortieren muss. Aber hier ist das Problem: Die wichtigsten Informationen liegen nicht in sauberen Tabellen, sondern in chaotischen, handschriftlichen oder frei formulierten Texten der Pathologen (den Ärzten, die Gewebeproben untersuchen).

Früher mussten geschulte Menschen (Tumor-Registrierer) diese Texte manuell lesen und die Daten abtippen. Das ist wie das mühsame Abschreiben von Tausenden von Briefen – teuer, langsam und fehleranfällig.

Diese Studie fragt: Können zwei verschiedene Arten von KI-Systemen diese Aufgabe besser und schneller erledigen?

Die Forscher haben zwei "Detektive" getestet:

1. Brim Analytics (Der KI-Coach): Ein System, das auf modernen "Großen Sprachmodellen" (LLMs) basiert. Es ist wie ein sehr kluger Assistent, dem man klare Anweisungen gibt: "Suche nach der Tumorgröße und ignoriere verwirrende Wörter."
2. DeepPhe (Der Wörterbuch-Spezialist): Ein älteres System, das auf einem riesigen medizinischen Wörterbuch (Ontologie) und festen Regeln basiert. Es ist wie ein strenger Bibliothekar, der nur findet, was exakt im Wörterbuch steht.

Die beiden wurden an echten Patientenakten von Johns Hopkins getestet: 330 Fälle von Bauchspeicheldrüsenkrebs und 34 Fälle von Brustkrebs.

---

🥊 Der Wettkampf: Wer ist besser?

1. Der Bauchspeicheldrüsen-Krebs-Test (Der schwierige Fall)

Bauchspeicheldrüsenkrebs ist komplex. Die Berichte sind oft chaotisch, voller Fachbegriffe und unterschiedlicher Formulare.

• Der KI-Coach (Brim): Er war ein echter Gewinner. Er hat fast alles richtig verstanden (durchschnittlich 96,7 % Genauigkeit). Er konnte auch bei den schwierigsten Fragen wie "Wie groß ist der Tumor?" (T-Stadium) fast perfekt antworten.
• Der Wörterbuch-Spezialist (DeepPhe): Er war gut bei den Lymphknoten (N-Stadium), aber bei der Tumorgröße hatte er große Probleme. Er war oft zu voreilig und dachte, der Tumor sei größer als er war (Genauigkeit nur 83,6 %).

Die Metapher: Stellen Sie sich vor, Sie müssen die Größe eines Objekts in einem dunklen Raum schätzen.

• Brim schaltet das Licht ein, betrachtet den Raum und sagt: "Es ist genau 10 cm."
• DeepPhe tastet nur im Dunkeln herum und sagt: "Ich glaube, es ist riesig!" (weil er unsicher ist und lieber zu hoch schätzt).

2. Der Brustkrebs-Test (Der Generalisierungs-Test)

Jetzt wurde es spannend: Die Systeme mussten ihre Fähigkeiten auf eine andere Krankheit übertragen, ohne neu trainiert zu werden.

• Der KI-Coach (Brim): Er war wie ein erfahrener Reisender. Auch wenn die Sprache (die medizinischen Begriffe) etwas anders war, verstand er sofort, worum es ging. Seine Leistung sank nur minimal (von 96,7 % auf 93,7 %). Er war sehr stabil.
• Der Wörterbuch-Spezialist (DeepPhe): Er geriet in Panik. Da Brustkrebs-Berichte oft anders geschrieben sind als Bauchspeicheldrüsen-Berichte, verlor er den Faden. Seine Genauigkeit bei der Tumorgröße stürzte auf nur 70,6 % ab. Er konnte die neuen "Wörter" nicht im alten Wörterbuch finden.

---

⏱️ Geschwindigkeit: Wer ist schneller?

Beide Systeme waren blitzschnell.

• Brim brauchte im Durchschnitt weniger als eine Sekunde pro Bericht (bei Bauchspeicheldrüsen).
• DeepPhe brauchte etwas länger, aber immer noch nur wenige Sekunden.
  Das bedeutet: Beide können Tausende von Berichten in Minuten verarbeiten, was für Menschen Tage oder Wochen dauern würde.

---

🚨 Wo liegen die Fehler? (Die Fehleranalyse)

• Brim (Der Vorsichtige): Wenn er einen Fehler machte, war er meist "vorsichtig". Er sagte eher "Ich weiß es nicht" oder unterschätzte den Tumor, als dass er etwas erfand. In der Medizin ist das oft besser: Lieber einen Tumor als etwas größer ansehen und genauer prüfen, als ihn zu klein zu schätzen und die Behandlung zu spät zu beginnen.
• DeepPhe (Der Übertreiber): Er neigte dazu, Dinge zu finden, die gar nicht da waren (falsch-positive Fehler). Er dachte oft, der Tumor sei weiter fortgeschritten, als er tatsächlich war.

Ein weiterer wichtiger Punkt: Der Form des Berichts.

• Wenn der Arzt einen modernen, strukturierten Bericht (wie ein ausgefülltes Formular) schrieb, waren beide gut.
• Wenn der Arzt einen alten, freien Text (wie einen Brief) schrieb, scheiterte DeepPhe fast komplett. Brim hingegen konnte auch aus dem "Brief" die richtigen Informationen extrahieren.

---

💡 Das Fazit: Was bedeutet das für uns?

Diese Studie zeigt, dass die neue Generation von KI (wie Brim) bereit ist, den schweren Job der Datenerfassung zu übernehmen.

• Für die Ärzte und Register: Die KI kann als "erster Durchgang" dienen. Sie füllt 95 % der Felder automatisch aus. Der menschliche Experte muss dann nur noch die restlichen 5 % prüfen, die die KI unsicher fand. Das spart enorme Zeit und Geld.
• Die Lektion: Alte, starre Systeme (wie DeepPhe) sind gut, aber sie brauchen viel Anpassung, wenn sich die Sprache der Ärzte ändert. Neue KI-Systeme (wie Brim) sind flexibler, verstehen Kontext besser und können sich leichter auf neue Krankheiten übertragen.

Zusammenfassend: Die KI ist nicht da, um die menschlichen Experten zu ersetzen, sondern um ihnen den schweren Stein vom Rücken zu nehmen. Sie liest die Akten, sortiert das Chaos und gibt dem Menschen die Zeit, sich auf das Wesentliche zu konzentrieren: die Patienten.

Technische Zusammenfassung

Titel: Automatisierte Extraktion von Krebsregisterdaten aus Pathologieberichten: Ein Vergleich von LLM-basierten und ontologiegetriebenen NLP-Plattformen

Autoren: Thomas McPhaul et al. (Sidney Kimmel Comprehensive Cancer Center, Johns Hopkins University)

---

1. Problemstellung

Die Standardisierung von Krebsdaten erfordert die Umwandlung unstrukturierter Pathologieberichte in strukturierte Register-Variablen. Dieser Prozess ist derzeit überwiegend manuell, ressourcenintensiv und erfordert zertifizierte Tumorregister-Experten, was zu Variabilität in der Interpretation und Skalierungsproblemen führt.
Zwar gibt es Fortschritte im Bereich des Natural Language Processing (NLP), insbesondere durch Large Language Models (LLMs) und ontologiegetriebene Systeme, doch fehlt es an rigorosen Validierungen unter realen Einsatzbedingungen. Die meisten Studien basieren auf idealisierten Datensätzen und berücksichtigen nicht die enorme Heterogenität von Berichtsformaten (freier Text vs. synoptische Vorlagen), Terminologien und institutionellen Unterschieden über längere Zeiträume hinweg. Es bleibt unklar, ob bestehende Plattformen Informationen aus unveränderten klinischen Dokumenten zuverlässig extrahieren können.

2. Methodik

Die Studie evaluierte zwei grundlegend unterschiedliche automatisierte Extraktionsansätze an realen klinischen Daten der Johns Hopkins Hospital:

• Vergleichsobjekte:

  • Brim Analytics (LLM-basiert): Eine kommerzielle Cloud-Plattform, die LLMs nutzt, um klinische Narrative zu interpretieren. Sie basiert auf einem spezifikationsgesteuerten Framework, bei dem klinische Experten Extraktionsprotokolle (Variablen, Semantik, Regeln zur Auflösung von Mehrdeutigkeiten) definieren. Die Logik ist explizit und nachvollziehbar, nicht in den Modellgewichten "versteckt".
  • DeepPhe (Ontologie-getrieben): Ein Open-Source-System, das auf dem Apache cTAKES-Framework aufbaut. Es verwendet eine "Double-Pipeline"-Architektur, die eine domainspezifische Ontologie (DeepPhe-Konzeptmodell) mit regelbasierter Erkennung und Phänotyp-Zusammenfassung kombiniert. Alle Konzepte werden auf das NCI-Thesaurus-System gemappt.

• Datensätze:

  • Pankreaskarzinom: 330 validierte Pathologieberichte (2009–2025), gemischt aus narrativem Freitext (72,1 %) und strukturierten synoptischen Vorlagen (27,9 %).
  • Brustkrebs: 34 unabhängige Berichte (2006–2025) zur Bewertung der krankheitsübergreifenden Generalisierbarkeit ohne spezifische Anpassungen.
  • Goldstandard: Sieben klinische Variablen (T-Stadium, N-Stadium, M-Stadium, OncoTree-Klassifikation, Tumorsite, Resektionsrandstatus, histologischer Grad) wurden von geschulten Experten gemäß AJCC-8. und CAP-Richtlinien annotiert.

• Workflow:

  • Bei Brim Analytics wurde ein zweistufiger Optimierungsprozess durchgeführt (Iteration 0: reine Leitlinien-basierte Spezifikation; Iteration 1: Verfeinerung basierend auf Fehleranalysen).
  • DeepPhe wurde mit Standard-Einstellungen ("Out-of-the-Box") ohne Anpassungen ausgeführt.
  • Die Leistung wurde mittels Genauigkeit, Präzision, Recall, F1-Score und Cohen's κ bewertet.

3. Wichtige Beiträge

• Realistische Validierung: Die Studie bietet eine der ersten umfassenden Vergleiche unter "Deployment-Realismus", einschließlich heterogener Berichtsformate und langer zeitlicher Spannen.
• Krankheitsübergreifende Generalisierbarkeit: Evaluation der Übertragbarkeit eines Systems von Pankreaskrebs auf Brustkrebs ohne spezifische Neukonfiguration.
• Format-Agnostizismus: Analyse der Leistung in Abhängigkeit vom Berichtsformat (narrativ vs. synoptisch), was in früheren Studien oft vernachlässigt wurde.
• Architektonischer Vergleich: Gegenüberstellung der Vor- und Nachteile von LLM-gesteuerten, regelbasierten Frameworks gegenüber rein ontologiegetriebenen Systemen.

4. Ergebnisse

Leistung bei Pankreaskarzinom (N=330):

• Brim Analytics: Erzielte eine hohe mittlere Genauigkeit von 96,7 % über alle sieben Variablen.
  • T-Stadium: 96,4 %, N-Stadium: 95,8 %, M-Stadium: 99,7 %.
  • Die Leistung war robust gegenüber unterschiedlichen Berichtsformaten (narrativ: 95,4 % vs. synoptisch: 98,9 %).
• DeepPhe: Zeigte eine mittlere Genauigkeit von 90,5 % (nur TNM-Variablen).
  • N-Stadium: 96,4 % (vergleichbar mit Brim).
  • T-Stadium: 83,6 % (deutlich schlechter als Brim).
  • M-Stadium: 91,5 %, jedoch mit sehr niedriger Präzision (51,1 %), was auf viele falsch-positive Metastasen-Hypothesen hindeutet.

Leistung bei Brustkrebs (N=34) – Generalisierbarkeit:

• Brim Analytics: Die mittlere Genauigkeit sank nur leicht auf 93,7 % (Abnahme von 3,0 Prozentpunkten). Das T-Stadium wurde zu 100 % korrekt klassifiziert. Dies zeigt eine starke Generalisierbarkeit der definierten Regeln.
• DeepPhe: Die Leistung verschlechterte sich signifikant (mittlere Genauigkeit 83,3 %).
  • T-Stadium: Nur 70,6 % Genauigkeit (κ = 0,076, nahe Zufallsniveau).
  • M-Stadium: Schwere Defizite mit nur 20 % Recall (das System übersehen Metastasen häufig).

Verarbeitungsgeschwindigkeit:

• Beide Systeme waren schnell genug für operative Einsätze:
  • Brim: ~0,9 s (Pankreas) bis 4,6 s (Brust) pro Bericht.
  • DeepPhe: ~1,1 s (Pankreas) bis 3,5 s (Brust) pro Bericht.

Fehleranalyse:

• Brim Analytics: Tendenz zu konservativen Fehlern (False Negatives), d. h. Unterstufung von Tumoren. Dies ist klinisch oft vorzuziehen, da es Patienten nicht unnötig in ein höheres Stadium einstuft.
• DeepPhe: Starke Tendenz zu False Positives (Überklassifizierung), insbesondere beim T-Stadium. Die Fehlerquote bei narrativen Berichten war bei DeepPhe fast sechsmal höher als bei synoptischen Berichten.

5. Bedeutung und Schlussfolgerung

Die Studie zeigt, dass LLM-basierte Extraktionsplattformen (wie Brim Analytics) die Fähigkeit besitzen, kritische Pathologievariablen mit klinisch relevanter Genauigkeit aus unstrukturierten Texten zu extrahieren.

• Vorteile von LLM-Ansätzen: Durch explizite, von Experten definierte Regeln können diese Systeme Heterogenität in der Dokumentation besser bewältigen und generalisieren sich besser auf neue Krankheitsbilder ohne vollständige Neuentwicklung. Sie bieten zudem Transparenz und Nachvollziehbarkeit der Extraktionsentscheidungen.
• Herausforderungen bei Ontologie-Ansätzen: Ontologiegetriebene Systeme wie DeepPhe sind bei strukturierten Daten stark, scheitern jedoch oft an der Vielfalt freitextlicher Beschreibungen und zeigen bei der Generalisierung auf andere Krebsarten deutliche Schwächen.

Implikationen:
Automatisierte Systeme sollten nicht als Ersatz, sondern als erste Abstraktionsschicht in einem "Human-in-the-Loop"-Workflow eingesetzt werden. Sie können Tumorregister-Experten entlasten, indem sie hochkonfidente Extraktionen vornehmen und nur unsichere Fälle zur manuellen Prüfung markieren. Für eine breite Implementierung in nationalen Krebsregistern sind jedoch weitere multizentrische Validierungen und die Integration in Live-Workflows notwendig.