Automated Extraction of Cancer Registry Data from Pathology Reports: Comparing LLM-Based and Ontology-Driven NLP Platforms

Deze studie toont aan dat een op LLM gebaseerd platform (Brim Analytics) bij het automatisch extraheren van kankerregistergegevens uit pathologierapporten over het algemeen hogere nauwkeurigheid bereikt dan een op ontologie gebaseerd systeem (DeepPhe), met name bij het vastleggen van de T-stadium, terwijl beide systemen snelle verwerkingstijden behalen.

De kern

De Grote Uitdaging: Het Vertalen van een Chaos

Stel je voor dat een ziekenhuis een enorme bibliotheek heeft, maar in plaats van nette boeken met inhoudsopgaven, zitten de meeste boeken vol met handgeschreven krabbels, verschillende lettertypes en eigenzinnige zinnen. Dit zijn de pathologieverslagen van kankerpatiënten.

Voor onderzoekers en artsen is het cruciaal om uit deze "krabbels" specifieke feiten te halen: Is de tumor groot? Heeft hij zich verspreid? Wat voor soort kanker is het? Vandaag de dag moeten mensen (speciaal getrainde registrateurs) deze verslagen één voor één lezen en de informatie handmatig overtypen in een digitaal systeem. Dit is als het handmatig overschrijven van duizenden krabbels: het kost veel tijd, is vermoeiend en mensen maken soms fouten door vermoeidheid.

De onderzoekers van de Johns Hopkins Universiteit wilden weten of moderne kunstmatige intelligentie (AI) dit werk sneller en beter kan doen dan mensen. Ze testten twee verschillende "robots" die deze krabbels moeten lezen en vertalen naar nette, gestructureerde data.

De Twee Kandidaten: De Slimme Vertaler vs. De Woordenboek-Check

De onderzoekers stelden twee verschillende systemen tegen elkaar:

1. Brim Analytics (De Slimme Vertaler):

   • Hoe het werkt: Dit systeem gebruikt een LLM (een groot taalmodel, vergelijkbaar met de technologie achter ChatGPT). Het is als een zeer slimme, goed opgeleide vertaler die de context begrijpt. Als er staat "kop van de alvleesklier" of "cephalisch deel", weet deze robot dat het hetzelfde is.
   • De aanpak: Mensen geven de robot duidelijke instructies (regels) over wat er precies gezocht moet worden. De robot leest dan het verslag en past deze regels toe.

2. DeepPhe (De Woordenboek-Check):

   • Hoe het werkt: Dit is een ouderwetser, maar bewezen systeem dat werkt met een ontologie (een enorme, strikte woordenlijst van medische termen).
   • De aanpak: Het systeem zoekt in het verslag naar woorden die precies in zijn woordenlijst staan. Als het woord niet exact in de lijst staat, of als de zin te ingewikkeld is, raakt het de draad kwijt. Het is als iemand die alleen zinnen begrijpt als ze exact overeenkomen met een vooraf geschreven script.

De Proef: De "Alvleesklier" en de "Borst"

Om te testen hoe goed deze robots waren, gaven de onderzoekers ze 330 verslagen van alvleesklierkanker en 34 verslagen van borstkanker. Ze gebruikten verslagen van de afgelopen 19 jaar, variërend van oude, rommelige handgeschreven notities tot moderne, gestructureerde formulieren.

De resultaten:

• Brim Analytics (De Slimme Vertaler) won overtuigend.

  • Bij alvleesklierkanker haalde hij een gemiddelde score van 96,7%. Hij maakte nauwelijks fouten, zelfs bij de moeilijke dingen zoals het bepalen van de tumorgrootte (T-stadium).
  • Het mooie was: hij deed het bijna even goed bij borstkanker (93,7%), zonder dat ze hem daar speciaal voor hadden getraind. Hij kon de regels dus "algemeen" toepassen.
  • Snelheid: Hij had ongeveer 0,9 seconde nodig per verslag.

• DeepPhe (De Woordenboek-Check) had het moeilijker.

  • Hij deed het goed bij het tellen van lymfeklieren (N-stadium), maar faalde bij het bepalen van de tumorgrootte (T-stadium), vooral bij borstkanker (slechts 70,6% goed).
  • Het probleem: Hij neigde er vaak toe om te overdreven. Hij dacht dat een tumor groter was dan hij echt was, omdat hij niet goed kon omgaan met de verschillende manieren waarop artsen dat beschrijven.
  • Snelheid: Hij was iets langzamer, ongeveer 1,1 seconde per verslag, maar dat is nog steeds razendsnel.

De Leerlessen: Waarom de "Slimme Vertaler" wint

De onderzoekers ontdekten een belangrijk verschil in hoe de robots faalden:

• DeepPhe maakte vaak fouten omdat hij te star was. Als een arts een woord gebruikte dat niet in de woordenlijst stond, of een zin op een andere manier schreef, gaf het systeem het op of maakte het een gok. Het was alsof hij probeerde een gesprek te voeren met iemand die alleen kan praten in exacte zinnen uit een boek.
• Brim Analytics was flexibeler. Hij begreep dat "kop van de alvleesklier" en "rechterkant van de alvleesklier" hetzelfde betekenen. Hij maakte soms fouten door te voorzichtig te zijn (hij dacht soms dat een tumor kleiner was dan hij was), maar dat is in de medische wereld vaak veiliger dan het omgekeerde.

Wat betekent dit voor de toekomst?

Dit onderzoek laat zien dat we niet langer hoeven te wachten tot mensen handmatig duizenden verslagen uitschrijven.

• De robot als assistent: De AI hoeft de mens niet te vervangen, maar kan als een "eerste pass" fungeren. De robot haalt de feiten eruit en vult het formulier voor. De menselijke registrateur hoeft dan alleen nog maar te kijken of de robot het goed heeft gedaan en eventuele twijfelgevallen te controleren.
• Schaalbaarheid: Omdat de robots zo snel zijn (minder dan een seconde per verslag), kunnen ziekenhuizen duizenden patiënten in plaats van honderden verwerken. Dit betekent snellere data voor onderzoek en betere zorg voor patiënten.

Kortom: De "Slimme Vertaler" (Brim) heeft bewezen dat hij de chaos van handgeschreven medische verslagen kan omzetten in nette, betrouwbare data. Het is alsof we eindelijk een robot hebben die niet alleen kan lezen, maar ook echt begrijpt wat er staat, waardoor we de tijd kunnen besparen om ons te concentreren op de patiënten zelf.

Technische samenvatting

Probleemstelling

Kankerregistraties vormen de basis voor epidemiologisch onderzoek en kwaliteitsbewaking, maar vereisen dat ongestructureerde pathologierapporten worden omgezet in gestructureerde variabelen. Dit proces is momenteel grotendeels handmatig, arbeidsintensief en afhankelijk van gecertificeerde tumorregistratoren, wat leidt tot variabiliteit in interpretatie en schaalproblemen. Hoewel er geavanceerde NLP-tools (Natural Language Processing) zijn ontwikkeld, waaronder Large Language Models (LLMs) en op ontologie gebaseerde systemen, ontbreekt het vaak aan rigorieuze validatie onder realistische implementatieomstandigheden. Bestaande evaluaties vinden vaak plaats in geïdealiseerde settingen en houden geen rekening met de grote variatie in rapportformaten, terminologie en documentatiepraktijken tussen verschillende instellingen en tijdperken.

Methodologie

De studie, uitgevoerd door het Sidney Kimmel Comprehensive Cancer Center van de Johns Hopkins University, vergeleek twee fundamenteel verschillende benaderingen voor geautomatiseerde extractie:

1. Brim Analytics (LLM-gebaseerd): Een commercieel, cloud-gehost platform dat gebruikmaakt van een specificatie-gedreven framework. Hierbij definiëren klinische experts expliciete regels voor extractie (wat te extraheren, hoe ambiguïteit op te lossen), die door een LLM (GPT-4.1 mini) worden uitgevoerd. De logica is transparant en traceerbaar, losgekoppeld van de modeltraining.
2. DeepPhe (Ontologie-gedreven): Een open-source systeem gebaseerd op Apache cTAKES. Het gebruikt een dubbele-pijplijnarchitectuur die domeinspecifieke ontologieën combineert met regelgebaseerde detectie om gestructureerde outputs te genereren die zijn gemapt op de NCI Thesaurus.

Dataverzameling en Validatie:

• Cohorten: 330 pathologierapporten van pancreasadenocarcinoom en 34 rapporten van borstkanker, direct afkomstig uit de klinische dossiers van Johns Hopkins Hospital.
• Tijdspanne: 2006–2025, wat zorgt voor een heterogene mix van rapportformaten (vrij tekst vs. gestructureerde synoptische templates) en evoluerende AJCC-stagingcriteria.
• Gold Standard: Handmatige annotaties door getrainde specialisten volgens CoC en AJCC 8e editie richtlijnen.
• Variabelen: Zeven klinische variabelen werden getest, waaronder T-, N- en M-stadium, tumorlocatie, snijrandstatus, histologische graad en OncoTree-classificatie.
• Proces: Brim Analytics onderging een iteratieve optimalisatie (train-test scheiding) uitsluitend op pancreasdata, waarna de geoptimaliseerde configuratie "zero-shot" werd toegepast op de pancreas-validatie en de borstkanker-cohort. DeepPhe werd uitgevoerd met standaardinstellingen zonder aanpassingen.

Belangrijkste Resultaten

1. Prestaties bij Pancreaskanker:

• Brim Analytics: Bereikte een hoge gemiddelde nauwkeurigheid van 96,7% over alle zeven variabelen.
  • T-stadium: 96,4%
  • Histologische graad: 97,0%
  • N-stadium: 95,8%
• DeepPhe: Bereikte een gemiddelde nauwkeurigheid van 90,5% (alleen voor TNM-variabelen).
  • N-stadium: 96,4% (vergelijkbaar met Brim).
  • T-stadium: 83,6% (significante achterstand).
  • M-stadium: 91,5% (lage precisie door veel vals-positieven).

2. Generaliseerbaarheid (Cross-Disease):

• Brim Analytics: Toonde sterke stabiliteit bij overgang naar borstkanker, met een gemiddelde nauwkeurigheid van 93,7% (daling van slechts 3,0 procentpunt ten opzichte van pancreas). T-stadium bereikte zelfs 100% nauwkeurigheid.
• DeepPhe: Toonde een grotere prestatiedaling bij borstkanker (gemiddeld 83,3%, daling van 7,2 procentpunt). Vooral T-stadium daalde sterk naar 70,6% met een kappa van slechts 0,076 (bijna willekeurig).

3. Verwerkingstijd en Foutpatronen:

• Snelheid: Beide systemen waren operationeel snel (gemiddeld 0,9s tot 4,6s per rapport).
• Fouttype:
  • Brim neigde naar conservatieve fouten (vals-negatief: onderschatten van tumoruitbreiding), wat klinisch vaak veiliger is.
  • DeepPhe vertoonde een sterke vals-positieve bias (overschatten van tumoruitbreiding), vooral bij T-stadium.
• Invloed rapportformaat: Brim presteerde consistent goed in zowel vrij tekst als synoptische rapporten. DeepPhe presteerde aanzienlijk slechter op vrij tekst-rapporten (21,4% fouten) vergeleken met synoptische rapporten (3,3% fouten).

Belangrijkste Bijdragen

1. Vergelijking van Architecturen: De studie biedt een zeldzame, realistische vergelijking tussen een moderne, regelgestuurde LLM-benadering en een gevestigde, ontologie-gedreven NLP-pijplijn onder deployment-omstandigheden.
2. Validatie onder Realistische Omstandigheden: In plaats van gezuiverde datasets, werden heterogene rapporten gebruikt die variëren in structuur, terminologie en tijdspanne, wat de bruikbaarheid voor echte implementatie beter weerspiegelt.
3. Cross-Disease Generalisatie: Het bewijs dat een op LLM gebaseerd systeem, geoptimaliseerd voor één ziekte (pancreas), zonder aanpassingen hoge nauwkeurigheid behoudt voor een andere ziekte (borstkanker), terwijl ontologie-gedreven systemen hier meer moeite mee hebben.
4. Formaat-afhankelijkheid: De studie kwantificeert de impact van rapportformaat (vrij tekst vs. synoptisch) op NLP-prestaties, waarbij wordt aangetoond dat ontologie-gedreven systemen sterk afhankelijk zijn van gestructureerde input.

Betekenis en Conclusie

De studie concludeert dat LLM-gebaseerde extractie (Brim Analytics) een hoogwaardige, robuuste oplossing biedt voor het automatiseren van kankerregistratie, zelfs bij complexe, ongestructureerde rapporten en over verschillende ziektebeelden heen. De transparantie van de regels en de mogelijkheid tot snelle aanpassing zonder hertraining maken het ideaal voor operationele implementatie.

Hoewel ontologie-gedreven systemen (DeepPhe) goed presteren bij gestructureerde data en specifieke variabelen (zoals N-stadium), blijken ze minder flexibel en meer gevoelig voor variaties in documentatiestijl en ziekte-specifieke terminologie.

De auteurs bepleiten een "human-in-the-loop" model, waarbij geautomatiseerde systemen dienen als een eerste laag voor het voorvullen van registerdata, waardoor gecertificeerde registratoren zich kunnen focussen op complexe gevallen en discrepanties. Voor een brede implementatie in nationale kankerregistraties is echter verdere validatie op meerdere instellingen en in prospectieve workflows noodzakelijk.