Development and Open-Source Release of a Multi-Cancer Module for Structuring Pathology Reports

Stel je voor dat je een detective bent die een enorme mysteries probeert op te lossen, maar in plaats van aanwijzingen te vinden in een netjes archiefkast, moet je graven door miljoenen handgeschreven notities, slordige krabbels en chaotische dagboeken. Dit is de dagelijkse realiteit voor onderzoekers die kanker bestuderen. Decennialang waren de meest cruciale aanwijzingen over tumoren—hun type, grootte en stadium—opgesloten in "pathologierapporten". Dit zijn de gedetailleerde samenvattingen die artsen schrijven na het onderzoeken van weefselmonsters onder een microscoop. Het probleem? Deze rapporten zijn vaak geschreven in vrij lopende zinnen of semi-gestructureerde formaten, zoals een dagboeknotitie in plaats van een spreadsheet. Ho'ewel een menselijke arts ze gemakkelijk kan lezen, hebben computers moeite om ze te begrijpen. Het is alsof je een robot probeert te leren appels te tellen wanneer de appels verborgen zitten in paragrafen tekst. Om dit op te lossen, gebruiken wetenschappers een tak van kunstmatige intelligentie genaamd Natural Language Processing (NLP). Denk aan NLP als een superintelligente vertaler die menselijke taal kan lezen en deze kan omzetten in georganiseerde gegevens die computers kunnen verwerken. Als we deze rapporten kunnen ontsluiten, kunnen we kankertrends op een enorme schaal analyseren, wat potentieel levens kan redden door patronen te ontdekken die geen enkele individuele arts alleen zou kunnen zien.

Kom dan in aanleg bij het team van het Nationaal Kankercentrum in Korea. Zij besloten een "universele vertaler" te bouwen, specifiek voor kankerrapporten, maar met een twist: ze wilden er een instrument van maken dat iedereen kon gebruiken, niet alleen voor hun eigen laboratorium. Ze creëerden een digitale robothersenen gebaseerd op een technologie genaamd ClinicalBERT. Je kunt je ClinicalBERT voorstellen als een student die miljoenen medische tekstboeken heeft gelezen en nu een expert is in het begrijpen van de specifieke taal die artsen gebruiken wanneer ze over tumoren praten. Het team trainde deze student om pathologierapporten te lezen voor vijf verschillende soorten kanker: nier-, schildklier-, lever-, borst- en darmkanker. Hun doel was om de robot te leren om specifieke antwoorden te vinden op vragen zoals "Welk orgaan is dit?" of "Welke operatie is uitgevoerd?" en die informatie uit de rommelige tekst te halen om er een schone, georganiseerde lijst van te maken.

De resultaten waren een mix van "wow" en "whoa". Wanneer de robot werd getest op de rapporten van het ziekenhuis waar hij op getraind was (het Nationaal Kankercentrum), was hij absoluut ongelooflijk. Hij kreeg de antwoorden bijna altijd goed, met een successcore (een F1-score genoemd) variërend van 0,945 tot 0,977. Om dit in perspectief te plaatsen: als je hem 100 vragen zou stellen, zou hij er bijna 95 tot 98 correct beantwoorden. Het was alsof een sterfstudent elke test in zijn eigen klaslokaal met vlag en wimpel slaagde.

Echter, de echte test kwam toen ze de robot naar twee verschillende ziekenhuizen stuurden (Ilsan Hospital en Boramae Medical Center) zonder hem nieuwe training te geven. Dit is alsof je die sterfstudent naar een compleet andere school stuurt waar de leraren hun aantekeningen in een iets andere stijl schrijven, andere straattaal gebruiken en hun papieren anders formatteren. Zoals de auteurs al vermoedden, struikelde de robot. De prestaties daalden aanzienlijk. Voor borstkanker daalde de score van een bijna perfecte 0,945 naar 0,777 in het ene ziekenhuis en zelfs verder naar 0,427 in het andere. Vergelijkbare dalingen vonden plaats voor lever-, nier- en schildklierkanker. Het artikel suggereert dat deze dalingen voorkamen omdat de manier waarop artsen hun rapporten schrijven per locatie varieert—andere zinsstructuren, verschillende manieren om "geen kanker gevonden" te zeggen, of gewoon verschillende gewoonten.

Ondanks de struikelpartij faalde de robot niet volledig. Hij slaagde er bijna altijd in om de "grote lijnen" van de vragen goed te beantwoorden. Hij kon bijna altijd identificeren welk orgaan betrokken was en welke operatie werd uitgevoerd, zelfs in de nieuwe ziekenhuizen. Maar hij raakte in de war door specifiekere details, zoals de exacte locatie van een tumor binnen een orgaan, wat blijkbaar sterk afhing van hoe dat specifieke ziekenhuis de voorkeur gaf aan bepaalde schrijfwijzen.

Het meest opwindende deel van dit artikel zijn niet alleen de cijfers; het is wat het team ermee heeft gedaan. In plaats van hun robotbrein geheim te houden, hebben ze de deur wijd opengezet en iedereen binnengelaten. Ze hebben de code, de getrainde modellen en de instructies gratis op internet gepubliceerd. Ze zeggen in feite: "Hier is ons instrument. Het werkt geweldig in ons huis, en het werkt redelijk in andere huizen, maar je moet het misschien een beetje aanpassen om het bij jouw eigen stijl te laten passen." Dit is een enorme stap voorwaarts omdat het andere onderzoekers in staat stelt om deze technologie onmiddellijk te gebruiken, in plaats van zelf vanaf nul robots te moeten bouwen. De auteurs merken er voorzichtig bij op dat hoewel dit een krachtig fundament is, het geen toverstaf is die overal perfect werkt uit de doos. Ze suggereren dat voor een optimale werking in verschillende ziekenhuizen, lokale teams een beetje "kalibratie" of verfijning moeten doen om aan te sluiten bij hun specifieke schrijfstijl.

Kortom, dit artikel is een grote sprong voorwaarts naar het sneller en meer samenwerkend maken van kankeronderzoek. Het bewijst dat we rommelige, handgeschreven medische aantekeningen kunnen omzetten in schone, bruikbare gegevens met behsulp van AI, maar het geeft ook eerlijk toe dat elk ziekenhuis een iets andere taal spreekt. Door hun werk openlijk te delen, heeft het team de sleutels aan de rest van de wetenschappelijke gemeenschap overhandigd, waarbij ze iedereen uitnodigen om te helpen het instrument te verfijnen, zodat we op een dag misschien een universele vertaler hebben die perfect werkt voor elke arts, overal.