A Specialized Large Multimodal Model for Interpreting PET/CT in Head and Neck Cancer

In de stille, risicovolle wereld van de nucleaire geneeskunde vertrouwen artsen op een krachtig hulpmiddel genaamd PET/CT om in het menselijk lichaam te kijken. Deze technologie combineert twee verschillende soorten scans in één enkel beeld: één die de anatomie van het lichaam in kaart brengt als een gedetailleerde landkaart, en een andere die onthult hoe cellen werken door een speciale suiker te volgen die oplicht waar energie wordt verbruikt. Wanneer kankercellen groeien, eten ze deze suiker gulzig op, wat zich vertaalt in heldere plekken op de scan. Voor kankers in het hoofd en hals is dit een cruciale diagnostische inkijk. Het gebied is een complexe wirwar van spieren, zenuwen en klieren, wat het moeilijk maakt om precies te bepalen waar een tumor begint of of deze is uitgezaaid naar nabijgelegen lymfeklieren. Het interpreteren van deze beelden vereist jarenlange gespecialiseerde training, toch is er een wereldwijd tekort aan experts die ze kunnen lezen. Deze kloof heeft geleid tot een dringende behoefte aan computersystemen die artsen kunnen helpen snellere, nauwkeurigere beslissingen te nemen zonder de menselijke expert te vervangen.

Onlangs is er een nieuw type kunstmatige intelligentie bekend geworden, een zogenaamd groot multimodaal model. Dit zijn systemen die zowel afbeeldingen als tekst kunnen begrijpen, vergelijkbaar met een persoon die naar een foto kan kijken en kan beschrijven wat hij ziet in een zin. Hoewel algemene versies van deze modellen bestaan, worstelen ze vaak met de specifieke, risicovolle taal van de geneeskunde en weigeren ze soms medische vragen te beantwoorden vanwege veiligheidsfilters. Om deze kloof te overbruggen, heeft een team onderzoekers van de Seoul National University en haar aangesloten ziekenhuizen zich gericht op het bouwen van een gespecialiseerde versie van deze technologie, specifiek getraind om PET/CT-scans van hoofd- en halskanker te lezen. Hun doel was niet om een algemene chatbot te creëren, maar om een gerichte diagnostische assistent te bouwen die de nuances van deze complexe beelden kan leren begrijpen via een gestructureerd, stapsgewijs leerproces.

De onderzoekers begonnen met het verzamelen van een enorme collectie gegevens uit meerdere medische centra, waaronder instellingen in Canada en Duitsland. Ze stelden duizenden paren afbeeldingen en door experts geschreven beschrijvingen samen. Twee specialisten in de nucleaire geneeskunde bekeken deze beelden zorgvuldig en noteerden exact wat er aanwezig was: het type scan, de kijkhoek, of er een tumor zichtbaar was en de precieze locatie van eventuele gezwollen lymfeklieren. Deze gecureerde dataset werd het handboek voor hun nieuwe model. In plaats van de kunstmatige intelligentie alles in één keer te leren, ontwierp het team een curriculum met twee niveaus. In het eerste niveau leerde het model de basis, zoals het identificeren van het type scan en het opsporen van eenvoudige afwijkingen. Zodra het deze fundamenten onder de knie had, ging het naar het tweede, meer geavanceerde niveau, waar het werd uitgedaagd om specifieke diagnostische vragen te beantwoorden over de aanwezigheid van primaire tumoren en de exacte locatie van metastatische lymfeklieren.

Om ervoor te zorgen dat het model leerde te denken als een arts in plaats van alleen antwoorden te memoriseren, gebruikten de onderzoekers een specifieijke trainingsmethode die het systeem dwong om zijn eigen volgende woorden te voorspellen op basis van alles wat het al had gezegd. Deze aanpak bootst de manier na waarop een menselijke radioloog een rapport opstelt, zin voor zin, in plaats van simpelweg een vooraf geschreven antwoord te kopiëren. Het model werd getest tegen gegevens die het nog nooit eerder had gezien, afkomstig van vier onafhankelijke ziekenhuizen met verschillende soorten scanningsapparatuur. De resultaten waren opmerkelijk. Wanneer het model werd gevraagd om de scans te interpreteren, presteerde het gespecialiseerde model aanzienlijk beter dan de beste algemene AI-systemen die beschikbaar zijn, inclusief breed bekende commerciële chatbots. Waar de algemene modellen vaak faalden om een nuttig antwoord te geven of simpelweg weigerden in te gaan op de medische beelden, slaagde het gespecialiseerde model erin de aanwezigheid van tumoren te identificeren en de locatie van lymfekliermetastasen met hoge nauwkeurigheid te bepalen.

De studie mat succes aan de hand van verschillende standaardmetrieken die het geschreven rapport van de computer vergelijken met de oorspronkelijke aantekeningen van de expert. In de moeilijkste tests waarbij het identificeren van specifieke lymfeklierstations betrokken was, behaalde het gespecialiseerde model scores die veel superieur waren aan de algemene modellen, die bijna op nul scoorden. Bijvoorbeeld, bij het identificeren of er een primaire tumor aanwezig was, was het model in 69 procent van de gevallen correct bij externe tests, een cijfer dat, hoewel niet perfect, een enorme sprong voorwaarts vertegenwoordigde vergeleken met de algemene alternatieven. Het model toonde ook een opmerkelijk vermogen om consistent te blijven over verschillende typen scanners en patiëntenpopulaties, wat suggereert dat het de onderliggende patronen van de ziekte heeft geleerd in plaats van slechts specifieke beelden te hebben gememoriseerd.

Ondanks deze successen benadrukken de onderzoekers voorzichtig dat het systeem nog niet klaar is om een menselijke arts te vervangen. Het model maakt nog steeds fouten, vooral bij het onderscheiden tussen de linker- en rechterkant van het lichaam in bepaalde aanzichten, en het worstelt soms met de specifieke afkortingen die artsen in hun dagelijkse aantekeningen gebruiken. Het trainingsproces was ook rekenintensief en tijdrovend. Het onderzoek bewijst echter dat het mogelijk is om een gespecialiseerde kunstmatige intelligentie te bouwen die de complexe taal van de nucleaire geneeskunde begrijpt. Door zich te concentreren op een specifieke medische taak en te trainen op hoogwaardige, door experts geverifieerde gegevens, heeft het team laten zien dat deze instrumenten verder kunnen gaan dan eenvoudige beeldherkenning om echte diagnostische ondersteuning te bieden. Dit werk suggereert een toekomst waarin dergelijke gespecialiseerde modellen een betrouwbaar tweede paar ogen kunnen zijn, die helpen de druk op overbelaste medische teams te verlichten en ervoor zorgen dat patiënten een tijdige, nauwkeurige diagnose krijgen voor hoofd- en halskanker.