In de wereld van de moderne geneeskunde is het meest cruciale instrument van een patholoog een glazen objectglas met een minuscuul monster van menselijk weefsel, vergroot totdat het de cellulaire architectuur van het leven en ziekte onthult. Vandaag de dag worden deze dia's gescand naar enorme digitale afbeeldingen, zo groot dat ze miljarden pixels bevatten, veel te groot voor het menselijk oog om in één oogopslag te bekijken. Om artsen te helpen navigeren door deze digitale landschappen, hebben wetenschappers kunstmatige intelligentiesystemen ontwikkeld die fungeren als onvermoeibare assistenten. Deze systemen breken de gigantische afbeelding op in duizenden kleine, hanteerbare stukjes, analyseren de textuur en vorm van cellen in elk stukje, en proberen vervolgens een globale diagnose samen te stellen. De uitdaging ligt in de enorme schaal en de ruis; een enkele dia kan miljoenen cellen bevatten, maar slechts enkele verspreide clusters bevatten de sleutel tot een diagnose, terwijl de rest gezond weefsel of irrelevante achtergrond is. Als de computer wordt afgeleid door de enorme hoeveelheid onbelangrijke informatie, kan het de cruciale aanwijzingen die in de hoeken verborgen liggen, missen.

Onderzoekers hebben zich onlangs tot een nieuw type architectuur voor kunstmatige intelligentie gewend, geïnspireerd door hoe het menselijk brein sequenties van informatie over tijd verwerkt, om deze enorme digitale dia's te verwerken. Deze technologie is uitstekend in het onthouden van wat het eerder in een lange sequentie heeft gezien en in het beslissen wat het in het geheugen moet houden terwijl het verder beweegt. Echter, een team van wetenschappers uit Hong Kong en Chongqing ontdekte een gebrek in de manier waarop deze systemen werden gebruikt. Ze ontdekten dat wanneer deze AI-modellen een dia scanden, ze volledig vertrouwden op hoe de pixels eruitzagen. Als een dia met een iets andere kleur kleurstof werd gekleurd — een veelvoorkomende variatie in laboratoria — kon het model in de war raken, waarbij het een onschuldige kleurverschuiving behandelde als een belangrijke medische aanwijzing. Dit veroorzaakte dat het systeem irrelevante details in zijn geheugen cumuleerde, waardoor het cruciale bewijs dat nodig is voor een diagnose werd verdund. Om dit op te lossen, introduceerden de onderzoekers een nieuwe methode die daadwerkelijke medische kennis direct in het geheugenproces van de AI injecteert, waardoor het systeem wordt geleerd de ruis te negeren en zich te concentreren op wat er echt toe doet.

Het team, onder leiding van onderzoekers van de Hong Kong University of Science and Technology en Chongqing University, ontwikkelde een systeem dat ze KHiM-Mamba noemen. In plaats van de AI zelf te laten beslissen wat hij moet onthouden terwijl hij een dia scant, gaven ze het een gids geschreven in de taal van de pathologie. Deze gids bevat specifieke beschrijvingen van hoe verschillende soorten weefsels eruitzien wanneer ze gezond of ziek zijn. Terwijl de AI van het ene kleine stukje van de dia naar het volgende beweegt, raadpleegt hij deze gids om te beslissen welke informatie het waard is om in het geheugen op te slaan en wat weggegooid moet worden. Stel je een bibliothecaris voor die, terwijl hij een enorme stapel boeken sorteert, een specifieke lijst met titels krijgt om te bewaren en een lijst met titels om te negeren; de bibliothecaris hoeft niet langer te raden welke boeken belangrijk zijn. In dit geval is de "bibliothecaris" de AI, de "boeken" zijn de kleine beeldfragmenten, en de "lijst" is de medische kennis die door een groot taalmodel wordt geleverd.

De onderzoekers vonden dat eerdere pogingen om taal te gebruiken om AI te helpen bij het diagnosticeren van dia's vaak te indirect waren. Die methoden gebruikten taal om te kiezen welke dia's er bekeken moesten worden vóór de analyse begon, of om het uiteindelijke antwoord achteraf te controleren. De nieuwe aanpak is anders omdat het het kernmechanisme verandert van hoe de AI denkt. Het wijzigt de interne "schrijf"- en "lees"-processen van het geheugensysteem. Wanneer de AI een nieuwe herinnering schrijft, vertelt de medische kennis hem om zich te concenteren op specifieke vormen en patronen die geassocieerd worden met ziekte, in plaats van alleen op de kleuren of texturen die misleidend kunnen zijn. Wanneer de AI uit zijn geheugen leest om een beslissing te nemen, begeleidt de kennis hem om het meest relevante bewijs te onttrekken dat tot nu toe is verzameld. Dit zorgt ervoor dat het systeem een representatie van de dia opbouwt op basis van medisch betekenisvolle verbindingen, in plaats dat het wordt afgeleid door irrelevante visuele variaties.

Om dit werkend te krijgen, creëerde het team een slim systeem dat de juiste medische beschrijvingen genereert voor elk specifiek deel van de dia. Aangezien een enkele dia veel verschillende soorten weefsel bevat, is een generieke beschrijving niet voldoende. Het systeem gebruikt een krachtig taalmodel om naar een klein fragment weefsel te kijken, te identificeren wat voor soort weefsel het is, en vervolgens een precieze, gedetailleerde beschrijving te genereren van hoe dat weefsel eruit zou moeten zien als het gezond of ziek is. Als het systeem onzeker is over het type weefsel, valt het terug op een bredere, veiligere beschrijving om fouten te voorkomen. Dit dynamische proces zorgt ervoor dat de AI voor elk onderdeel van de puzzel die hij oplost, de meest nauwkeurige en specifieke begeleiding ontvangt.

De resultaten van deze aanpak werden getest over elf verschillende publieke datasets die verband houden met diverse soorten kanker en patiëntuitkomsten. Het nieuwe systeem presteerde consequent beter dan de beste bestaande methoden. In taken waarbij de AI onderscheid moest maken tussen verschillende subtypes borstkanker, bereikte het een hogere nauwkeurigheid dan elk vorig model. Bij het voorspellen van overlevingstijden van patiënten op basis van weefselmonsters, bood het betrouwbaardere risicobeoordelingen en maakte het een beter onderscheid tussen patiënten met een hoog en laag risico. Misschien wel het belangrijkste is dat het systeem robuust bleek bij tests op dia's van verschillende ziekenhuizen die verschillende technieken voor kleuring gebruikten. Terwijl andere modellen moeite hadden met deze variaties en vaak faalden wanneer de kleuren licht veranderden, behield het nieuwe systeem zijn hoge prestaties. Dit suggereert dat door de AI te funderen in medische kennis in plaats van alleen in visuele patronen, het systeem leerde de ziekte zelf te zien, en niet alleen het uiterlijk van de dia.

De studie onderzocht ook hoe goed het systeem werkt wanneer het zeer weinig gegevens heeft om van te leren, een veelvoorkomend probleem in de geneeskunde waar gelabelde voorbeelden schaars zijn. In tests waarbij de AI slechts acht of zestien voorbeelden van een ziekte te zien kreeg om van te leren, presteerde de nieuwe methode aanzienlijk beter dan zijn concurrenten. Dit geeft aan dat de medische kennis die in het systeem is geïnjecteerd fungeert als een sterk fundament, waardoor het zelfs met minimale trainingsgegevens effectief kan leren. De onderzoekers bevestigden ook dat het toevoegen van deze laag van kennis het systeem niet vertraagde of te groot maakte om op standaard computerhardware te draaien. Het systeem bleef snel en efficiënt, in staat om duizenden beeldfragmenten binnen enkele seconden te verwerken.

Door opnieuw na te denken over hoe kunstmatige intelligentie medische afbeeldingen verwerkt, laat dit werk zien dat het combineren van visuele gegevens met expliciete medische kennis een betrouwbaarder en nauwkeuriger diagnostisch instrument creëert. De onderzoekers toonden aan dat de sleutel tot het oplossen van het probleem van enorme, ruizige data niet alleen is het bouwen van grotere computers, maar het leren aan de computer waar hij naar moet kijken. Deze aanpak biedt een nieuwe weg vooruit voor de computationele pathologie, waarbij het doel is om artsen te assisteren door het irrelevante te filteren en het cruciale te benadrukken, zodat de uiteindelijke diagnose gebaseerd is op het sterkst mogelijke bewijs.