Do Pathology Foundation Models Learn Biology? Uncertainty-Based Evaluation on AML Cytomorphology
Deze studie toont aan dat hoewel algemene visiemodellen de pathologiespecifieke foundation-modellen kunnen overtreffen op standaard clustering-metrieken, het vermogen van de laatste om biologisch betekenisvolle structuren te vangen beter wordt onthuld door stabiele onzekerheidspatronen die onderscheid maken tussen celrijpheidsstadia in acute myeloïde leukemie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de wereld van de geneeskunde is de microscoop al lang het primaire instrument voor het begrijpen van de onzichtbare machinerie van het menselijk lichaam. Wanneer een arts een bloedziekte vermoedt, kijkt hij naar een preparaat van cellen, op zoek naar subtiele verschillen in vorm, kleur en textuur die onthullen of een cel gezond of ziek is. Deze taak is veeleisend en foutgevoelig; zelfs experts kunnen van mening verschillen over wat ze zien, en het proces is traag. Om te helpen, hebben wetenschappers zich tot kunstmatige intelligentie gewend door computers te leren deze patronen te herkennen. Onlangs is er een nieuwe generatie krachtige computerprogramma's opgekomen, bekend als foundationmodellen. Dit zijn als enorme bibliotheken van visuele kennis, getraind op miljoenen afbeeldingen om de wereld te begrijpen. Sommige zijn getraind op algemene foto's van de natuur, terwijl andere specifiet zijn getraind op medische preparaten. De grote vraag voor artsen en onderzoekers is of deze algemene programma's, die ongelooflijk slim zijn over de wereld in het algemeen, de specifieke, complexe biologie van menselijke cellen werkelijk kunnen begrijpen, of dat ze getraind moeten worden op medische afbeeldingen om dat te kunnen doen.
Een team van onderzoekers zette zich schrap om dit te beantwoorden door drie verschillende computermodellen te testen op een specifiek type bloedkanker genaamd acute myeloïde leukemie. Deze ziekte treedt op wanneer bloedcellen niet goed rijpen en blijven steken in een onrijpe staat. De onderzoekers gebruikten een dataset met bijna 17.500 afbeeldingen van individuele cellen, die al door experts waren gesorteerd in vijftien verschillende categorieën op basis van hun biologische ontwikkeling. Het doel was om te zien of de computermodellen deze cellen correct bij elkaar konden groeperen zonder vooraf de antwoorden te krijgen. Ze testten een standaardmodel getraind op algemene afbeeldingen, een groot model getraind op algemene afbeeldingen maar met een geavanceerdere leermethode, en een gespecialiseerd model dat getraind is op miljoenen medische pathologische preparaten.
De resultaten onthulden een verrassende wending. Toen de onderzoekers keken naar hoe netjes de computergroepen werden gevormd, presteerde het algemene model getraind op natuurlijke foto's het best. Het creëerde strakke, goed gescheiden clusters die er op papier perfect uitzagen. Echter, toen de onderzoekers controleerden of deze groepen daadwerkelijk overeenkwamen met de echte biologische typen cellen, faalde ditzelfde model volledig. Het groepeerde cellen die aan de oppervlakte op elkaar leken, maar tot volkomen verschillende families in het lichaam behoorden. In contrast hiermee produceerde het specifiek op medische preparaten getrainde model groepen die rommeliger en minder geometrisch perfect waren, maar deze groepen kwamen veel beter overeen met de werkelijke biologie van de ziekte. Het gespecialiseerde model begreep de subtiele verschillen die er toe doen voor een arts, terwijl het algemene model werd misleid door oppervlakkige gelijkenissen.
Om tot de kern te komen van waarom dit gebeurde, ontwikkelden de onderzoekers een nieuwe manier om de modellen te testen: ze maten hoe onzeker de computer was over elke cel. In de biologie zijn sommige cellen duidelijk gedefinieerd en stabiel, terwijl andere cellen in een transitietoestand verkeren, veranderend van de ene fase naar de andere. Deze overgangscellen zijn van nature ambigu. De onderzoekers ontdekten dat het medisch getrainde model een hoge onzekerheid vertoonde op precies de plekken waar dat hoorde te zijn: bij het bekijken van deze overgangscellen, die in verandering zijn. Het herkende dat deze cellen moeilijk vast te pinnen waren. Het algemene model vertoonde echter geen dergelijk patroon; het was even zelfverzekerd over alles, waardoor het de biologische complexiteit niet aanvoelde. Deze onzekerheid bleek een betrouwbaarder teken van echt begrip te zijn dan de netheid van de groepen.
De studie benadrukte ook een cruciale les voor hoe we deze hulpmiddelen evalueren. Als een onderzoeker alleen kijkt naar standaardscores die meten hoe ordelijk de groepen zijn, zou hij het verkeerde model kiezen voor de klus. Het model dat er het beste uitziet op een standaardtest, is eigenlijk het slechtst in het begrijpen van de biologie. Bovendien ontdekten de onderzoekers dat de prestaties van het medische model konden variëren afhankelijk van hoe het experiment werd gestart, maar dat het vermogen om onzekerheid te voelen stabiel en betrouwbaar bleef. Dit suggereert dat kijken naar hoe een model reageert op ambiguïteit een betere manier is om de intelligentie te beoordelen dan simpelweg te controleren of het dingen in nette stapels sorteert. Uiteindelijk laat het onderzoek zien dat het trainen van een computer op miljoens medische afbeeldingen een duidelijk spoor achterlaat in hoe het de wereld ziet, waardoor het de biologische realiteit van ziekte kan vatten op een manier die algemene kennis alleen niet kan bereiken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.