Evaluating Vision Transformers for Stain Robustness and Calibration in Low-Resource Digital Pathology

In de wereld van de moderne geneeskunde begint de diagnose van kanker vaak met een patholoog die naar een dunne doorsnede van weefsel kijkt onder een microscoop. Deze coupes, gekleurd met paarse en roze kleurstoffen om celstructuren te benadrukken, worden tegenwoordig vaak gescand in computers, waardoor enorme digitale bibliotheken van afbeeldingen ontstaan. Jarenlang hebben wetenschappers computers geleerd deze afbeeldingen te lezen, in de hoop tekenen van ziekte te ontdekken die het menselijk oog zou kunnen missen. De meest succesvolle computerprogramma's tot nu toe zijn gebouwd op een ontwerp genaamd een convolutioneel neuraal netwerk, een type kunstmatige intelligentie dat de manier nabootst waarop het brein visuele patronen verwerkt. Deze programma's hebben echter een bekende zwakte: ze raken gemakkelijk in de war door veranderingen in de wijze waarop het weefsel is voorbereid. Als een ander laboratorium een iets andere tint kleurstof gebruikt, of als een andere microscoopscanner de afbeelding vastlegt, kan het zelfvertrouwen van de computer instorten, zelfs als de afbeelding er perfect uitziet voor een mens. Bovendien, wanneer deze programma's een voorspelling doen, kunnen ze een arts vaak niet vertellen hoe zeker ze zijn, waarbij ze soms zelfverzekerd lijken te klinken terwijl ze eigenlijk aan het gokken zijn. Deze kloof tussen hoge nauwkeurigheid in een gecontroleerd laboratorium en betrouwbaarheid in de rommelige realiteit van verschillende ziekenhuizen, heeft veel van deze instrumenten ervan weerhouden breed te worden toegepast in de patiëntenzorg.

Een team van onderzoekers zette zich af om te testen of een nieuwere, andere soort architectuur voor kunstmatige intelligentie, bekend als een Vision Transformer, deze specifieke problemen zou kunnen oplossen zonder dat daar enorme hoeveelheden rekenkracht of gespecialiseerde medische data voor nodig zijn. Ze werkten binnen strikte grenzen, gebruikmakend van een bescheiden hoeveelheid data en één enkele grafische kaart, om de middelen te simuleren die beschikbaar zijn voor de meeste ziekenhuizen en onderzoeksgroepen die zich geen miljarden dollars kostende supercomputers kunnen veroorloven. Ze trainden vijf verschillende computermodellen op een standaard set weefselafbeeldingen, en onderwierpen deze vervolgens aan een reeks uitdagingen die ontworpen waren om de variaties in de echte wereld na te bootsen. De onderzoekers vroegen niet alleen welke modellen het meest accuraat waren; ze vroegen welk model standhield wanneer de kleuren van de afbeeldingen werden verschoven, en welk model eerlijke antwoorden gaf over de eigen zekerheid.

De resultaten toonden een duidelijke verschuiving in hoe deze systemen zich onder druk gedragen. Hoewel alle vijf de modellen vergelijkbaar goed presteerden bij het testen op exact hetzelfde type afbeeldingen waarop ze getraind waren, viel de Vision Transformer op wanneer de omstandigheden veranderden. Wanneer de onderzoekers de kleuren van de testafbeeldingen kunstmatig aanpasten om het effect van verschillende kleurstoffen te simuleren, verloren de traditionele modellen een aanzienlijk deel van hun vermogen om onderscheid te maken tussen gezond en ziek weefsel. Hun nauwkeurigheid daalde met bijna tien procent. In contrast hiermee hield de Vision Transformer stand en verloor slechts een fractie van zijn prestaties. Het bewees veel robuuster te zijn tegen de visuele ruis die de realiteit van medische beeldvorming teistert.

Naast het behouden van nauwkeurigheid, bleek de Vision Transformer ook betrouwbaarder in zijn eigen zelfvertrouwen. In de medische diagnose is een vals alarm gevaarlijk, maar een gemiste diagnose is erger. De onderzoekers ontdekten dat de traditionele modellen vaak beweerden zeer zeker te zijn over hun antwoorden, zelfs wanneer ze het mis hadden, een gebrek dat bekend staat als slechte kalibratie. De Vision Transformer leverde echter waarschijnlijkheidsscores die de werkelijkheid veel nauwer benaderden. Wanneer het zei dat het negentig procent zeker was, was het ook ongeveer negentig procent van de tijd juist. Deze afstemming tussen de geuite zekerheid en de feitelijke waarheid is cruciaal voor artsen die moeten beslissen of ze een suggestie van een computer moeten vertrouwen of een tweede mening moeten aanvragen.

De studie onderzocht ook hoe deze modellen om zouden gaan met volledig andere soorten weefsel of diagnostische taken, een test die bekend staat als zero-shot transfer. Hier waren de resultaten complexer. Wanneer de modellen werden getoond aan afbeeldingen van een ander ziekenhuis of een ander type kanker, faalden sommige traditionele modellen volledig en stortten ze in een staat waarbij ze elke afbeelding als ziek bestempelden, ongeacht wat er daadwerkelijk aanwezig was. De Vision Transformer stortte niet op dezelfde manier in; het degradeerde meer geleidelijk en bood nog steeds een bepaald niveau van discriminatie, zelfs wanneer de taak veranderde. De onderzoekers merkten echter op dat wanneer de modellen werden getest op een vergelijkbare taak van een ander ziekenhuis, alle vijf de modellen even goed presteerden, wat suggereert dat de voordelen van de Vision Transformer het meest kritiek zijn bij het omgaan met kleurvariaties en verschillende diagnostische vragen, in plaats van simpelweg naar een nieuwe locatie te verhuizen.

De onderzoekers merkten zorgvuldig op dat deze Vision Transformer geen wondermiddel was dat alles in elke categorie overtrof. Het vereiste meer rekenkracht om te draaien en deed er langer over om getraind te worden dan de kleinere traditionele modellen. Het was ook niet even nauwkeurig als de enorme modellen met miljarden parameters die getraind worden op miljoenen medische afbeeldingen door kapitaalkrachtige onderzoeksgiganten. In plaats daarvan presenteert de studie een praktische afweging. Voor een ziekenhuis of onderzoeksgroep die werkt met beperkte middelen, biedt de Vision Transformer een betere balans tussen stabiliteit en eerlijkheid. Het is een model dat minder snel wordt ontregeld door een licht afwijkend kleurproces en eerder een arts zal vertellen wanneer het onzeker is.

Om ervoor te zorgen dat deze bevindingen bruikbaar waren voor de praktijk, bouwde het team een volledig kader rond het model. Ze creëerden een systeem dat kon uitleggen waarom de computer een beslissing nam door de specifieke delen van de afbeelding te benadrukken die tot een diagnose leidden, en ze testten een methode om de beeldgegevens te combineren met patiëntinformatie zoals leeftijd en weefseltype. Ze bereidden zelfs een manier voor om deze resultaten te exporteren naar de standaard digitale formaten die worden gebruikt in ziekenhuisregistratiesystemen. De studie concludeert dat hoewel de race om de hoogst mogelijke nauwkeurigheid vaak gericht is op het bouwen van steeds grotere modellen, de weg naar betrouwbaar klinisch gebruik kan liggen in het kiezen van architecturen die robuust en goed gekalibreerd zijn. Door te bewijzen dat een met een bescheiden budget getrainde Vision Transformer bestand is tegen de kleurverschuivingen en onzekerheden van de echte pathologie, biedt de studie een levensvatbaar, inzetbaar pad voor het brengen van kunstmatige intelligentie in de dagelijkse workflow van medische diagnose.