Which Attention Helps? A Slide-Level Ablation of Attention-Augmented CNNs for Serous Ovarian Carcinoma Grading

In de wereld van de kankerdiagnostiek is het oog van een patholoog de uiteindelijke rechter. Wanneer een weefselmonster van een patiënt wordt verwijderd, wordt het gekleurd met kleurstoffen, onder een microscoop geplaatst en onderzocht op aanwijzingen over hoe agressief de ziekte zou kunnen zijn. Voor eierstokkanker is dit onderscheid cruciaal. Er zijn twee hoofdtypen van een specifiek soort tumor genaamd sereus carcinoom: één die langzaam groeit en goed reageert op bepaalde behandelingen, en een andere die zich snel verspreidt en een veel agressievere aanpak vereist. Hoewel ze onder de microscoop opmerkelijk veel op elkaar lijken en dezelfde algemene vorm en structuur delen, is het verschil in hun gedrag een kwestie van leven of dood. De uitdaging voor artsen is dat het onderscheid maken tussen deze twee zelfs voor menselijke experts moeilijk is, en de inzet bij het maken van een fout is extreem hoog.

In de afgelopen jaren hebben wetenschappers zich tot kunstmatige intelligentie gewend om bij deze taak te helpen. Computers kunnen duizenden kleine afbeeldingen van een enkele slide scannen, op zoek naar patronen die het menselijk oog misschien mist. Veel vroege rapporten beweerden echter dat deze computerprogramma's bijna perfect waren en nauwkeurigheidspercentages behaalden die bijna te mooi waren om waar te zijn. Een nieuwe studie suggereert dat deze hoge cijfers mogelijk een illusie waren, veroorzaakt door een fout in de manier waarop de tests werden uitgevoerd. De onderzoekers achter dit werk wilden ontdekken of de computers daadwerkelijk leerden de ziekte te herkennen, of dat ze simpelweg de specifieke manier waarop de weefselmonsters op de dag van het scannen eruit zagen, aan het memoriseren waren. Door een strenger testsysteem te bouaken, wilden ze zien wat deze tools echt konden doen wanneer ze worden geconfronteerd met de rommelige realiteit van medische diagnostiek.

De onderzoekers richtten zich op een collectie van 259 whole-slide images van patiënten met eierstokkanker. Ze vernauwden hun focus tot de twee moeilijk te onderscheiden typen: de agressieve hooggradige versie en de langzamer groeiende laaggradige versie. In totaal waren er 217 gevallen van het agressieve type en slechts 42 van het tragere type, een schaarste die de taak statistisch moeilijk maakt. Om ervoor te zorgen dat hun resultaten eerlijk waren, ontwierpen ze een protocol dat voorkwam dat de computer slide-niveau informatie gebruikte. In veel eerdere studies zou een computer een klein stukje van een slide kunnen zien tijdens de training en vervolgens worden getest op een ander stukje van precies dezelfde slide. Omdat de kleurstelling en de scannerinstellingen voor elk stukje van een enkele slide identiek zijn, kan de computer leren de patiënt of het laboratorium te herkennen in plaats van de kanker zelf. Deze studie dwong de computer om van volledige slides te leren, waardoor er geen enkele patiëntgegevens in zowel de trainingsfase als de testfase voorkwamen.

Om te begrijpen welke delen van het "brein" van de computer daadwerkelijk nuttig waren, testte het team zeven verschillende versies van de software. Ze hielden de kernstructuur van het programma voor de meeste van hen gelijk en veranderden alleen hoe het systeem aandacht besteedde aan verschillende delen van de afbeelding. Sommige versies negeerden aandacht volledig, terwijl andere specifieke wiskundige trucs gebruikten om belangrijke kenmerken te benadrukken, zoals de vorm van celkernen of de textuur van het weefsel. Ze testten ook een versie die al getraind was op miljoenen algemene afbeeldingen, in de hoop dat deze voorkennis een voordeel zou bieden. Ten slotte voegden ze een "shortcut"-test toe waarbij de computer alleen de kleuren van het weefsel mocht bekijken, waarbij alle vormen en structuren werden genegeerd, om te zien hoeveel van het antwoord puur door de tint van de kleurstof geraden kon worden.

De resultaten toonden aan dat de computerprogramma's inderdaad in staat waren om de twee typen kanker te onderscheiden, maar dat hun prestaties veel bescheidener waren dan de bijna perfecte scores in eerdere rapporten. Het best presterende model, dat een vooraf getrainde basis gebruikte om algemene beeldkenmerken te begrijpen, rangschikte de slides correct met een AUC van 0,86. Dit was een significante verbetering ten opzichte van de modellen die vanaf nul begonnen zonder enige voorafgaande training. De studie vond echter dat het toevoegen van complexe "attention"-mechanismen het systeem niet noodzakelijkerwijs slimmer maakte. Sterker nog, het toevoegen van een ruimtelijke attention-branch aan een model dat al focuste op kanaal-kenmerken (channel features) leverde geen detecteerbare verbetering op; het volledige model presteerde niet beter dan de versie met alleen kanaal-kenmerken. De onderzoekers ontdekten dat de extra stap om precies in kaart te brengen waar de tumor zich bevond, de computer niet hielp een betere beslissing te nemen.

Misschien wel de meest onthullende bevinding was dat de computer niet alleen naar de kankercellen keek, maar ook de kleuren van de kleurstof oppikte. Wanneer de onderzoekers een systeem testten dat alleen naar het kleurenpalet van het weefsel keek, kon het de twee typen kanker onderscheiden met een AUC van 0,66. Dit suggereert dat de verschillende gradaties van kanker vaak gepaard gaan met licht verschillende kleurpatronen, waarschijnlijk door de manier waarop het weefsel in verschillende ziekenhuizen is verwerkt. Hoewel de hoofdmodellen beter presteerden dan dit kleur-alleen systeem, was de kloof tussen hen kleiner dan verwacht, wat aangeeft dat de computers deels vertrouwden op deze kleurkenmerken in plaats van puur op de biologische structuur van de tumor.

De studie benadrukte ook de moeilijkheid van de taak wanneer het aantal zeldzame gevallen zo klein is. Met slechts 42 voorbeelden van de langzaam groeiende kanker varieerden de resultaten afhankelijk van welke specifieke voorbeelden voor het testen werden gebruikt. De onderzoekers voerden hun experimenten meerdere keren uit met verschillende willekeurige startpunten om te garanderen dat hun bevindingen stabiel waren. Ze ontdekten dat hoewel het vooraf getrainde model consequent het meest betrouwbaar was, de verschillen tussen de andere modellen vaak te klein waren om zeker te zijn. Een kleinere, eenvoudigere versie van het computerprogramma presteerde niet zo goed als de grotere, complexere versies zodra de willekeur van de training werd meegerekend, wat suggereert dat voor dit specifieke medische probleem een massaal netwerk niet vereist is, maar een compact netwerk onvoldoende is vergeleken met een diepe architectuur.

Uiteindelijk dient dit werk als een reality check voor het vakgebied van de medische kunstmatige intelligentie. Het demonstreert dat wanneer het testen correct wordt uitgevoerd, zonder de computer toe te staan slide-niveau informatie te gebruiken, de prestaties van deze tools goed zijn maar niet miraculeus. De studie concludeert dat de meest effectieve aanpak vooralsnog het gebruik is van een model dat heeft geleerd van algemene afbeeldingen en het vermijden van overdreven complexe ontwerpen die geen toegevoegde waarde bieden. Het wijst er ook op dat de huidige moeilijkheid om deze kankers te onderscheiden reëel is en dat het beperkte aantal zeldzame gevallen het moeilijk maakt om definitieve conclusies te trekken over de beste manier om deze systemen te bouwen. De weg vooruit vereist niet alleen betere algoritmen, maar ook meer data en een voortdurende focus op rigoureuze tests om ervoor te zorgen dat deze tools in een klinische setting kunnen worden vertrouwd.