PathAgentBench: Benchmarking Evidence-Seeking Vision-Language Models on Whole-Slide Pathology Image

Stel je voor dat je een detective bent die een gigantisch mysterie probeert op te lossen, verborgen in een stad die miljarden malen groter is dan een enkel zandkorreltje. Deze stad is een "Whole-Slide Image" (WSI) van een weefselmonster, een digitale afbeelding die zo enorm is dat het een mens uren zou kosten om er alleen al doorheen te scrollen. In de echte wereld staart een patholoog (een arts die ziekten diagnosticeert door naar cellen te kijken) niet naar slechts één klein plekje. Eerst kijkt hij naar de hele stad vanuit een helikopter om verdachte wijken te vinden, dan zoomt hij in om de straten te controleren, en uiteindelijk zoomt hij helemaal in om individuele huizen en mensen te inspecteren om de dader te vinden. Dit wordt "evidence-seeking" (bewijs zoeken) genoemd.

Onlangs hebben wetenschappers superintelligente computerbreinen gebouwd, genaamd "Vision-Language Models" (VLM's). Dit zijn als AI-detectives die tegelijkertijd naar plaatjes kunnen kijken en tekst kunnen lezen. Ze worden steeds beter in het oplossen van puzzels wanneer iemand hen een specifieke foto geeft en vraagt: "Wat is hier mis?" Maar er is een grote vraag: Kan deze AI-detective de juiste foto zelfstandig vinden in die gigantische stad, of heeft hij een mens nodig om eerst naar de plek te wijzen? Als een AI een raadsel kan oplossen maar niet de kamer kan vinden waar het raadsel verborgen ligt, is het nog geen erg goede detective. Dit is de kloof die dit nieuwe onderzoek wil meten.

---

De Grote AI-Detective Test: PathAgentBench

Een team van onderzoekers heeft een nieuwe, super uitdagende test gebouwd genaamd PathAgentBench om te zien of AI echt kan optreden als een menselijke patholoog. In plaats van de AI alleen een vooraf geselecteerde afbeelding te geven en te vragen: "Wat is dit?" (wat is wat de meeste oude tests doen), gaven ze de AI de hele gigantische stad en vroegen ze de AI om zelf op jacht te gaan naar de aanwijzingen.

Denk aan het als een spelletje "Waar is Waldo?", maar het boek is zo groot als een voetbalveld, en je moet in- en uitzoomen om de kleine details te vinden die bewijzen wie de boef is. De onderzoekers creëerden een "diagnostische boom", wat een soort kaart is van een schattenjacht. De AI begint bovenaan (de hele slide), kiest een verdacht gebied, zoomt in, kiest een kleiner gebied, zoomt weer in, en stelt uiteindelijk een diagnose op basis van alle aanwijzingen die het onderweg heeft verzameld.

Om ervoor te zorgen dat de test eerlijk en moeilijk was, gebruikten ze 1.822 echte medische slides uit een enorme database en lieten ze tien deskundige menselijke artsen de exacte paden tekenen die zij zouden volgen om de gevallen op te lossen. Vervolgens testten ze 20 verschillende AI-modellen (sommigen gemaakt door grote techbedrijven, sommigen open-source, en sommige gespecialiseerd voor geneeskunde) om te zien hoe ze presteerden.

Dit is wat ze vonden, en het is een beetje een plotwending:

1. De AI is een genie in lezen, maar een verschrikkelijke navigator
Wanneer de onderzoekers de AI de specifieke aanwijzingen overhandigden die het nodig had (zoals: "Hier is het uitvergrote plaatje van de verdachte cel, vertel me nu wat het is"), was de AI geweldig. De beste modellen hadden meer dan 93% van de antwoorden goed. Ze konden het bewijs perfect lezen.

Echter, wanneer de onderzoekers zeiden: "Oké, nu moet je die verdachte cel zelf vinden in de gigantische stad", stortte de AI volledig in. Zelfs de slimste AI-modellen behaalden een ruimtelijke overlapscore (genaamd "mean intersection-over-union") van minder dan 0,09. Dit betekent dat de box die de AI rond het verdachte gebied tekende, het echte plekje nauwelijks raakte. Sterker nog, een heel simpele, domme truc — simpelweg het midden van de vorige box raden — werkte eigenlijk beter dan de fancy AI-modellen!

2. Het "Uitzoom-probleem"
De onderzoekers observeerden hoe de AI probeerde de slides op eigen houtje te verkennen. Bij het breedste gezichtsveld (lage vergroting) kon de AI ongeveer 52% van de tijd verdachte gebieden vinden. Maar naarmate de AI probeerde in te zoomen om een beter beeld te krijgen, begon het het spoor kwijt te raken. Tegen de tijd dat de AI het hoogste zoomniveau bereikte (waar het de minuscule details moet zien), vond het slechts 2% van de tijd de juiste plek. Het is als een detective die wel een buurt vindt, maar dan verdwaalt in een verkeerde steeg en het huis nooit bereikt.

3. Gespecialiseerde AI is niet altijd beter
Je zou denken dat AI-modellen die specifiek getraind zijn op medische boeken de beste detectives zouden zijn. Verrassend genoeg deden de algemene AI-modellen (de modellen die getraind zijn op alles van katten tot auto's) het vaak beter bij het vinden van de aanwijzingen dan de modellen die alleen in de geneeskunde getraind zijn. De gespecialiseerde medische modellen bleven soms steken of konden zelfs geen coördinaten genereren om naar een plek te wijzen.

4. De kosten van de jacht
De studie keek ook naar hoeveel "hersencapaciteit" en geld het kostte. Het deel waar de AI zelf de aanwijzingen moest zoeken (de "autonome exploratie") was ongelooflijk duur en traag. Het kostte de AI enkele minuten om slechts één slide te bekijken, terwijl het beantwoorden van een simpele vraag over een vooraf geselecteerde afbeelding een fractie van een seconde duurde.

De Kern van het Verhaal

De belangrijkste conclusie van dit artikel is dat hoewel AI ongelooflijk goed is geworden in het interpreteren van bewijs wanneer het wordt aangereikt, het nog steeds erg slecht is in het zelfstandig vinden van dat bewijs. De onderzoekers betogen dat we AI niet alleen moeten prijzen omdat het raadsels kan oplossen; we moeten het leren een detective te zijn die ook daadwerkelijk het raadsel kan vinden.

Totdat AI betrouwbaar door deze gigantische digitale slides kan navigeren zonder de weg kwijt te raken, kan het de menselijke patholoog in de echte wereld niet volledig vervangen. Het artikel suggereert dat toekomstige AI beter "ruimtelijk redeneren" moet leren (weten waar het is), hoe het tools moet gebruiken om correct in en uit te zoomen, en hoe het kan herstellen wanneer het een verkeerde afslag neemt. Voor nu is de AI een briljante lezer, maar leert het nog steeds hoe het over straat moet lopen.