A multi-model study of diagnostic faithfulness in AI-generated histopathology images

Pathologen zijn de detectives van de microscopische wereld; zij onderzoeken dunne plakjes menselijk weefsel onder een microscoop om ziekten te diagnosticeren. Hun werk rust op een precieze taal om te beschrijven wat ze zien: de vorm van cellen, de textuur van weefsel en de ordening van structuren. Decennialang was het delen van deze visuele lessen moeilijk. Echte patiëntenbeelden worden beschermd door strikte privacywetgeving, en het vinden van voldoende voorbeelden van zeldzame ziekten om studenten te onderwijzen of computers te trainen, is een constante strijd. In de afgelopen jaren is er een nieuw soort kunstmatige intelligentie opgekomen dat geschreven beschrijvingen in afbeeldingen kan omzetten. De hoop is dat deze machines perfecte onderwijsbeelden kunnen genereren of enorme bibliotheken van synthetisch weefsel voor onderzoek kunnen creëren, waardoor de noodzaak voor echte patiëntgegevens wordt omzeild. Maar een kritische vraag blijft over: als een computer een beschrijving van een specifieke ziekte schrijft en vervolgens een afbeelding daarvan tekent, lijkt die afbeelding dan daadwerkelijk op het echte ding, of is het slechts een plausibele gok?

Een team onderzoekers aan de Tsinghua Universiteit zette zich in om deze vraag te beantwoorden door zeven verschillende modellen voor kunstmatige intelligentie te testen. Ze wilden zien of deze machines medische rapporten getrouw naar histologische afbeeldingen konden vertalen. Hiervoor bouwden ze een rigoureuze test met behulp van 579 echte voorbeelden uit gezaghebbende medische tekstboeken. Deze voorbeelden bestreken een breed scala aan menselijke lichaamssystemen, van de hersenen en de longen tot de huid en de voortplantingsorganen. De onderzoekers voerden de schriftelijke beschrijvingen van deze tekstboekgevallen in de zeven AI-modellen in en vroegen hen de bijbehorende afbeeldingen te genereren. Vervolgens vergeleken ze de resultaten met behulp van drie verschillende geautomatiseerde methoden. De ene methode controleerde of de algemene stijl en textuur van de gegenereerde afbeeldingen overeenkwamen met de echte exemplaren. Een tweede methode mat hoe goed de specifieke details in de afbeelding overeenstemden met de specifieke woorden in de beschrijving. De derde methode was een geheugentest: ze toonden de door AI gegenereerde afbeelding aan het systeem en vroegen of het de oorspronkelijke medische rapportage kon vinden die de afbeelding had gecreëerd.

De resultaten onthulden een complex beeld van wat deze machines wel en niet kunnen. Eén model, genaamd Nano Banana Pro, presteerde beter dan de andere over alle drie de tests heen. Het creëerde afbeeldingen die het meest leken op de tekstboekvoorbeelden en die het beste aansloten bij de schriftelijke beschrijvingen. Echter, zelfs dit best presterende model had moeite met de geheugentest. Wanneer de afbeelding werd getoond, kon het systeem de oorspronkelijke medische rapportage slechts in ongeveer 6 procent van de gevallen correct identificeren. Dit betekent dat hoewel de afbeeldingen er over het algemeen realistisch uitzagen, ze de specifieke, unieke details misten die een arts of een computer in staat zouden stellen om het ene specifieke geval van het andere te onderscheiden. De studie vond ook dat de verschillende testmethoden vaak met elkaar in strijd waren. Een model zou afbeeldingen kunnen produceren die statistisch gezien vergelijkbaar zijn met echt weefsel, maar erin faalden de specifieke details uit de tekst te vatten, terwijl een ander model het tegenovergestelde kon doen.

Deze onenigheid onderstreept een cruciale beperking in de manier waarop we kunstmatige intelligentie in de geneeskunde momenteel evalueren. Een model kan uitstekend zijn in het nabootsen van de algemene "look" van een weefselmonster, zonder daadwerkelijk de specifieke ziekte te begrijpen die het zou moeten representeren. De onderzoekers ontdekten dat een gespecialiseerd model dat uitsluitend getraind was op borstweefsel, goed presteerde in het nabootsen van het algemene uiterlijk van borstmonsters, maar dat dit niet garandeerde dat het de specifieke kenmerken van een bepaald geval nauwkeurig kon weergeven. De studie concludeert dat het vertrouwen op een enkele score om deze modellen te beoordelen gevaarlijk is. Om werkelijk te weten of een AI nuttig is voor medisch onderwijs of onderzoek, moeten we zowel de algemene realiteitszin van de afbeeldingen als hun vermogen om aan specifieke beschrijvingen te voldoen, meten. Totdat deze systemen in staat zijn om de fijne details van een ziekte betrouwbaar te reproduceren, blijven ze krachtige instrumenten voor het genereren van algemene visuals, maar zijn ze nog niet klaar om de precisie van de echte pathologie te vervangen.