Can Multimodal Large Language Models Understand OCT?
Dit artikel introduceert OCT-Bench, een uitgebreide benchmark bestaande uit meer dan 10.000 fijnmazige vragen over perceptie-, cognitie- en redeneerdimensies om multimodale grote taalmodellen systematisch te evalueren, waarbij wordt onthuld dat huidige modellen—inclusief medisch aangepaste en grootschaliger varianten—nog steeds aanzienlijk beperkt zijn in hun vermogen om klinisch gefundeerd OCT-beeldbegrip uit te voeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict is je bewijsmateriaal een gloeiende, dwarsdoorsneden kaart van een menselijk oog. Dit is de wereld van Optical Coherence Tomography (OCT), een superkrachtige camera waarmee artsen in de retina kunnen kijken – de lichtgevoelige laag aan de achterkant van het oog – zonder ook maar één snee te maken. Het is also$ een röntgenvisie op de minuscule, gelaagde buurten van het oog, wat artsen helpt om ziekten op te sporen voordat ze je gezichtsvermogen stelen. Nu komen de nieuwe helden van de technologische wereld in beeld: Multimodale Large Language Models (MLLM's). Denk aan deze als superintelligente AI-robots die tegelijkertijd tekst kunnen lezen en naar plaatjes kunnen kijken. Zij zijn de "Sherlock Holmes" van het digitale tijdperk, getraind om te verbinden wat ze zien met wat ze weten. Maar hier komt de grote vraag die iedereen bezighoudt: kunnen deze AI-detectives deze complexe, gelaagde kaarten van het menselijk oog daadwerkelijk begrijpen, of raden ze alleen maar op basis van patronen? Als een AI het verschil niet kan zien tussen een gezond oog en een ziek oog, of niet de juiste behandeling kan bepalen, dan is het voor een arts niet echt nuttig. Daarom zijn wetenschappers zo enthousiast om te testen of deze modellen werkelijk klaar zijn om het zicht te helpen redden.
In dit artikel besloten een team van onderzoekers te stoppen met gissen en te beginnen met testen. Ze bouwden een enorme, super uitdagende examen genaamd OCT-Bench om te zien of AI de klus van het lezen van oogscans echt aankan. In plaats van de AI alleen te vragen: "Is dit oog ziek of gezond?" (wat lijkt op het vragen aan een student om simpelweg het antwoord te gokken op een meerkeuzetoets), braken ze de taak af in een stapsgewijze reis die de manier van denken van een echte arts nabootst. Eerst moet de AI Percipiëren: kan het de basisvormen, kleuren en lijnen in de afbeelding zien? Vervolgens moet het Cognitief begrijpen: kan het herkennen dat een specifieke kronkelige lijn eigenlijk een laag van de retina of een met vocht gevulde zak is? Ten slotte moet het Redeneren: kan het al die aanwijzingen combineren en beslissen wat de ziekte is, welke behandeling nodig is en wat er vervolgens zal gebeuren?
Om dit examen eerlijk en zwaar te maken, verzamelden de onderzoekers 4.137 echte oogscans uit zeven verschillende publieke databases en veranderden deze in 10.076 door experts geverifieerde vragen. Vervolgens lieten ze 20 verschillende AI-modellen de strijd aan met de vuurproef, inclusief de beroemde "grote breinen" van techreuzen, open-source modellen en speciale AI die specif으로 voor de geneeskunde is getraind.
De resultaten? De AI-modellen zijn zeker slim, maar ze zijn nog niet de oogartsen van de toekomst. Het best presterende model in de hele test behaalde slechts 62,0% van de juiste antwoorden. Dat betekent dat het bijna bij 4 op de 10 vragen fout zat. De onderzoekers vonden een duidelijk patroon: de AI was oké met de makkelijke dingen. Wanneer gevraagd werd om simpelweg het type afbeelding te identificeren of te tellen hoeveel vakjes er op het scherm getekend waren, scoorden de modellen hoog, soms bijna 75,8%. Maar zodra de vragen moeilijker werden – waarbij de AI de minuscule details van de ooglagen moest begrijpen of een behandelplan moest uitwerken – stortten de scores in. Voor de moeilijkste "Redeneer"-taken scoorde het beste model slechts 42,9%.
Hier is het verrassende deel: een "medisch expert" zijn of een groter brein hebben, loste het probleem niet automatisch op. Sommige modellen die specifiek op medische gegevens zijn getraind, presteerden slechter dan algemene modellen op bepaalde taken. En het groter maken van de modellen (het opschalen) hielp een beetje, maar het loste het grote probleem niet op. De AI heeft nog steeds moeite om te verbinden wat het ziet in de afbeelding met de diepe medische kennis die nodig is om een echte diagnose te stellen. Het is als een student die de namen van alle botten in het lichaam kan onthouden, maar bevriest wanneer hij een gebroken been moet diagnosticeren op basis van een röntgenfoto.
Het artikel concludeert dat de huidige AI-modellen nog aanzienlijk tekortschieten in betrouwbaar OCT-begrip en nog lang niet betrouwbaar zijn voor klinisch gebruik. Het suggereert dat hoewel deze modellen beter worden in het "zien", ze nog steeds de "klinische redeneer"-spier missen die nodig is om te begrijpen waarom er iets mis is en wat er te doen is. De onderzoekers geven aan dat totdat AI betrouwbaar kan overgaan van het simpelweg "zien" van de afbeelding naar het "begrijpen" van de ziekte en het "plannen" van de genezing, we een lange weg te gaan hebben voordat we hen ons zicht kunnen toevertrouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.