RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model
RetiBridge is een kennisgestuurd multimodaal groot taalmodel dat kwantitatieve retinaire biomarkers van CFP- en OCT-beelden effectief overbrugt met kwalitatieve klinische diagnoses, waarbij het bestaande open-source en propriëtaire modellen overtreft op een nieuwe benchmark van meer dan 15.000 gekoppelde monsters.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je ogen als een hoogtechnologisch beveiligingscamerasysteem voor je hele lichaam zijn. Net zoals een beveiligingscamera een gebroken raam of een vreemde schaduw kan opmerken, kan het netvlies aan de achterkant van je oog aanwijzingen geven over ziekten zoals diabetes, hoge bloeddruk en zelfs hartproblemen. Artsen gebruiken twee belangrijke "lenzen" om naar deze beveiligingsfeed te kijken: één die een platte, kleurrijke foto van het oppervlak maakt (zoals een standaard snapshot), en een andere die een diepe, 3D-doorsnede door de lagen maakt (zoals een dwarsdoorsnede van een taart). Lange tijd waren computers erg goed in het meten van de getallen in deze afbeeldingen — zoals hoe dik een laag is of hoe breed een bloedvat is — maar ze waren verschrikkelijk in het uitleggen van wat die getallen eigenlijk betekenen in gewone mensentaal. Het was alsof je een robot had die kon vertellen dat de snelheid van een auto 60 mph is, maar niet kon vertellen of dat betekende dat de auto te hard reed of gewoon op een snelweg reed.
Dit is waar het nieuwe onderzoek om de hoek komt kijken. Wetenschappers hebben geprobeerd "Multimodale Grote Taalmodellen" (MLLM's) te bouwen — in feite superintelligente AI-hersenen die zowel afbeeldingen kunnen zien als tekst kunnen lezen tegelijkertijd. Het doel is om een digitale assistent voor de arts te creëren die niet alleen "abnormaal" zegt, maar ook uitlegt waarom door de harde cijfers te verbinden aan een echte diagnose. De meeste bestaande AI-modellen zijn echter als studenten die het tekstboek uit hun hoofd hebben geleerd, maar het niet kunnen toepassen op een echt examen; ze kunnen misschien de juiste ziekte raden, maar kunnen niet laten zien hoe ze tot die conclusie zijn gekomen of uitleggen hoe de metingen tot die conclusie leidden. Dit artikel introduceert een nieuwe AI genaamd RetiBridge die probeert dit op te lossen door de computer te dwingen zich als een zorgvuldige detective te gedragen, waarbij elk enkel getal dat het vindt koppelt aan een specifieke medische aanwijzing voordat het een definitief oordeel velt.
De onderzoekers bouwden RetiBridge als een "kennisgestuurde" detective. In plaats van de AI te laten gokken, hebben ze het een specifieke manier van denken geleerd: eerst de bewijslast meten (de getallen); ten tweede die getallen vertalen naar een medisch verhaal (de aanwijzingen); en ten derde de zaak oplossen (de diagnose). Ze trainden deze AI met 15.611 paren oogbeelden uit de UK Biobank, een enorme database met echte patiëntgegevens. Voor elke patiënt had de AI toegang tot 31 verschillende metingen van de diepe 3D-scans en 6 metingen van de platte foto's. Om ervoor te zorgen dat de AI de juiste manier van denken leerde, gebruikten de onderzoekers een krachtig AI-instrument (OpenAI-o3) om "modelantwoorden" te schrijven voor deze 15.000+ gevallen. Deze modelantwoorden gaven niet alleen een diagnose; ze schreven de volledige redenering uit, waarbij precies werd getoond hoe een meting zoals "240 micrometer dikte" vertaalt naar "geen zwelling hier", wat vervolgens leidt tot een definitieve conclusie.
Toen ze RetiBridge testten, toonde het enkele indrukwekkende vaardigheden. Ondanks dat het werd gebouwd op een relatief klein "brein" (een model met 7 miljard parameters), presteerde het beter dan veel grotere modellen, inclusief sommige met 32 miljard parameters en zelfs een zeer geavanceerd model van OpenAI. De sleutel tot hun succes was een speciale trainingsstap waarbij de AI leerde om de 3D-oogbeelden direct af te stemmen op de specifieke getallen die ze vertegenwoordigen, een beetje zoals een student leren om een afbeelding van een taartpunt direct te koppelen aan een liniaal, in plaats van alleen het woord "taart" te memoriseren.
De resultaten suggereren dat Reti-Bridge beter is in de specifieke taak van het "laten zien van de berekening". Het was aanzienlijk nauwkeuriger in het juist krijgen van de getallen (78,23% nauwkeurigheid vergeleken met veel lagere scores voor andere modellen) en beter in het bewijzen dat de diagnose daadwerkelijk werd ondersteund door de waargenomen bewijzen. Terwijl andere modellen soms de uiteindelijke diagnose goed hadden maar de details misten of redenen verzonnen, koppelde RetiBridge zijn conclusies consequent terug naar de werkelijke metingen. Bijvoorbeeld, in een testgeval met diabetische retinopathie identificeerde RetiBridge correct specifieke plekken en diktes en legde uit hoe deze andere ziekten uitsloten, waardoor een helder, logisch pad van de foto naar het antwoord werd gecreëerd.
De paper merkt echter voorzichtig op dat dit nog geen wondermiddel is. Hoewel RetiBridge beter is in het leggen van de verbanden, heeft het nog steeds moeite met sommige complexe redeneertaken in vergelijking met de allerbeste mensachtige modellen, en het is nog niet getest op elk type oogziekte. De auteurs suggereren dat deze aanpak — de AI dwingen om haar antwoorden te funderen in harde getallen — een veelbelovende weg vooruit is, maar dat er meer werk nodig is om het robuust genoeg te maken voor echte ziekenhuizen. Ze zijn ook van plan om het in de toekomst te testen op nog gedetailleerdere 3D-scans en verschillende soorten oogbeelden. Voor nu staat RetiBridge als een sterk bewijs van concept dat als je een AI leert om respect te hebben voor de wiskunde achter de geneeskunde, het een veel betrouwbaardere partner kan worden in het begrijpen van onze gezondheid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.