Deep Learning for Retinal Degeneration Assessment: A Comprehensive Analysis of the MARIO Challenge

Stel je voor dat je een detective bent die een mysterie probeert op te lossen dat zich afspeelt in een piepkleine, ingewikkelde stad: het menselijk oog. Specifiek kijk je naar het netvlies, het lichtgevoelige scherm aan de achterkant van het oog. Soms wordt deze stad binnengevallen door een sluipende, lekkende groei gena de neovasculaire leeftijdsgebonden maculadegeneratie (AMD). Het is als een loodgietersramp waarbij kleine, ongewenste buizen uit groeien en vloeistof lekken, waardoor het centrum van je gezichtsveld wazig wordt. Om dit te reparen, gebruiken artsen speciale "anti-lek" injecties (anti-VEGF) die werken als een soort superlijm om de buizen te stoppen. Maar hier is het lastige deel: de lekkage verandert elke dag. Soms zijn de buizen stil, soms zijn ze aan het overstromen, en soms is het slechts een beetje vochtig. Artsen moeten met hoge-resolutie 3D-foto's (genaamd OCT-scans) elke paar weken naar het oog kijken om te zien of de lijm werkt. Als ze het fout raden, injecteren ze een patiënt die het niet nodig heeft, of erger nog, wachten ze te lang bij een patiënt die aan het verslechteren is.

Lange tijd zijn computers erg goed geworden in het bekijken van een enkele foto en zeggen: "Hé, dit oog heeft een lek!" Maar de echte uitdaging is om naar een film te kijken in plaats van naar een stilstaand beeld. De computer moet twee foto's bekijken die weken uit elkaar zijn genomen en beslissen: "Is het lek minder geworden, hetzelfde gebleven, of is het erger geworden?" Nog moeilijker: kan de computer naar slechts één foto van vandaag kijken en voorspellen wat er over drie maanden zal gebeuren? Dit is de vraag die een groep wetenschappers aan de beste AI-detectives van de wereld stelde in een wereldwijde wedstrijd genaamd de MARIO-challenge. Ze wilden weten of kunstmatige intelligentie een betrouwbare sidekick voor artsen kon worden, die helpt beslissen precies wanneer ze die injecties moeten geven en wanneer ze de patiënt rust moeten gunnen.

De Grote Oogdetective-wedstrijd

In 2024 organiseerde een team van onderzoekers een enorme wedstrijd genaamd de MARIO-challenge (Monitoring Age-Related macular degeneration with Intelligent Ophthalmology). Ze brachten 35 teams van AI-experts van over de hele wereld samen, inclus\nief studenten, universiteitsonderzoekers en technologiebedrijven. Het doel was om een computerprogramma te bouwen dat OCT-scans kan analyseren — die supergedetailleerde 3D-dwarsdoorsneden van het netvlies — om de ziekte te volgen.

De uitdaging had twee niveaus, zoals een videogame met een 'easy mode' en een 'hard mode'.

Niveau 1: Het "Spot de Verandering"-spel
In dit niveau kreeg de AI twee foto's van hetzelfde oog genomen op verschillende momenten (laten we zeggen, Bezoek A en Bezoek B). De computer moest naar beide kijken en beslissen: Is de ziekte Verminderd (beter geworden), Stabiel gebleven (hetzelfde gebleven), of Verslechterd (erger geworden)?
De resultaten hier waren verrassend spannend. Het beste team, genaamd MIPLAB, bouwde een model dat het ongeveer 86% van de tijd goed had. Om dit in perspectief te plaatsen: dit is bijna net zo goed als wanneer twee menselijke oogartsen het met elkaar eens zijn! De AI leerde succesvol de subtiele verschillen in vochtniveaus tussen twee scans op te merken. Het was alsof je een computer leerde om op te merken dat een plas op de stoep kleiner of groter was geworden door slechts naar twee foto's te kijken. Dit suggereert dat AI klaar is om een behulpzame assistent te zijn voor het controleren of een behandeling op dit moment werkt.

Niveau 2: Het "Kristallen Bol"-spel
Dit niveau was veel, veel moeilijker. De AI kreeg slechts één foto (Bezoek A) en moest voorspellen wat er in de volgende drie maanden zou gebeuren. Zou het oog beter worden, hetzelfde blijven of slechter worden?
De resultaten hier waren een realiteitscheck. Het beste AI-model haalde slechts een score van ongeveer 0,30, wat nauwelijks beter is dan telkens "Stabiel" gokken omdat de meeste ogen stabiel zijn. De voorspellingen van de teams verschilden zo sterk van elkaar dat ze niet beter met elkaar overeenstemden dan op basis van toeval. Het was alsof de AI het weer drie maanden van tevoren probeerde te voorspellen met slechts één foto van de lucht van vandaag; er was simpelweg niet genoeg informatie in die ene foto om te weten wat er ging komen. De paper concludeert dat het voorspellen van de toekomst vanuit een enkel bezoek nog steeds een probleem is dat AI nog niet heeft opgelost.

Het "Vreemde Taal"-probleem

Er was nog een andere wending in het verhaal die de onderzoekers een zeer belangrijke les leerden over eerlijkheid en betrouwbaarheid. De hoofdgroep van patiënten kwam uit Brest, Frankrijk. Maar om te testen of de AI echt slim was of gewoon de Franse data uit het hoofd had geleerd, voegden de organisatoren een kleine, geheime testset toe uit Tlemcen, Algerije. Deze patiënten hadden een andere achtergrond en hun oogscans waren gemaakt met iets andere instellingen van de apparatuur.

Toen de winnende AI van de Franse data probeerde de Algerijnse puzzels op te lossen, struikelde hij hard. Het team dat op de eerste plaats kwam in Frankrijk, zakte naar de vijfde plaats in Algerije. De scores van sommige teams stortten zo hard in dat ze nauwelwel niet beter waren dan willekeurig gokken. Het was alsof een student een wiskundetoets in de ene klas uitstekend had gemaakt, maar volledig faalde wanneer de leraar overschakelde naar een ander tekstboek met licht afwijkende symbolen. Dit toonde aan dat de AI-modellen te gevoelig waren voor waar de data vandaan kwam. Ze hadden niet de universele regels van het oog geleerd; ze hadden slechts het specifieke "accent" van de Franse scans geleerd.

Wat betekent dit?

De MARIO-challenge heeft ons een duidelijke kaart gegeven van waar we staan.

1. Korte-termijn monitoring is mogelijk: Als een arts wil weten of een oog beter of slechter is vergeleken met de scan van vorige maand, kan AI een geweldig werk leveren. Het is bijna klaar om artsen te helpen tijd te besparen en onnodige injecties te verminderen.
2. Lange-termijn voorspelling is niet klaar: Als een arts wil weten wat er over drie maanden zal gebeuren op basis van een enkele scan, is AI momenteel nutteloos. Het signaal is te zwak en de modellen zijn gewoon aan het gokken.
3. Eén maat past niet voor iedereen: Een AI die perfect werkt voor de ene groep mensen, kan rampzalig falen voor een andere groep. Voordat we deze hulpmiddelen overal in ziekenhuizen kunnen vertrouwen, moeten we ervoor zorgen dat ze voor iedereen werken, ongeacht waar ze wonen of met welke machine hun ogen zijn gescand.

De paper beweert niet het mysterie van AMD te hebben opgelost, maar het heeft wel het mysterie opgelost van wat AI nu wel en niet kan. Het vertelt ons dat we weliswa een zeer goede "spotter" hebben gebouwd voor huidige veranderingen, maar dat we nog steeds een veel slimmere "profeet" voor de toekomst moeten uitvinden. En totdat we dat doen, moeten we voorzichtig zijn met het te veel vertrouwen van onze digitale detectives wanneer ze in een nieuwe buurt zijn.