Predicting Visual Acuity from Fundus Photographs Using a Domain-Pretrained Vision Transformer: Anatomical Alignment of Attention Patterns

Stel je voor dat je probeert te raden hoe goed iemand kan zien door alleen naar een enkele, kleurrijke kaart van de achterkant van hun oog te kijken. Dit is de wereld van ophthalmische AI, waar computers worden getraind om retinale foto's te lezen om de visuele scherpte te voorspellen—in feite hoe helder het zicht van een persoon is. Normaal gesproken vereist het controleren van je gezichtsvermogen dat je bij een arts op kantoor zit, naar een tabelje staart en letters hardop voorleest. Maar wat als een computer naar een foto van je oog kan kijken en zegt: "Ah, je zicht is perfect," of "Je hebt misschien een bril nodig," zonder dat je ooit een woord hoeft te zeggen?

Om dit te doen, gebruiken wetenschappers Vision Transformers. Denk aan deze als superintelligente digitale detectives. In tegen tegenstelling tot oudere computermodellen die een afbeelding scannen als een camera die een snapshot maakt, breekt een Vision Transformer de foto op in kleine puzzelstukjes en vraagt: "Hoe verhoudt dit stukje zich tot dat stukje?" Het leert aandacht te besteden aan specifieke details, zoals een detective die zich concentreert op een vingerafdruk of een modderige schoenafdruk. De grote vraag die dit artikel aanpakt is: Kan een computer de kwaliteit van het zicht voorspellen door alleen naar deze oogkaarten te kijken, en nog belangrijker, kunnen we erop vertrouwen waar de computer naar kijkt? Als de computer zegt dat je zicht slecht is, kijkt hij dan daadwerkelijk naar de beschadigde delen van je oog, of gokt hij gewoon op basis van willekeurige ruis?

---

De Nieuwe Bril van de Detective

In dit onderzoek besloot een team van onderzoekers hun digitale detective een speciale "bril" te geven genaamd RETFound. Stel je voor dat je een detective hebt die jarenlang miljoenen foto's van een plaats delict heeft bestudeerd. Ze weten precies hoe een vingerafdruk eruitziet, hoe bloedspatten en waar de aanwijzingen zich meestal verbergen. Dat is RETFound: een massief AI-model dat al 1,6 miljoen ongelabelde oogfoto's heeft "gelezen". Het is al een expert in het opsporen van de minuscule bloedvaten en texturen van het netvlies voordat het zelfs probeert het specifieke raadsel van visuele scherpte op te lossen.

De onderzoekers namen deze expert-detective en verfijnden deze om een specifiek mysterie op te lossen: het sorteren van oogfoto's in vier categorieën voor het gezichtsvermogen.

• C0: Totale of functionele blindheid.
• C1: Ernstige beperking (zeer wazig).
• C2: Matige tot milde beperking.
• C3: Normaal, scherp zicht.

Ze testten dit op 21.602 foto's van 3.654 patiënten. Om er zeker van te zijn dat de detective niet vals speelde door antwoorden uit het hoofd te leren, waren ze zeer streng: ze splitsten de gegevens op basis van patiënt, niet op basis van foto. Dit betekent dat als een patiënt vijf foto's had, alle vijf de foto's ofwel in de trainingsgroep ofwel in de testgroep gingen, nooit in beide. Dit is alsof je ervoor zorgt dat een student die een toets maakt nooit dezelfde vraag twee keer ziet in een andere vorm.

De Resultaten: Een "Substantieel" Succes

De resultaten waren veelbelovend. De RETFound-detective had het juiste antwoord 55,6% van de tijd. Hoewel dat misschien niet klinkt als een perfecte score, is het in de wereld van de medische AI een grote zaak. Belangrijker nog is dat wanneer het model een fout maakte, het meestal een kleine fout was. 89,6% van de fouten was slechts één stap verwijderd van het juiste antwoord (zoals "ernstige beperking" raden terwijl het antwoord "matige beperking" was). Het deed zelden wilde gokken, zoals een normaal oog "blind" noemen.

Het artikel vergeleek RETFound ook met twee andere detectives: DINOv2 (een algemene AI die geen specifieke oogfoto's heeft bestudeerd) en EfficientNet (een ouder type computervisie). RETFound versloeg hen beiden met een aanzienlijke marge. De onderzoekers berekenden een score genaamd Quadratic Weighted Kappa, die meet hoe goed de voorspellingen overeenkomen met de werkelijke volgorde van zaken. RETFound scoorde 0,612, wat experts omschrijven als een "substantiële overeenkomst."

Het Mysterie: "Waar Kijk Je Naar?"

Het meest opwindende deel van het artikel is niet alleen dat de computer het juiste antwoord wist, maar ook hoe hij naar het oog keek om daar te komen. De onderzoekers gebruikten een techniek genaamd Attention Rollout. Stel je voor dat de computer een spotlight is die op de oogfoto schijnt. Deze techniek laat de onderzoekers precies zien waar de spotlight op gericht is.

Ze vonden een prachtig patroon dat overeenkomt met wat menselijke artsen al decennia weten:

• Voor ogen met slecht zicht (C0): De spotlight van de computer richtte zich zwaar op de bloedvaten rond de rand van het oog. Dit is logisch, omdat ernstig visusverlies vaak wordt veroorzaakt door beschadigde of lekkende bloedvaten. De computer leerde te kijken naar de "rommelige" delen van de kaart.
• Voor ogen met perfect zicht (C3): De spotlight bewoog naar het absolute centrum van het oog (de macula). Dit is het deel van het oog dat verantwoordelijk is voor scherp, centraal zicht. De computer leerde de randen te negeren en zich op het centrum te concentreren.

Het is als een detective die weet dat als een huis in brand staat, ze naar de rook en de vlammen moeten kijken (de vaten), maar als het huis in topconditie is, ze naar de voordeur en de ramen moeten kijken (de macula) om te bevestigen dat alles in orde is.

De "Vertrouw Mij"-Test

Hier komt de slimme wending: de onderzoekers wilden weten of dit "spotlight"-gedrag slechts een toevalstreffer was of dat het daadwerkelijk betekende dat de computer correct dacht. Ze vergeleken de foto's waarbij de computer het goed had met de foto's waarbij de computer het fout had.

• Wanneer de computer het goed had: De spotlight gedroeg zich perfect. Als de computer "blind" voorspelde, stond het licht op de vaten. Als de computer "normaal" voorspelde, stond het licht op het centrum. De verbinding tussen de spotlight en het antwoord was erg sterk.
• Wanneer de computer het fout had: De spotlight was in de war. Hij was overal tegelijk en keek naar willekeurige plekken. De verbinding tussen waar de computer keek en wat hij voorspelde, was zwak.

Dit suggereert dat de "aandacht" van de computer een betrouwbare aanwijzing is. Als de computer naar de juiste plek kijkt, heeft hij waarschijnlijk gelijk. Als de computer overal tegelijk naar kijkt, moet je sceptisch zijn.

Het Probleem van de "Wazige Middenweg"

De studie vond ook een lastig punt. De computer had de meeste moeite met de C1-categorie (ernstige beperking, maar niet totale blindheid). Het model verwarde deze ogen vaak met de "matige" categorie. De onderzoekers suggereren dat dit niet komt omdat de computer dom is, maar omdat de oogfoto's voor dit specifieke niveau van zicht van nature ambigu zijn. Het is als proberen het verschil te zien tussen een licht bewolkte dag en een zeer bewolkte dag; soms biedt de foto simpelweg niet genoeg duidelijke aanwijzingen om 100% zeker te zijn.

Wat Dit Betekent

Dit artikel beweert niet dat het visusverlies heeft opgelost of artsen heeft vervangen. In plaats daarvan laat het zien dat we AI kunnen bouwen die niet alleen gokt, maar het oog ook echt "ziet" zoals een menselijke arts dat doet. Het leert zich te concentreren op bloedvaten voor slechte ogen en op het centrum voor goede ogen.

De auteurs suggereren dat we dit "spotlight"-gedrag in de toekomst kunnen gebruiken als een waarschuwingssysteem. Als een AI een voorspelling doet maar de spotlight is overal tegelijk, kunnen artsen dit geval markeren voor een menselijke controle. Het verandert de AI van een "black box" in een partner die je niet alleen vertelt wat hij denkt, maar ook waarom hij dat denkt, en hoeveel je die gok kunt vertrouwen.