💻 computer science

FunPiQ: A New Benchmark for Pixel-Level Quality Assessment in Fundus Images

Dit artikel introduceert FunPiQ, de eerste benchmark voor fundusbeeldkwaliteitsbeoordeling op pixelniveau gebaseerd op anatomische zichtbaarheid, en stelt de explainable-by-design EFIQA-CP-methode voor, die een superieure prestatie demonstreert bij het evalueren van gelokaliseerde degradaties in vergelijking met bestaande beeldniveau-benaderingen.

Oorspronkelijke auteurs: Pengwei Wang, José Morano, Virginia Mares, Hrvoje Bogunović

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pengwei Wang, José Morano, Virginia Mares, Hrvoje Bogunović

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een arts bent die probeert naar de achterkant van het oog van een patiënt te kijken (het netvlies) via een camera. Dit wordt een fundusfoto genoemd. Soms komt de foto wazig, donker of met vreemde schaduwen uit. Als de foto slecht is, kan de arts de details die nodig zijn voor een diagnose niet zien.

Al een tijdje proberen computers automatisch te beslissen: "Is deze foto goed genoeg om te gebruiken?" Maar er is een probleem met de manier waarop ze dit tot nu toe deden.

De Oude Manier: Het Gehele Beeld Beoordelen

Voorheen keken computers naar de gehele foto en gaven daar één cijfer aan, zoals een leraar die een leerling een "C" geeft voor de hele toets.

Het Gebrek: Een foto kan een perfect helder centrum hebben, maar een wazige rand. Als de computer zegt "Slecht" vanwege de rand, kan de arts een foto weggooien die eigenlijk wel nuttig was voor het centrum.
De Verwarring: Verschillende artsen hebben verschillende ideeën over wat "goed" betekent. De één wil misschien de bloedvaten duidelijk zien, terwijl de ander alleen het optische deel (de oogzenuw) nodig heeft. Dit maakte het moeilijk om een universele regel te maken voor wat een "goede" foto precies is.

De Nieuwe Oplossing: FunPiQ (Het "Pixel-voor-Pixel" Rapportcijfer)

De auteurs van dit artikel hebben een nieuwe tool ontwikkeld genaamd FunPiQ. In plaats van de hele foto te beoordelen, werkt FunPiQ als een hoge-resolutie heatmap. Het kijelt naar elk klein stipje (pixel) in de afbeelding en beslist:

Goed: "Ik kan de details hier duidelijk zien."
Bruikbaar: "Het is een beetje wazig, maar ik kan de vorm nog wel onderscheiden."
Slecht: "Dit plekje is te donker, wazig of geblokkeerd om iets te kunnen zien."

Dit is vergelijkbaar met het geven van een rapport aan een leerling dat niet alleen zegt "Wiskunde: F", maar in plaats daarvan precies markeert welke getallen op de pagina met potlood en welke met inkt zijn geschreven. Het neemt de gok weg over waar het probleem precies zit.

De Nieuwe Methode: EFIQA-CP (De Slimme Detective)

Om deze nieuwe "pixel-voor-pixel"-methode te gebruiken, hebben de auteurs een nieuwe AI-detective gebouwd genaamd EFIQA-CP.

Het Probleem dat het Oplost: De AI moet leren hoe "slecht" eruitziet, maar heeft geen leraar die het elke slechte plek laat zien. In plaats daarvan moet de AI raden op basis van aanwijzingen (zoals: "Als ik de bloedvaten hier niet kan zien, is dit plekje waarschijnlijk slecht"). Deze gissingen zijn vaak ruisachtig en onbetrouwbaar, zoals een detective die werkt met wazige camerabeelden.
De Truc: De auteurs gaven de AI twee speciale instrumenten:
1. Een Groothoeklens: In plaats van één klein stipje tegelijk te bekijken, kijkt de AI naar een bredere omgeving rondom elk stipje. Dit helpt de AI om context te begrijpen (bijv. "Het centrum van het oog heeft van nature minder vaten, dus noem dat niet direct 'slecht' alleen omdat het leeg is").
2. Een "Niet Panikeren"-Filter: Omdat de eerste gissingen van de AI rommelig zijn, hebben ze de AI een speciale leerregel geleerd (genaamd nnPU) die voorkomt dat de AI overreageert op zijn eigen fouten. De AI leert pas zeker te zijn wanneer hij het echt zeker weet, en om de verwarrende delen te negeren.

De Resultaten: Wie Won de Race?

De auteurs hebben hun nieuwe detective (EFIQA-CP) getest tegen andere bestaande AI-methoden met behulp van hun nieuwe "pixel-voor-pixel" test (FunPiQ).

De Winnaar: EFIQA-CP was de duidelijke kampioen. Het was beter in het aanwijzen van exact waar de foto wazig of donker was.
De Runner-up: De vorige versie van deze detective (EFIQA) deed het goed, maar raakte soms in de war in gebieden die van nature leeg lijken (zoals het midden van het oog).
De Verliezers: Andere methoden die alleen naar de hele afbeelding keken of probeerden "afwijkingen" te vinden zonder specifieke training, waren vaak te ruisachtig of misten grote wazige gebieden.

Waarom Dit Belangrijk Is (Volgens het Papier)

Het artikel betoogt dat deze nieuwe manier van denken beter is omdat:

Het Uitlegbaar is: In plaats van een "black box" die zegt "Wijst deze afbeelding af", laat het een kaart zien van waarom (bijv. "De linkerbovenhoek is te donker").
Het Flexibel is: Omdat het naar de anatomie kijkt (de werkelijke onderdelen van het oog) in plaats van alleen naar een algemene "wazige" label, kan het zich aanpassen aan verschillende medische behoeften.
Het Helpt bij Niet-Experts: Als een verpleegkundige een foto maakt, kan het systeem zeggen: "Het centrum is prima, maar de rand is te donker; maak er nog een", in plaats van alleen maar te zeggen "Slechte foto".

Kortom, het papier introduceert een nieuwe, preciezere manier om oogfoto's te beoordelen door naar de details te kijken in plaats van naar het geheel, en ze hebben een slimmere AI gebouwd om die beoordeling uit te voeren.

Technische Samenvatting: FunPiQ en EFIQA-CP

Probleemstelling
Kleurfundusfotografie (CFP) is de primaire modaliteit voor grootschalige oogscreening, maar is zeer gevoelig voor lokale degradaties (bijv. inconsistente verlichting, slecht contrast, defocus) die vaak specifieke regio's in plaats van de gehele afbeelding beïnvloeden. Huidige methoden voor Fundus Image Quality Assessment (FIQA) vertrouwen op labels op beeldniveau, die sterk variëren tussen datasets en klinische taken. Een definitie van "hoge kwaliteit" die geschikt is voor de ene ziekte (bijv. glaucoom) kan ontoereikend zijn voor een andere. Deze taakafhankelijkheid maakt handmatige beoordeling op beeldniveau subjectief en tijdrovend. Bovendien sluiten bestaande labels op beeldniveau kwantitatieve evaluatie van gelokaliseerde degradaties uit, wat de ontwikkeling van betrouwbare, verklaarbare FIQA-systemen beperkt. Hoewel sommige methoden proberen degradaties te lokaliseren, vertrouwen ze vaak op ruisige pseudo-labels of missen ze globale context, wat leidt tot onnauwkeurige lokalisatie (bijv. het onjuist classificeren van natuurlijke gebieden met een lage vaatdichtheid, zoals de fovea, als gedegradeerd).

Methodologie
Het artikel introduceert FunPiQ, een nieuwe benchmark-dataset, en EFIQA-CP, een nieuwe methode voor kwaliteitsbeoordeling op pixelniveau.

FunPiQ Dataset:
- Samenstelling: De dataset bestaat uit 300 afbeeldingen afkomstig van drie bestaande benchmarks (EyeQ uit de VS; BRSET en mBRSET uit Brazilië) om diversiteit in etniciteit, acquisitieapparatuur (van tafelmodellen tot mobiele apparaten) en degradatietypes te waarborgen.
- Annotatiestrategie: In tegenstelling tot eerdere datasets met globale labels, biedt FunPiQ kwaliteitsannotaties op pixelniveau. De afbeeldingen werden geannoteerd door deskundige lezers onder supervisie van een gecertificeerd oogarts.
- Classes: Drie ordinale categorieën zijn gedefinieerd op basis van anatomische zichtbaarheid:
  - Good (Goed): Helder omlijnde retinale structuren met goed gedefinieerde grenzen.
  - Usable (Bruikbaar): Identificeerbare structuren met een milde vermindering in scherpte/contrast.
  - Bad (Slecht): Niet-gradeerbare regio's door ernstige artefacten, signaaluitval of media-opaciteit.
- Selectie: De dataset selecteert specifiek afbeeldingen die eerder als "bad" in brondatasets zijn gelabeld om een mix van goede, bruikbare en slechte regio's binnen elke afbeelding te garanderen, waarmee het vermogen van een model wordt getest om kwaliteit lokaal te differentiëren.
EFIQA-CP Methode:
- Architectuur: De methode bouwt voort op de EFIQA-pipeline en maakt gebruik van een bevroren DINOv3-backbone voor feature-extractie. Het vervangt de standaard lineaire adapter door een ondiepe, brede ConvNeXt-stijl netwerk met 7×7 depthwise convoluties. Dit ontwerp integreert ruimtelijke informatie via een groter receptief veld om globale context te incorporeren, wat het probleem van het onjuist classificeren van regio's met een lage vaatdichtheid aanpakt.
- Leerstrategie: Om de inherente ruis in pseudo-labels (gegenereerd door een Vessel Unsupervised Anomaly Detection-model gebaseerd op louter de afwezigheid van vaten) te behandelen, maken de auteurs gebruik van Non-Negative Positive-Unlabeled (nnPU) learning.
  - Een strikte drempelwaarde isoleert betrouwbare kwalitatief lage pixels (positieve klasse), waarbij de rest als ongeannoteerd wordt behandeld.
  - Het nnPU-framework voorkomt dat de geschatte risico's van verborgen negatieven onder nul dalen, wat de training stabiliseert en overfitting op pseudo-labels tegengaat.
  - De objectieffunctie gebruikt een softplus surrogate loss met een positieve klasse-prior ( $\pi = 0.05$ ).

Belangrijkste Bijdragen

FunPiQ Benchmark: De eerste publieke benchmark die gewijd is aan kwaliteitsbeoordeling op pixelniveau voor CFP, inclusief ground-truth annotaties voor gelokaliseerde degradatie.
EFIQA-CP: Een nieuwe methode die bestaande explainable-by-design (EBD) benaderingen verbetert door een breed-receptief veld-adapter te combineren met nnPU-learning om ruisige pseudo-labels te behandelen en de ruimtelijke precisie te verbeteren.
Uitgebreide Evaluatie: Een grondige benchmarking van bestaande FIQA-methoden (inclusief end-to-end, EBD en anomaliedetectie-benaderingen) op de nieuwe dataset, waarmee een baseline voor prestaties op pixelniveau wordt vastgesteld.

Resultaten
Uitgebreide evaluaties zijn uitgevoerd op de FunPiQ-dataset met behulp van Quadratic Weighted Kappa (QWK) en de gemiddelde Sørensen–Dice-coëfficiënt (mDice), naast binaire "Reject"-taakmetrieken (AUROC, AUPRC, S95).

Prestaties: EFIQA-CP behaalde state-of-the-art prestaties over alle metrieken en datasets (BRSET, EyeQ, mBRSET en de samengevoegde set). Het vertoonde statistisch significante verbeteringen ten opzichte van de originele EFIQA (bijv. $p < 0.0001$ voor QWK op de samengevoegde dataset).
Vergelijking: EBD-methoden (EFIQA-CP, EFIQA, EyeQual) presteerden consequent beter dan end-to-end gesuperviseerde methoden (MCF-Net, FGR-Net) en algemene anomaliedetectiemethoden (PatchCore, UniVAD).
Kwalitatieve Analyse: EFIQA-CP produceerde de meest precieze kwaliteitskaarten met vloeiende regio's en een betere benutting van het scorebereik. Hoewel EyeQual een hoge precisie vertoonde voor "good" klassen, had het moeite met het onderscheiden van "usable" van "bad". Algemene anomaliedetectiemethoden neigden naar het markeren van gedegradeerde regio's, maar produceerden ruisige kaarten met hoge scores over patches, wat suggereert dat ze bevooroordeeld zijn naar compacte anomalieën in plaats van grootschalige kwaliteitsdegradaties.
Ablatie: Het vervangen van de nnPU-loss door standaard Binary Cross-Entropy (BCE) leidde tot overfitting en prestatievermindering, wat de noodzaak van het nnPU-framework in deze setup met ruisige labels bevestigt.

Betekenis en Claims
De auteurs stellen dat pixel-level FIQA gebaseerd op anatomische zichtbaarheid een meer taakonafhankelijke en verklaarbare benadering is dan beoordeling op beeldniveau. Door een benchmark te bieden met ground-truth op pixelniveau, maakt FunPiQ een kwantitatieve evaluatie van lokalisatieprecisie mogelijk, wat voorheen onmogelijk was.

Het artikel claimt dat explainable-by-design (EBD) benaderingen een duidelijk voordeel hebben voor lokale kwaliteitsvoorspelling. Specifiek toont EFIQA-CP aan dat het combineren van architecturale verbeteringen (globale context) met robuuste leerstrategieën (nnPU) effectief de ruis van pseudo-labels kan mitigeren. De auteurs stellen dat pixel-kaarten directe klinische waarde bieden door ondersteuning te bieden bij kwaliteitscontrole voor niet-experts (identificeren waar een afbeelding onvoldoende is) en door gerichte hernameem van beelden te sturen. Bovendien kunnen deze kaarten dienen als priors voor beeldverbeteringsmodellen om anatomie van artefacten te onderscheiden. Het werk beoogt verder onderzoek naar pixel-level CFP-kwaliteitsdetectie en de ontwikkeling van robuustere, flexibelere FIQA-methoden met een sterkere klinische toepasbaarheid te stimuleren.