Diabetic Retinopathy Grading with CLIP-based Ranking-Aware Adaptation:A Comparative Study on Fundus Image

Probleemstelling

Diabetische retinopathie (DR) is een progressieve microvasculaire complicatie van diabetes en een leidende oorzaak van voorkombare blindheid wereldwijd. Een vroege en accurate indeling van de ernst van DR (van "geen DR" tot "proliferatieve DR") is cruciaal voor tijdige klinische ingrepen. Handmatige grading door oogartsen is echter duur, tijdrovend en onderhevig aan variabiliteit tussen beoordelaars.

Hoewel vision-language foundation-modellen zoals CLIP sterke zero-shot transfer-vaardigheden hebben getoond, is het onzeker of deze modellen direct toepasbaar zijn voor gespecialiseerde medische taken zoals DR-gradering. De uitdagingen zijn tweeledig:

1. Subtiele inter-class verschillen: De verschillen tussen de ernstgraden kunnen zeer subtiel zijn.
2. Grote class-imbalance: De datasets bevatten vaak veel meer gevallen van "geen DR" dan van ernstige vormen, wat de prestaties van standaard modellen beïnvloedt.

Methodologie

De auteurs vergelijken systematisch drie CLIP-gebaseerde strategieën voor de vijf-klassen DR-gradering, getraind en geëvalueerd op een gecombineerde dataset van APTOS 2019 en Messidor-2 (totaal $n=5.406$ beelden).

1. Zero-shot CLIP Baseline

• Aanpak: Toepassing van het standaard CLIP-model zonder domeinspecifieke training.
• Implementatie: Handmatig ontworpen tekst-prompten (bijv. "een fundusfoto met milde diabetische retinopathie") worden vergeleken met beeld-embeddings via cosine-similariteit.
• Doel: Meten van de "out-of-the-box" capaciteit van CLIP voor DR-herkenning.

2. Hybride FCN-CLIP Model met CBAM Attention

• Aanpak: Een supervised classificatiepijplijn die CLIP's visuele backbone combineert met een convolutionele decoder.
• Architectuur:
  • De bevroren CLIP-encoder (ResNet-gebaseerd) extraheren feature maps.
  • Een Fully Convolutional Network (FCN) decoder verwerkt deze features.
  • CBAM (Convolutional Block Attention Module): Modules voor kanaal- en ruimtelijke attention worden ingevoegd om de focus van het model te richten op klinisch relevante laesies (microaneurysmata, bloedingen, exsudaten).
• Training: Gebruik van gewogen cross-entropy en focal loss (gamma=2.0) om class-imbalance aan te pakken.

3. Ranking-aware Prompting Model

• Aanpak: Een model dat de ordinale structuur van DR-ernst (van licht naar ernstig) expliciet encodeert.
• Mechanisme: Leerbare prompt-vectoren worden geoptimaliseerd per klasse. De training vereist dat de similariteitsscores de rangorde respecteren: de ground-truth klasse moet de hoogste score krijgen, en ernstigere graden moeten hoger scoren dan lichtere graden.
• Verliesfunctie: Een combinatie van cross-entropy en ranking loss (met een gewicht $\alpha=0.7$).
• Optimalisatie: Class-specifieke optimale drempelwaarden (thresholds) worden gekalibreerd op de validatieset om de recall voor minderheidsklassen te verbeteren (omzetten naar vijf "one-vs-rest" beslissingen).

Data-voorbereiding en Imbalance Mitigatie
Om het probleem van class-imbalance aan te pakken (waarbij "Geen DR" 52,2% uitmaakt en "Proliferatieve DR" slechts 6,1%), werd een strategie van resampling (combinatie van undersampling en oversampling) toegepast om de trainingsset te balanceren. Daarnaast werden versterkte augmentaties (zoals willekeurige erasing en bredere rotatie) gebruikt voor de minderheidsklassen.

Belangrijkste Resultaten

De experimenten tonen aan dat domeinspecifieke aanpassing essentieel is, aangezien de zero-shot baseline significant onderpresteert.

Metriek	Zero-shot Baseline	Hybride FCN-CLIP	Ranking-aware Model
Totale Accuracy	55,17%	92,49%	93,42%
AUROC	0,75	0,99	0,9845
Recall Severe DR	50%	82%	83%
Recall Proliferative DR	60%	74%	50%
Exacte Matches	60%	75%	80%

• Ranking-aware Model: Bereikt de hoogste algehele nauwkeurigheid en de beste recall voor ernstige DR-gevallen (83%). Dit is cruciaal voor screeningscontexten waar het missen van ernstige gevallen hoge klinische kosten heeft.
• Hybride FCN-CLIP: Presteert aanzienlijk beter bij het detecteren van proliferatieve DR (74% recall vs. 50% bij het ranking-model). Dit wordt toegeschreven aan de CBAM attention die zich richt op specifieke laesies.
• Foutverdeling: De zero-shot baseline maakt veel "off-by-two-or-more" fouten (10%), wat klinisch problematisch is. Beide fine-tuned modellen reduceren dit drastisch (respectievelijk 3% en 2%).

Kernbijdragen

1. Gestuurde Vergelijking: Een gecontroleerde vergelijking van zero-shot, supervised en prompt-learning strategieën onder identieke data- en evaluatievoorwaarden.
2. Complementaire Sterktes: Analyse van hoe het ranking-aware model (ordinale sensitiviteit) en het hybride FCN-CLIP model (laesie-localisatie) elkaar aanvullen, wat suggereert dat een ensemble-aanpak potentieel nog betere resultaten kan leveren.
3. Praktische Strategie voor Imbalance: Een effectieve combinatie van resampling en threshold-calibratie die de prestaties op minderheidsklassen verbetert zonder de algehele nauwkeurigheid te verlagen.

Significantie en Toekomstperspectief

De studie demonstreert dat CLIP-modellen, hoewel krachtig, niet direct inzetbaar zijn voor complexe medische graderingstaken zonder aanpassing. De resultaten benadrukken dat:

• Ranking-aware learning essentieel is om de ordinaire aard van medische progressie te modelleren.
• Attention-mechanismen (zoals CBAM) nodig zijn om de focus te leggen op subtiele pathologische kenmerken in plaats van algemene anatomische structuren.

Beperkingen:
De studie is beperkt tot een interne validatie op de gecombineerde dataset; externe validatie op onafhankelijke populaties (verschillende camera's, demografie) ontbreekt. Ook is de recall voor proliferatieve DR bij het ranking-model nog steeds laag (50%), wat een aandachtspunt is voor klinische implementatie.

Conclusie:
Voor een effectief DR-screeningsprogramma is een domeinspecifieke adaptatie noodzakelijk. Een toekomstige multi-stadia of ensemble-aanpak, die de ordinaire sensitiviteit van het ranking-model combineert met de laesie-detectie van het hybride model, lijkt de meest veelbelovende richting voor klinische implementatie.