VR-FuseNet: A Fusion of Heterogeneous Fundus Data and Explainable Deep Network for Diabetic Retinopathy Classification

Probleemstelling

Diabetische retinopathie (DR) is een ernstige complicatie van diabetes die leidt tot beschadiging van de retinale bloedvaten en, indien onbehandeld, tot blindheid. Vroege en accurate detectie is cruciaal voor de preventie van progressie. Bestaande methoden voor geautomatiseerde DR-detectie kampen echter met verschillende beperkingen:

• Dataset-ongelijkheid: Veel datasets vertonen een onbalans tussen de verschillende zwaarteklassen (van geen DR tot proliferatieve DR).
• Diversiteit en Generalisatie: Modellen getraind op één dataset presteren vaak slecht op andere datasets vanwege verschillen in beeldkwaliteit, camera-instellingen en populaties.
• Interpreteerbaarheid: Diepe leermodellen werken vaak als "black boxes", wat klinische acceptatie belemmert omdat artsen niet kunnen zien op basis van welke visuele kenmerken (zoals microaneurysmata of bloedingen) de diagnose is gesteld.
• Kwaliteit van beelden: Ruis en variatie in verlichting in fundusfoto's kunnen de prestaties van classificatiemodellen negatief beïnvloeden.

Methodologie

De auteurs stellen een systematische aanpak voor die bestaat uit data-aanvulling, geavanceerde pre-processing, een hybride modelarchitectuur en uitgebreide interpretatie.

1. Data-Verzameling en Hybrid Dataset
Om de generalisatie te verbeteren, werden vijf publieke datasets gecombineerd tot één grote hybride dataset:

• APTOS 2019
• DDR (Diabetic Retinopathy Dataset)
• IDRiD
• Messidor 2
• Retino
  Dit resulteerde in een dataset met aanzienlijke variatie in beeldkwaliteit, resolutie en klinische ernst.

2. Preprocessing
Om de robuustheid te vergroten, werden de volgende technieken toegepast:

• SMOTE (Synthetic Minority Over-sampling Technique): Om het probleem van class-imbalance aan te pakken, werden synthetische samples gegenereerd in de feature-ruimte (na extractie via een diep leermodel) om de minderheidsklassen te balanceren zonder de originele medische patronen te vervormen.
• CLAHE (Contrast Limited Adaptive Histogram Equalization): Toegepast op de L-kanaal (luminantie) in LAB-ruimte om het contrast te verbeteren en kleine pathologische details (zoals exsudaten) zichtbaar te maken zonder ruis te versterken.
• Normalisatie en Resizing: Alle afbeeldingen werden genormaliseerd en geschaald naar 128x128 pixels.

3. VR-FuseNet Model Architectuur
Het kerninnovatie is VR-FuseNet, een hybride deep learning model dat de sterke punten van twee state-of-the-art CNN-architecturen combineert:

• VGG19: Bekend om het vastleggen van fijne, ruimtelijke details (fine-grained spatial features) dankzij zijn diepe stack van kleine convolutielagen.
• ResNet50V2: Bekend om zijn diepe hiërarchische feature-extractie en het vermijden van het "vanishing gradient" probleem dankzij residual connections.
• Fusie-mechanisme: De feature-vectoren van beide netwerken worden niet simpelweg geconcateneerd, maar onderworpen aan een parallelle maximum-covariantie strategie. Dit creëert een dichte representatie (dimensie 2560) die redundantie minimaliseert. De gefuseerde features worden vervolgens verwerkt door dense lagen (met dropout) en een softmax-uitgave voor 5 klassen (Geen DR, Mild, Matig, Ernstig, Proliferatief).

4. Explainable AI (XAI)
Om het model klinisch bruikbaar te maken, werden vijf gradient-gebaseerde XAI-technieken toegepast om te visualiseren welke delen van het netvlies de voorspelling beïnvloeden:

• Grad-CAM en Grad-CAM++
• Layer-CAM
• Score-CAM
• Faster Score-CAM

Belangrijkste Bijdragen

1. Hybride Dataset: Een unieke combinatie van vijf datasets om bias te verminderen en de diversiteit te maximaliseren.
2. VR-FuseNet: Een nieuw hybride model dat VGG19 en ResNet50V2 fuseert, wat superieure prestaties oplevert ten opzichte van individuele modellen.
3. Uitgebreide Evaluatie: Een grondige vergelijking van meerdere transfer learning-modellen (VGG16, VGG19, ResNet50V2, MobileNetV2, Xception) op zowel individuele datasets als de hybride dataset.
4. Multi-XAI Benadering: Het vergelijken van vijf verschillende XAI-methoden om de meest betrouwbare visuele uitleg voor klinische validatie te identificeren.
5. Klinische Interpretatie: Het genereren van warmtekaarten die specifieke pathologische kenmerken (microaneurysmata, bloedingen, exsudaten) markeren, wat vertrouwen bij artsen bouwt.

Resultaten

Het VR-FuseNet-model presteerde overtuigend op de hybride dataset en overtrof alle individuele basismodellen:

• Accuracy: 91,824%
• Precision: 92,612%
• Recall: 92,233%
• F1-score: 92,392%
• AUC (Area Under Curve): 98,749%

Vergelijkingen toonden aan dat VGG19 en VGG16 over het algemeen beter presteerden dan ResNet50V2 en Xception op de individuele datasets, maar dat de fusie in VR-FuseNet de beste balans bood tussen diepe contextuele kennis en detailherkenning. De XAI-analyse bevestigde dat de modellen correct focusten op de relevante pathologische gebieden in de retinale afbeeldingen.

Betekenis en Toekomstperspectief

De studie demonstreert dat het combineren van heterogene data en hybride modelarchitecturen de generalisatie en nauwkeurigheid van DR-detectie significant verbetert. De integratie van XAI maakt het model transparant en betrouwbaar voor klinische toepassingen, wat een stap is richting de adoptie van AI in de oogheelkunde.

Beperkingen en Toekomstig Werk:

• Rekenkracht: De huidige modellen zijn zwaar; toekomstig werk richt zich op het integreren van Vision Transformers (ViTs) voor betere contextuele analyse, mits de rekenkosten worden beheerd.
• Dataset-balans: Hoewel SMOTE werd gebruikt, wordt overwogen om Generative Adversarial Networks (GANs) in te zetten voor het genereren van synthetische data om de balans verder te verbeteren.
• Real-world Generalisatie: Verdere validatie op data uit echte klinische omgevingen is nodig om de robuustheid tegen variaties in apparatuur en verlichting te testen.
• Multi-modale data: Het combineren van beeldgegevens met patiëntdemografie en klinische geschiedenis kan de diagnose verder verfijnen.

Samenvattend biedt VR-FuseNet een robuust, nauwkeurig en interpreteerbaar raamwerk voor de automatische detectie van diabetische retinopathie, wat een waardevolle bijdrage levert aan de preventie van blindheid.