From Pixels to Explanations: Interpretable Diabetic Retinopathy Grading with CNN-Transformer Ensembles, Visual Explainability and Vision-Language Models

Technische Samenvatting: Van Pixels naar Uitleg: Interpreteerbare Diabetic Retinopathy Grading met CNN-Transformer Ensembles, Visuele Verklaring en Vision-Language Modellen

1. Probleemstelling

De screening op diabetische retinopathie (DR) is cruciaal voor het voorkomen van blindheid, maar de effectiviteit ervan hangt af van nauwkeurige ernst-classificatie (grading). Hoewel Deep Learning (DL) modellen uitstekende prestaties leveren bij het voorspellen van DR-stadia, kampen ze met twee grote problemen in een klinische context:

• Gebrek aan interpreteerbaarheid: De meeste modellen zijn "black boxes". Clinici moeten niet alleen weten wat de diagnose is, maar ook waarom (op basis van welke pathologische kenmerken zoals microaneurysma's of bloedingen).
• Onbetrouwbare uitleg: Bestaande methoden zoals heatmap-gebaseerde saliency maps (bijv. Grad-CAM) zijn vaak te diffuus, inconsistent tussen architecturen en bieden geen klinisch bruikbare tekstuele onderbouwing.

2. Methodologie

De auteurs stellen een geïntegreerde pipeline voor die zowel de classificatie als de uitleg (explainability) systematisch aanpakt. Het onderzoek is opgebouwd uit drie fasen:

• Backbone Benchmarking (RQ1): Er is een gecontroleerde vergelijking uitgevoerd tussen zes representatieve architecturen op de APTOS 2019 dataset:

  • CNN's: ResNet-50, DenseNet-121, EfficientNet-B3 en ConvNeXt-Tiny.
  • Transformers: DeiT-Small en Swin Transformer.
  • Er werd gebruikgemaakt van een gestratificeerde vijf-voudige cross-validatie en een class-weighted cross-entropy loss om de natuurlijke onbalans in de dataset aan te pakken.

• Ensemble Learning (RQ2): Om de robuustheid te vergroten, werden verschillende strategieën getest om de zwaktes van individuele modellen te compenseren:

  • Hard voting, Weighted soft voting, Stacking en een nieuw voorgestelde Hybrid Class-Level Fusion (waarbij modellen verschillende gewichten krijgen per DR-graad).

• Multimodale Explainability Pipeline (RQ3): Er is een systeem ontwikkeld dat twee soorten uitleg combineert:

  • Visueel: Grad-CAM++ voor het lokaliseren van relevante regio's in het fundusbeeld.
  • Tekstueel: Vision-Language Models (VLM's), specifiek llava-1.5-1b en de biomedisch aangepaste llava-med-v1.5-mistral-7b, die korte klinische rationales genereren op basis van het beeld en de voorspelde waarschijnlijkheden.
  • Evaluatie: De tekstuele kwaliteit werd kwantitatief gemeten via BERTScore (semantische gelijkenis), CLIPScore (beeld-tekst alignment) en een Coverage-metriek (aanwezigheid van klinische termen).

3. Belangrijkste Bijdragen

1. Systematische Benchmark: Een rigoureuze vergelijking tussen CNN's en Transformers voor DR-grading onder identieke protocollen.
2. Hybride Fusie-strategie: De introductie van een class-level fusion methode om grade-specifieke voordelen van verschillende architecturen te benutten.
3. Multimodale Interpretatie-framework: Een pipeline die visuele lokalisatie koppelt aan tekstuele klinische rapportage, waarbij de kwaliteit van de tekst expliciet wordt geëvalueerd.

4. Resultaten

• Classificatie: Moderne CNN's presteerden het best als standalone modellen. ResNet-50 (QWK 0,919) en ConvNeXt-Tiny (QWK 0,914) waren de sterkste baselines. Transformers waren competitief maar minder consistent bij minderheidsklassen.
• Ensembling: Ensembling verbeterde de prestaties aanzienlijk. Weighted soft voting leverde de meest consistente verbetering met een gemiddelde QWK van 0,934. De hybride class-level fusion was competitief, maar leverde geen statistisch significant voordeel op over standaard methoden.
• Uitlegkwaliteit:
  • De VLM's produceerden tekst die consistent was met de voorspelde graden.
  • Er werd een trade-off gevonden: het lichte LLaVA-model scoorde hoger op BERTScore (tekstuele gelijkenis met templates), terwijl het biomedische llava-med model een hogere Coverage behaalde (meer relevante klinische termen).
  • De beeld-tekst alignment (CLIPScore) was voor beide modellen vergelijkbaar.

5. Betekenis en Conclusie

Dit onderzoek toont aan dat de kloof tussen AI-voorspellingen en klinische interpretatie kan worden overbrugd door tekstuele rationales toe te voegen aan visuele kaarten. De belangrijkste implicaties zijn:

• Beslissingsondersteuning: Het systeem is niet bedoeld als vervanging van de arts, maar als een "expert-in-the-loop" hulpmiddel voor triage en snellere beoordeling.
• Transparantie: Door het combineren van visuele en tekstuele cues kunnen clinici sneller verifiëren of een model zich baseert op echte pathologie of op artefacten.
• Toekomst: De studie benadrukt de noodzaak van externe validatie op diverse datasets en de integratie van meer geavanceerde lokalisatietechnieken (zoals segmentatie) om de betrouwbaarheid verder te verhogen.