An Intelligent Multimodal Deep Learning Framework for Early Diagnosis of Diabetic and Hypertensive Retinopathy Using Retinal Fundus Images

Technische Samenvatting: Een Intelligent Multimodaal Deep Learning Framework voor Vroege Diagnose van Diabetische en Hypertensieve Retinopathie

Probleemstelling
Diabetische retinopathie (DR) en hypertensieve retinopathie (HR) zijn wereldwijd leidende oorzaken van irreversibel visusverlies. Hoewel vroege diagnose cruciaal is voor het voorkomen van blindheid, kampen huidige diagnostische praktijken met aanzienlijke beperkingen. De meeste bestaande systemen vertrouwen uitsluitend op de analyse van fundusbeelden van het netvlies, waarbij vitale systemische klinische biomarkers zoals bloedglucosewaarden (geglyceerd hemoglobine) en bloeddruk vaak worden genegeerd. Deze "alleen beeld"-benadering kan leiden tot een verminderde diagnostische nauwkeurigheid, met name bij vroege stadia of wanneer de beeldkwaliteit varieert. Bovendien richten veel bestaande modellen zich op ofwel DR of HR in isolatie, in plaats van beide aandoeningen gelijktijdig aan te pakken binnen een verenigd framework. Er is ook een kloof in de klinische implementatie van multimodale systemen die beeldvorming integreren met elektronische patiëntendossiers (EPD) met behulp van toegankelijke prototyperingstools zoals MATLAB.

Methodologie
De auteurs stellen een hybride, multimodaal deep learning framework voor, geïmplementeerd in MATLAB (R2023a), om zowel DR als HR te diagnosticeren door fundusbeelden te fuseren met systemische klinische gegevens.

1. Data-acquisitie: De studie maakte gebruik van een dataset van 1.200 fundusbeelden van een ziekenhuis in Pune, India, vergecompan met bijbehorende klinische gegevens. De dataset bevatte 300 normale gevallen, 825 DR-gevallen (mild, matig, ernstig) en 35 HR-gevallen. Klinische attributen omvatten glycageerd hemoglobine (verwezen als elektronische gezondheidsgegevens in de tekst), systolische bloeddruk (verwezen als systolische elektronische gezondheidsgegevens) en ziekteverloop.
2. Preprocessing:
   • Beelden: Fundusbeelden ondergingen contrastverbetering via histogram-equalisatie, ruisonderdrukking met mediaanfiltering, conversie naar grijswaarden en helderheidsnormalisatie.
   • Klinische gegevens: Numerieke klinische variabelen werden genormaliseerd met behulp van z-score schaling.
3. Segmentatie en Feature Extractie:
   • Beeldverwerking: Het framework maakte gebruik van U-Net voor de segmentatie van bloedvaten en de optische disk, active contour-modellen voor de contouren van laesies, en region growing voor de identificatie van exsudaten.
   • Feature Extractie: Diepe features werden geëxtraheerd uit de gesegmenteerde regio's met behulp van Convolutionele Neurale Netwerken (CNNs).
4. Multimodale Fusie en Classificatie:
   • Het systeem maakt gebruik van een Intermediate (Joint) Fusion strategie. Beeldfeatures (geëxtraheerd via CNN/Vision Transformer) en klinische features (gecodeerd via MLP of tekstencoders) worden geconcateneerd of gefuseerd met behulp van aandachtmechanismen om een gezamenlijke latente representatie te creëren.
   • De gefuseerde features worden door een classificatielaag (Softmax) gestuurd om ziekte-labels te voorspellen.
   • De modelarchitectuur integreert deep learning (CNN) met klinische gegevensverwerking via MLP-encoders en gated fusion mechanismen.
5. Validatie: De dataset werd gesplitst in trainingssets (70%), validatiesets (15%) en testsets (15%). Het model werd geëvalueerd met behulp van 10-voudige kruisvalidatie om stabiliteit te garanderen en overfitting te voorkomen.

Belangrijkste Bijdragen

• Dual-Pathology Detection: In tegenstelling tot veel eerdere werken die zich op een enkele ziekte richten, diagnosticeert dit framework gelijktijdig zowel Diabetische als Hypertensieve Retinopathie.
• Multimodale Integratie: De studie demonstreert de effectiviteit van het fuseren van retina-beeldvorming met systemische biomarkers (glycageerd hemoglobine en bloeddruk) om de beperkingen van alleen beeldmodellen te overwinnen.
• MATLAB Implementatie: Het framework is volledig ontwikkeld in MATLAB, wat een schaalbare, laagkostenoplossing biedt die geschikt is voor medische prototypering en omgevingen met beperkte middelen.
• Hybride Architectuur: De integratie van deep learning (CNN) met klinische gegevensverwerking (MLP) creëert een robuust diagnostisch instrument dat zowel lokale retina-laesies als de systemische fysiologische context vastlegt.

Resultaten
Het voorgestelde multimodale framework vertoonde een superieure prestatie vergeleken met single-modality baselines:

• Nauwkeurigheid: Het hybride model bereikte een algehele nauwkeurigheid van 98%.
• Vergelijking: Dit presteerde beter dan image-only CNN-modellen (91,82% nauwkeurigheid) en klinische gegevens-only Random Forest-modellen (85,90% nauwkeurigheid).
• Metrieken: Het model behaalde een Sensitiviteit van 96,04%, een Specificiteit van 98,10%, een F1-score van 0,976 en een AUC van 0,98.
• Foutreductie: De integratie van klinische gegevens verminderde het aantal fout-negatieven met ongeveer 40% vergeleken met baseline CNN-benaderingen, wat met name de detectie van vroege stadia van DR en HR verbeterde.
• Statistische Significantie: Een gepaarde t-toets bevestigde dat de inclusie van klinische features resulteerde in een statistisch significante verbetering in nauwkeurigheid (p < 0,001). ANOVA-testen toonden ook een significant hoofdeffect van het type modaliteit aan (F(2, 27) = 23,6, p < 0,0005).
• Generalisatie: Het model behield een nauwkeurigheid boven de 95% over verschillende demografische groepen (leeftijden 35–75) en ziektestadia.

Significantie en Claims
Het artikel beweert dat dit multimodale framework een "quantum leap" vertegenwoordigt ten opzichte van traditionele alleen beeld-methoden door de diagnostische sensitiviteit aanzienlijk te verhogen, vooral voor vroege stadia waar visuele tekenen subtiel zijn. Door systemische context (glycageerd hemoglobine en bloeddruk) op te nemen, vermindert het systeem fout-negatieven en verbetert het de risicostratificatie.

De auteurs stellen dat het framework bijzonder waardevol is voor:

• Screening en Telemedicine: Het bieden van een schaalbare, laagkostenoplossing voor grootschalige oogheelkundige screening, vooral in gebieden met beperkte toegang tot specialisten.
• Klinische Beslissingsondersteuning: Het bieden van een volledere risicoevaluatie die snellere en nauwkeurigere besluitvorming ondersteunt.
• Dual Diagnose: Het mogelijk maken van de screening van zowel DR als HR via één enkel beeldverwervingstraject.

De studie concludeert dat hoewel de huidige resultaten veelbelovend zijn, toekomstig werk zich moet richten op het valideren van het model met multi-center data, het implementeren van het systeem op mobiele apparaten voor point-of-care diagnose, en het uitvoeren van longitudinale studies om ziekteprogressie en behandelingsrespons te volgen.