An Intelligent Multimodal Deep Learning Framework for Early Diagnosis of Diabetic and Hypertensive Retinopathy Using Retinal Fundus Images

Technische Zusammenfassung: Ein intelligentes multimodales Deep-Learning-Framework zur Früherkennung von diabetischer und hypertensiver Retinopathie

Problemstellung
Die diabetische Retinopathie (DR) und die hypertensive Retinopathie (HR) sind weltweit führende Ursachen für irreversiblen Sehverlust. Während eine Früherkennung entscheidend ist, um Erblindung zu verhindern, stehen aktuelle diagnostische Praktiken vor erheblichen Einschränkungen. Die meisten bestehenden Systeme verlassen sich ausschließlich auf die Analyse von Netzhautfundusbildern und ignorieren dabei oft lebenswichtige systemische klinische Biomarker wie Blutzuckerspiegel (glykiertes Hämoglobin) und Blutdruck. Dieser rein bildbasierte Ansatz kann zu einer verringerten diagnostischen Genauigkeit führen, insbesondere bei frühen Krankheitsstadien oder variierender Bildqualität. Darüber hinaus konzentrieren sich viele bestehende Modelle entweder auf DR oder HR isoliert, anstatt beide Erkrankungen gleichzeitig innerhalb eines einheitlichen Frameworks zu adressieren. Es gibt zudem eine Lücke in der klinischen Implementierung multimodaler Systeme, die Bildgebung mit elektronischen Patientenakten (EHR) unter Verwendung zugänglicher Prototyping-Tools wie MATLAB integrieren.

Methodik
Die Autoren schlagen ein hybrides, multimodales Deep-Learning-Framework vor, das in MATLAB (R2023a) implementiert wurde, um sowohl DR als auch HR durch die Fusion von Netzhautfundusbildern mit systemischen klinischen Daten zu diagnostizieren.

1. Datenerfassung: Die Studie nutzte einen Datensatz von 1.200 Fundusbildern aus einem Krankenhaus in Pune, Indien, begleitet von den entsprechenden klinischen Aufzeichnungen. Der Datensatz umfasste 300 Normalfälle, 825 DR-Fälle (leicht, moderat, schwer) und 35 HR-Fälle. Zu den klinischen Attributen gehörten glykiertes Hämoglobin (im Text als elektronische Patientenakte bezeichnet), systolischer Blutdruck (im Text als systolischer elektronischer Datensatz bezeichnet) und die Krankheitsdauer.
2. Vorverarbeitung:
   • Bilder: Die Fundusbilder wurden einer Kontrastverstärkung mittels Histogramm-Equalisierung, Rauschunterdrückung durch Medianfilterung, Umwandlung in Graustufen und Helligkeitsnormierung unterzogen.
   • Klinische Daten: Numerische klinische Variablen wurden mittels Z-Score-Skalierung normalisiert.
3. Segmentierung und Merkmalsextraktion:
   • Bildverarbeitung: Das Framework setzte U-Net für die Segmentierung von Blutgefäßen und der Optikuspapille, Active-Contour-Modelle für Läsionskonturen und Region Growing zur Identifizierung von Exsudaten ein.
   • Merkmalsextraktion: Tiefe Merkmale (Deep Features) wurden aus den segmentierten Regionen mittels Convolutional Neural Networks (CNNs) extrahiert.
4. Multimodale Fusion und Klassifizierung:
   • Das System nutzt eine intermediäre (gemeinsame) Fusionsstrategie. Bildmerkmale (extrahiert via CNN/Vision Transformer) und klinische Merkmale (kodiert via MLP oder Text-Encoder) werden konkateniert oder mittels Attention-Mechanismen fusioniert, um eine gemeinsame latente Repräsentation zu erstellen.
   • Die fusionierten Merkmale werden an eine Klassifizierungsschicht (Softmax) weitergeleitet, um die Krankheitslabels vorherzusagen.
   • Die Modellarchitektur integriert Deep Learning (CNN) mit der Verarbeitung klinischer Daten mittels MLP-Encodern und Gated-Fusion-Mechanismen.
5. Validierung: Der Datensatz wurde in Trainings- (70 %), Validierungs- (15 %) und Testsets (15 %) aufgeteilt. Das Modell wurde mittels 10-facher Kreuzvalidierung evaluiert, um die Stabilität zu gewährleisten und Overfitting zu vermeiden.

Wesentliche Beiträge

• Dual-Pathologie-Detektion: Im Gegensatz zu vielen vorangegangenen Arbeiten, die sich auf eine einzige Erkrankung konzentrieren, diagnostiziert dieses Framework gleichzeitig die diabetische und die hypertensive Retinopathie.
• Multimodale Integration: Die Studie demonstriert die Effizienz der Fusion von Netzhautbildgebung mit systemischen Biomarkern (glykiertes Hämoglobin und Blutdruck), um die Einschränkungen rein bildbasierter Modelle zu überwinden.
• MATLAB-Implementierung: Das Framework wurde vollständig in MATLAB entwickelt und bietet eine skalierbare, kostengünstige Lösung, die für medizinisches Prototyping und ressourcenbeschränkte Umgebungen geeignet ist.
• Hybride Architektur: Die Integration von Deep Learning (CNN) mit der Verarbeitung klinischer Daten (MLP) schafft ein robustes Diagnosetool, das sowohl lokale Netzhautläsionen als auch den systemischen physiologischen Kontext erfasst.

Ergebnisse
Das vorgeschlagene multimodale Framework zeigte eine überlegene Leistung im Vergleich zu einmodalen Baseline-Modellen:

• Genauigkeit: Das hybride Modell erreichte eine Gesamtgenauigkeit von 98 %.
• Vergleich: Dies übertraf bildbasierte CNN-Modelle (91,82 % Genauigkeit) und klinische Daten-basierte Random-Forest-Modelle (85,90 % Genauigkeit).
• Metriken: Das Modell erreichte eine Sensitivität von 96,04 %, eine Spezifität von 98,10 %, einen F1-Score von 0,976 und einen AUC von 0,98.
• Fehlerreduktion: Die Integration klinischer Daten reduzierte die falsch-negativen Ergebnisse um etwa 40 % im Vergleich zu den Baseline-CNN-Ansätzen, insbesondere durch die Verbesserung der Detektion von DR und HR im Frühstadium.
• Statistische Signifikanz: Ein gepaarter t-Test bestätigte, dass die Einbeziehung klinischer Merkmale zu einer statistisch signifikanten Verbesserung der Genauigkeit führte (p < 0,001). Auch ANOVA-Tests zeigten einen signifikanten Haupteffekt des Modalitätstyps (F(2, 27) = 23,6, p < 0,0005).
• Generalisierung: Das Modell behielt eine Genauigkeit von über 95 % über verschiedene demografische Gruppen (Alter 35–75) und Krankheitsstadien hinweg bei.

Bedeutung und Ansprüche
Das Paper behauptet, dass dieses multimodale Framework einen „Quantensprung“ gegenüber traditionellen bildbasierten Methoden darstellt, indem es die diagnostische Sensitivität signifikant erhöht, insbesondere bei frühen Stadien, in denen visuelle Anzeichen subtil sind. Durch die Einbeziehung des systemischen Kontexts (glykiertes Hämoglobin und Blutdruck) reduziert das System falsch-negative Ergebnisse und verbessert die Risikostratifizierung.

Die Autoren betonen, dass das Framework besonders wertvoll ist für:

• Screening und Telemedizin: Bereitstellung einer skalierbaren, kostengünstigen Lösung für groß angelegtes ophthalmologisches Screening, insbesondere in Gebieten mit begrenztem Zugang zu Spezialisten.
• Klinische Entscheidungsunterstützung: Ermöglichung einer vollständigen Risikobewertung, die eine schnellere und präzisere Entscheidungsfindung unterstützt.
• Dualdiagnose: Ermöglicht das Screening sowohl der DR als auch der HR durch einen einzigen Bildakquisitionspfad.

Die Studie kommt zu dem Schluss, dass die aktuellen Ergebnisse vielversprechend sind, die zukünftige Arbeit jedoch auf die Validierung des Modells mit Multi-Center-Daten, die Implementierung des Systems auf mobilen Endgeräten für die Point-of-Care-Diagnostik und die Durchführung von Längsschnittstudien zur Verfolgung des Krankheitsverlaufs und des Ansprechens auf Behandlungen fokussieren sollte.