Retinal Malady Classification using AI: A novel ViT-SVM combination architecture

Technische Zusammenfassung: Klassifizierung retinaler Erkrankungen mittels einer hybriden ViT-SVM-Architektur

1. Problemstellung

Die Arbeit adressiert die dringende Notwendigkeit einer frühen und automatisierten Erkennung schwerwiegender Augenerkrankungen, die zu teilweisem oder komplettem Sehverlust führen können. Im Fokus stehen drei spezifische Pathologien:

• Makulalöcher (Macular Holes): Öffnungen im zentralen Fovealbereich der Netzhaut.
• Zentralseröse Retinopathie (Central Serous Retinopathy): Ablösung der neurosensorischen Netzhaut durch Flüssigkeitsansammlung.
• Diabetische Retinopathie: Eine mikrovaskuläre Komplikation des Diabetes, die eine häufige Ursache für Erblindung darstellt.

Herausforderungen bei der Diagnose liegen in der manuellen Abhängigkeit von Ärzten, der Komplexität der optischen Kohärenztomographie (OCT)-B-Scans (schwierige Farbskalen und Intensitäten) sowie dem Ziel, rechenintensive Modelle zu vermeiden, ohne dabei die Genauigkeit zu opfern.

2. Methodik und Architektur

Die Autoren schlagen einen hybriden Ansatz vor, der die Stärken von Vision Transformern (ViT) mit denen von Support Vector Machines (SVM) kombiniert. Das Ziel ist die Klassifizierung von OCT-B-Scans in vier Klassen: Normal, Makulalöcher, Zentralseröse Retinopathie und Diabetische Retinopathie.

Datensatz und Vorverarbeitung:

• Quelle: Ein öffentlicher Datensatz der University of Waterloo (Lakshminarayanan et al.) mit insgesamt 517 OCT-B-Scans (Größe 750x500).
• Klassenverteilung: 206 Normal, 107 Diabetische Retinopathie, 102 Makulalöcher, 102 Zentralseröse Retinopathie.
• Preprocessing: Bilder wurden auf 256x256 Pixel skaliert. Zur Datenaugmentierung wurden zufällige vertikale und horizontale Spiegelungen mittels ImageDataGenerator (Batch-Größe 8) angewendet.

Vergleichsmodelle:
Um die Leistung zu validieren, wurden drei Modelle implementiert und verglichen:

1. VGG-16: Ein klassisches, tiefes CNN mit vortrainierten Gewichten (ImageNet), gefolgt von einer Flatten-Schicht, Dropout (0.5) und einer Dense-Schicht mit Softmax.
2. Vision Transformer (ViT): Ein reines ViT-Modell (ViT-B32, Patch-Größe 32x32). Die Ausgabe des Transformers wird über eine Flatten-Schicht, Dropout (0.5) und eine Dense-Schicht (4 Neuronen, Softmax) klassifiziert.
3. Hybride ViT-SVM-Architektur (Vorgeschlagen):
   • Feature-Extraktion: Ein ViT-B32-Modell extrahiert die Merkmale aus den Bild-Patches.
   • Verknüpfung: Die Ausgabe des ViT wird durch zwei Dense-Schichten geleitet (64 Neuronen, gefolgt von 4 Neuronen).
   • Regularisierung: L2-Regularisierung (Faktor 0.01) wird angewendet.
   • Klassifizierung: Anstelle einer reinen Softmax-Ausgabe wird die Ausgabe als Eingabe für einen Support Vector Machine (SVM)-Klassifikator genutzt. Als Verlustfunktion wurde "Squared Hinge" verwendet, optimiert mit dem Adam-Optimierer.

Implementierung:
Die Experimente wurden mit TensorFlow-GPU v2 und Keras durchgeführt. Die Modelle wurden für 50 Epochen auf einem System mit AMD Ryzen 5 3600 und Nvidia GTX 1660 Ti trainiert.

3. Wichtige Beiträge

• Hybride Architektur: Die Arbeit führt eine neuartige Kombination aus einem Transformer-basierten Feature-Extraktor (ViT) und einem SVM-Klassifikator ein. Dies nutzt die Fähigkeit von ViT, globale Kontexte und Beziehungen zwischen Bild-Patches durch Self-Attention zu erfassen, und kombiniert dies mit der Effizienz und Robustheit von SVM bei hochdimensionalen Daten und begrenzten Datensätzen.
• Leistungsoptimierung: Der Ansatz zielt darauf ab, die Genauigkeit von reinen Deep-Learning-Modellen zu übertreffen, ohne den Rechenaufwand signifikant zu erhöhen.
• Umfassender Vergleich: Die Studie bietet einen direkten Vergleich zwischen einem etablierten CNN (VGG-16), einem modernen Transformer (ViT) und dem hybriden Ansatz auf demselben medizinischen Datensatz.

4. Ergebnisse

Die Leistung wurde anhand von Genauigkeit (Accuracy), Präzision (Precision) und Recall bewertet:

• VGG-16: Erreichte eine Gesamtgenauigkeit von 83 %. Zeigte gute Präzision bei "Normal" und "Diabetische Retinopathie", aber schwächere Ergebnisse bei anderen Klassen.
• ViT (Rein): Erzielte eine Genauigkeit von 88 % und verbesserte die Erkennung von Zentralseröser Retinopathie und Makulalöchern im Vergleich zu VGG-16.
• ViT-SVM (Hybrid): Das vorgeschlagene Modell übertraf alle anderen mit einer Genauigkeit von 94 %.
  • Spezifische Metriken: Das hybride Modell erreichte perfekte Werte (1.00) für Präzision und Recall bei der Erkennung von "Normalen" und "Diabetischer Retinopathie".
  • Vergleich: Der hybride Ansatz verbesserte die Genauigkeit um 6 % gegenüber dem reinen ViT und um 11 % gegenüber VGG-16.

Die Konfusionsmatrix bestätigte, dass das ViT-SVM-Modell die geringste Anzahl an Fehlklassifizierungen aufwies, insbesondere bei den schwieriger zu unterscheidenden Pathologien.

5. Bedeutung und Fazit

Die Studie demonstriert, dass Transformer-basierte Architekturen in der medizinischen Bildanalyse überlegen sind gegenüber klassischen CNNs wie VGG-16, insbesondere bei der Verarbeitung von OCT-Scans.

Der entscheidende Beitrag liegt in der Validierung, dass die Kombination von ViT und SVM die beste Leistung erbringt. Dies liegt vermutlich daran, dass der SVM-Klassifikator in der Lage ist, die hochdimensionalen, durch den Transformer extrahierten Merkmale effizienter zu trennen als ein einfacher Fully-Connected-Layer (Softmax), was besonders bei kleineren medizinischen Datensätzen vorteilhaft ist.

Die Autoren empfehlen zukünftige Forschungsarbeiten, die auf der Feinabstimmung (Fine-Tuning) dieser Architekturen und der Erweiterung der Datensatzgröße basieren, um die Diagnosegenauigkeit weiter zu steigern und die klinische Anwendbarkeit zu untermauern.