Retinal Malady Classification using AI: A novel ViT-SVM combination architecture

Technische Samenvatting: Retinale Ziekteclassificatie met een ViT-SVM Hybrid Architectuur

1. Het Probleem

Retinale aandoeningen zoals maculaire gaten, centrale serous retinopathie (CSR) en diabetische retinopathie (DR) zijn wereldwijd leidende oorzaken van gedeeltelijk of volledig gezichtsverlies. Vroege detectie is cruciaal voor de patiënt, maar de handmatige analyse van optische coherentietomografie (OCT) scans door artsen is tijdrovend en vatbaar voor fouten.
Bestaande AI-oplossingen, voornamelijk gebaseerd op Convolutionele Neurale Netwerken (CNN's), kampen vaak met een compromis tussen prestaties en rekenefficiëntie. Grote modellen zijn computatie-intensief, terwijl kleinere modellen vaak in prestaties inboeten. Bovendien zijn OCT-scans (die vaak in grijstinten zijn) lastig te analyseren voor standaardmodellen vanwege de complexiteit van de kleurschaal en intensiteit. Er is behoefte aan een methode die zowel hoog accuraat is als efficiënt in het omgaan met hoge dimensies en beperkte datasets.

2. Methodologie

De auteurs stellen een hybride architectuur voor die de kracht van Vision Transformers (ViT) combineert met Support Vector Machines (SVM). De studie omvat drie hoofdblokken:

• Dataset en Pre-processing:

  • Er werd gebruikgemaakt van een publiek beschikbare dataset van 517 OCT-B scans (grootte 750x500), verdeeld over vier klassen: Normaal (206), Diabetische Retinopathie (107), Centrale Serous Retinopathie (102) en Maculaire Gaten (102).
  • Pre-processing omvatte het herschalen van afbeeldingen naar 256x256 pixels en het toepassen van data-augmentatie (horizontale en verticale spiegeling) via ImageDataGenerator in batches van 8.

• Vergelijkende Modellen:

  1. VGG-16: Een klassiek CNN-model met vooraf getrainde weights (ImageNet), gebruikt als baseline.
  2. Vision Transformer (ViT): Een ViT-B32-model (Base 32) met een patch-resolutie van 32x32. Dit model splitst de afbeelding in patches, converteert deze naar tokens en gebruikt Multi-Head Self-Attention (MSP) en MLP-lagen. De output wordt verwerkt via een Dense-laag met Softmax voor classificatie.

• De Voorgestelde ViT-SVM Architectuur:

  • Dit is een hybride aanpak waarbij de ViT fungeert als een krachtig feature-extractor.
  • De output van de ViT wordt niet direct naar een Softmax-laag gestuurd, maar via twee Dense-lagen (één met 64 neuronen en één met 4 neuronen) naar een Support Vector Machine (SVM).
  • De SVM gebruikt een 'Squared hinge' loss-functie en L2-regularisatie (factor 0.01) om de beslissingsgrenzen te optimaliseren. Dit combineert de attention-mechanismen van ViT met de efficiëntie van SVM bij het verwerken van hoog-dimensionale data.

3. Belangrijkste Bijdragen

• Hybride Architectuur: De introductie van een ViT-SVM-koppeling voor retinale classificatie, waarbij ViT de complexe ruimtelijke relaties in OCT-scans vastlegt en SVM de uiteindelijke classificatie met hoge precisie uitvoert.
• Prestatieverbetering: Het aantonen dat deze hybride aanpak superieur is aan zowel een puur CNN-model (VGG-16) als een puur Transformer-model (ViT) op een relatief kleine dataset.
• Efficiëntie: Het benutten van de memory-efficiëntie van SVM in combinatie met de sterke prestaties van Transformers, wat ideaal is voor medische toepassingen met beperkte data.

4. Resultaten

De modellen werden getraind gedurende 50 epochs en geëvalueerd op precisie, recall en nauwkeurigheid (accuracy).

• Algemene Nauwkeurigheid:

  • VGG-16: 83%
  • ViT (standaard): 88%
  • ViT-SVM (Hybride): 94% (De beste prestatie).

• Klasse-specifieke Prestaties (ViT-SVM):

  • Normaal & Diabetische Retinopathie: Perfecte scores (1.00) voor zowel precisie als recall.
  • Centrale Serous Retinopathie: Precisie 0.89, Recall 0.80.
  • Maculaire Gaten: Recall 0.90.

De hybride model presteerde consistent beter dan de andere modellen, met name door de verbeterde recall bij de moeilijkere klassen (zoals maculaire gaten en CSR) vergeleken met het standaard ViT-model.

5. Betekenis en Conclusie

De studie concludeert dat Transformer-gebaseerde architecturen superieur zijn aan traditionele CNN's (zoals VGG-16) voor de classificatie van retinale aandoeningen, zelfs bij kleinere datasets. De toevoeging van een SVM-laag aan het einde van een ViT-model levert een aanzienlijke prestatieverbetering op (+6% t.o.v. ViT en +11% t.o.v. VGG-16).

Dit onderzoek onderstreept het potentieel van hybride deep learning en machine learning modellen voor de automatische, vroege detectie van oogziekten. Het biedt een robuust kader dat toekomstig onderzoek kan inspireren om deze architecturen verder te fine-tunen en uit te breiden met grotere, diverse datasets voor nog betere diagnoseondersteuning in de klinische praktijk.