Retinal Malady Classification using AI: A novel ViT-SVM combination architecture

Titolo: Classificazione delle Malattie Retiniche tramite IA: Una nuova architettura ibrida ViT-SVM

1. Il Problema

Le malattie retiniche come i buchi maculari, la retinopatia sierosa centrale e la retinopatia diabetica sono tra le patologie oculari più diffuse, responsabili di perdita parziale o totale della vista. La diagnosi precoce è fondamentale per il benessere del paziente, ma l'analisi manuale delle scansioni OCT (Tomografia a Coerenza Ottica) è un processo laborioso e soggetto a variabilità umana.
Le sfide tecniche principali includono:

• La difficoltà di classificare le scansioni OCT-B a causa delle variazioni di scala cromatica e intensità dei dati.
• Il compromesso tra le prestazioni dei modelli di Deep Learning (spesso ad alto costo computazionale e grandi dimensioni) e l'efficienza dei modelli di Machine Learning tradizionali.
• La necessità di automatizzare la rilevazione e la classificazione di queste quattro classi specifiche (Normale, Retinopatia Diabetica, Retinopatia Sierosa Centrale, Buco Maculare) con alta accuratezza.

2. Metodologia

Lo studio propone un'architettura ibrida innovativa che combina i Vision Transformer (ViT) con le Macchine a Vettori di Supporto (SVM).

• Dataset:

  • Provenienza: Dataset pubblico dell'Università di Waterloo (Lakshminarayanan et al.).
  • Composizione: 517 immagini OCT-B (dimensione originale 750x500).
  • Classi: 102 buchi maculari, 107 retinopatie diabetiche, 102 retinopatie sierose centrali, 206 retine normali.
  • Pre-processing: Ridimensionamento a 256x256, normalizzazione e aumento dei dati (flipping orizzontale/verticale) tramite ImageDataGenerator di Keras.

• Modelli a Confronto:

  1. VGG-16: Una rete neurale convoluzionale (CNN) classica pre-addestrata su ImageNet, utilizzata come baseline.
  2. Vision Transformer (ViT): Utilizzato l'architettura ViT-B32 (Base con patch 32x32). L'immagine viene suddivisa in patch, convertita in token con embedding posizionale e processata tramite Encoder Transformer (Multi-Head Self-Attention + MLP). La classificazione avviene tramite uno strato denso finale.
  3. Architettura Ibrida Proposta (ViT-SVM):
     • Utilizza il blocco ViT-B32 come estrattore di caratteristiche.
     • Invece di un semplice strato denso finale, l'output del ViT viene elaborato attraverso due strati densi (64 neuroni e 4 neuroni) con regolarizzazione L2 (fattore 0.01).
     • L'output finale viene classificato utilizzando una funzione di perdita "Squared hinge" e un classificatore SVM, sfruttando l'efficienza della memoria e la capacità di gestire spazi ad alta dimensionalità dell'SVM.

• Ambiente di Sperimentazione:

  • Framework: TensorFlow-gpu v2 con Keras API.
  • Hardware: CPU AMD Ryzen 5 3600, 16 GB RAM, GPU Nvidia 1660ti.
  • Addestramento: 50 epoche, ottimizzatore Adam, tasso di apprendimento iniziale 1e-4.

3. Contributi Chiave

• Nuova Architettura Ibrida: Introduzione della combinazione ViT-SVM per la classificazione delle malattie retiniche, unendo la potenza dell'attenzione self-attention dei Transformer con l'efficienza decisionale dell'SVM.
• Superamento dei Limiti delle CNN: Dimostrazione che l'approccio basato su Transformer supera le architetture CNN tradizionali (come VGG-16) in termini di accuratezza su dataset OCT-B, pur mantenendo un'efficienza computazionale superiore rispetto ai modelli CNN molto profondi.
• Ottimizzazione per Dati Medici: Adattamento specifico del ViT per gestire le caratteristiche uniche delle scansioni OCT (scala di grigi, intensità), dimostrando che l'uso di SVM come strato finale migliora la generalizzazione rispetto agli strati densi standard.

4. Risultati

I modelli sono stati valutati in base a Accuratezza, Precisione e Recall.

• Confronto: L'architettura ibrida ha superato il modello ViT puro del 6% e il modello VGG-16 dell'11% in termini di accuratezza globale.
• Analisi delle Metriche: L'approccio ibrido ha mostrato una capacità superiore nel ridurre i falsi negativi e positivi, specialmente nella distinzione tra le patologie complesse come i buchi maculari e la retinopatia sierosa.

5. Significato e Conclusioni

Il paper dimostra che le architetture basate su Transformer sono superiori alle CNN classiche per l'analisi delle immagini OCT, offrendo un miglior compromesso tra costo computazionale e prestazioni.
L'introduzione dello strato SVM come classificatore finale sull'output del ViT si è rivelata una strategia vincente, migliorando significativamente l'accuratezza rispetto all'uso di strati densi standard.
Questo lavoro suggerisce che l'ibridazione di tecniche di Deep Learning avanzate (ViT) con algoritmi di Machine Learning consolidati (SVM) rappresenta una direzione promettente per la diagnostica medica automatizzata, permettendo una rilevazione precoce e affidabile delle malattie retiniche. Le future ricerche potrebbero focalizzarsi sul fine-tuning di queste architetture e sull'espansione dei dataset per migliorare ulteriormente la robustezza del modello.