Do Diabetic Foot Ulcer Segmentation Models Generalize? A Cross-Dataset Benchmark of CNN and Transformer Architectures

Sintesi Tecnica: I modelli di segmentazione delle ulcere del piede diabetico generalizzano?

Problema
I modelli di deep learning per la segmentazione delle ulcere del piede diabetico (DFU) riportano regolarmente un'elevata accuratezza (punteggi Dice spesso >0,80) quando vengono addestrati e testati sullo stesso dataset. Tuttavia, queste valutazioni sono quasi esclusivamente "in-domain", fallendo nel misurare il comportamento del modello su dati provenienti da diverse fonti cliniche, telecamere o popolazioni di pazienti. Gli studi pregressi cross-dataset si sono limitati a reti neurali convoluzionali (CNN) e modelli basati su prompt (es. SAM), lasciando non misurata la capacità di generalizzazione delle moderne architetture Transformer nel dominio delle DFU. Inoltre, i benchmark esistenti spesso mancano di uno screening rigoroso per la fuga di dati (sovrapposizione di immagini) tra i set di addestramento e di test, il che potrebbe gonfiare le affermazioni sulla generalizzazione.

Metodologia
Gli autori hanno condotto un benchmark cross-dataset controllato e sottoposto a screening per la fuga di dati, confrontando tre architetture di segmentazione rappresentative:

• Baseline CNN: U-Net e DeepLabV3+ (entrambe con encoder ResNet-34).
• Architettura Transformer: SegFormer-B2 (con encoder MiT-B2).

Protocollo dei Dati:

• Fonte di Addestramento: Un dataset combinato di immagini di ferite FUSeg e AZH. Gli autori hanno eseguito un audit rigoroso utilizzando MD5 e hashing percettivo (dHash) per rilevare e rimuovere sovrapposizioni a livello di immagine, trattando FUSeg e AZH come un'unica fonte dopo aver confermato la loro significativa sovrapposizione.
• Set di Test Esterni: Due dataset indipendenti senza sovrapposizione di immagini con la fonte di addestramento:
  1. DFUC2022: 2.000 immagini da un sito clinico differente (Test Esterno #1).
  2. Medetec: 160 immagini (Test Esterno #2).
• Protocollo di Addestramento: Tutti i modelli sono stati addestrati per 30 epoche su input 256×256 utilizzando una perdita combinata Dice e cross-entropy binaria. Non è stato eseguito alcun fine-tuning sui set di test esterni.
• Valutazione: Le prestazioni sono state misurate utilizzando il coefficiente Dice e l'Intersection-over-Union (IoU). La significatività statistica è stata valutata tramite test di Wilcoxon signed-rank sui punteggi Dice per immagine. Un'analisi dei fallimenti per immagine ha definito i "fallimenti catastrofici" come immagini con Dice < 0,4.

Contributi Chiave

1. Primo Benchmark Cross-Dataset con Screening per la Fuga di Dati: Questo studio è il primo ad applicare un protocollo di screening della fuga per confrontare le architetture CNN e Transformer per la segmentazione delle DFU attraverso dataset indipendenti.
2. Analisi tra Famiglia di Architetture e Complessità: Il lavoro isola l'impatto della famiglia di architetture (Transformer vs. CNN) dalla complessità del modello, utilizzando DeepLabV3+ (CNN complessa) e U-Net (CNN più semplice) come baseline contro SegFormer-B2.
3. Analisi dei Fallimenti Esaustiva: Oltre alle metriche aggregate, lo studio fornisce un'analisi dei fallimenti per immagine su 2.160 immagini di test, categorizzando i fallimenti e analizzando la severità del calo delle prestazioni.

Risultati

• Prestazioni In-Domain: Tutti i modelli hanno ottenuto prestazioni elevate sul set di validazione FUSeg tenuto da parte (Dice 0,802–0,834), con SegFormer-B2 che performa leggermente meglio. Lo scarto è ridotto, suggerendo che la scelta dell'architettura abbia un impatto minimo all'interno di una singola distribuzione di dati.
• Generalizzazione Cross-Dataset: Tutti i modelli hanno subito una sostanziale degradazione delle prestazioni quando testati su dataset esterni.
  • DFUC2022: SegFormer-B2 ha raggiunto il Dice più alto (0,557), superando U-Net (0,501) e DeepLabV3+ (0,489). SegFormer-B2 ha dimostrato anche una stabilità superiore, con una deviazione standard (±0,003) di un ordine di grandezza inferiore rispetto a U-Net (±0,029).
  • Medetec: SegFormer-B2 ha nuovamente guidato con un Dice di 0,786, rispetto a 0,737 (U-Net) e 0,730 (DeepLabV3+).
• Tassi di Fallimento: Su DFUC2022, SegFormer-B2 ha prodotto il minor numero di fallimenti catastrofici (31,1% di immagini con Dice < 0,4), rispetto al 38,5% per U-Net e al 43,0% per DeepLabV3+.
• Significatività Statistica: I test di Wilcoxon signed-rank hanno confermato che SegFormer-B2 ha superato significativamente entrambe le baseline CNN su entrambi i dataset esterni (p < 0,001). La differenza tra i due modelli CNN non è stata statisticamente significativa su Medetec.
• Severità del Fallimento: Su Medetec, sebbene SegFormer-B2 abbia avuto un numero di fallimenti leggermente superiore a U-Net, i suoi fallimenti sono stati meno severi (raggruppandosi appena sotto la soglia di 0,4), mentre i fallimenti delle CNN includevano una "coda catastrofica" più pesante (Dice ≈ 0).

Significato e Affermazioni
L'articolo conclude che la famiglia di architetture è un fattore più decisivo per la generalizzazione cross-ospedaliera rispetto alla complessità del modello. Nello specifico, il modello basato su Transformer SegFormer-B2 generalizza meglio sia della più semplice U-Net che della più complessa DeepLabV3+. Gli autori attribuiscono ciò al meccanismo di auto-attenzione globale dei Transformer, che può catturare indizi contestuali più ampi (es. texture della pelle, gradienti di illuminazione) che rimangono stabili tra gli ospedali, mentre le CNN con campi ricettivi locali possono adattarsi eccessivamente alle statistiche spaziali specifiche del dataset.

Un'implicazione pratica critica evidenziata è che gli elevati punteggi Dice in-domain non implicano l'idoneità alla distribuzione. I modelli che raggiungono >0,80 Dice in-domain hanno perso circa 28–33 punti percentuali di prestazione quando distribuiti tra gli ospedali. Sebbene SegFormer-B2 offra una generalizzazione misurabilmente migliore, gli autori osservano che anche il miglior modello perde una sostanziale accuratezza tra i dataset, sottolineando che la robustezza cross-ospedaliera rimane un problema aperto che richiede ulteriori lavori in adattamento di dominio e adattamento al tempo di test.