Do Diabetic Foot Ulcer Segmentation Models Generalize? A Cross-Dataset Benchmark of CNN and Transformer Architectures

Technische Samenvatting: Generaliseren Segmentatiemodellen voor Diabetische Voetzweren?

Probleemstelling
Deep learning-modellen voor de segmentatie van diabetische voetzweren (Diabetic Foot Ulcer, DFU) rapporteren routinematig een hoge nauwkeurigheid (Dice-scores vaak >0,80) wanneer ze zijn getraind en getest op dezelfde dataset. Echter, deze evaluaties zijn bijna uitsluitend "in-domain", waardoor het gedrag van modellen op data van verschillende klinische bronnen, camera's of patiëntenpopulaties ongemeten blijft. Eerdere cross-dataset studies waren beperkt tot convolutionele neurale netwerken (CNN's) en prompt-gebaseerde modellen (bijv. SAM), waardoor de generalisatiecapaciteiten van moderne Transformer-architecturen in het DFU-domein ongemeten bleven. Bovendien ontbreken bij bestaande benchmarks vaak rigoureuze controles op datalekken (afbeeldingsoverlap) tussen trainings- en testsets, wat de claims over generalisatie potentieel kan opblazen.

Methodologie
De auteurs voerden een gecontroleerde, op lekdetectie gebaseerde cross-dataset benchmark uit waarbij drie representatieve segmentatiearchitecturen werden vergeleken:

• CNN-baselines: U-Net en DeepLabV3+ (beide gebruikmakend van ResNet-34 encoders).
• Transformer-architectuur: SegFormer-B2 (gebruikmakend van een MiT-B2 encoder).

Data-protocol:

• Trainingsbron: Een gecombineerde dataset van FUSeg en AZH wondbeelden. De auteurs voerden een rigoureuze audit uit met behulp van MD5 en perceptuele hashing (dHash) om afbeelding-niveau overlappingen te detecteren en te verwijderen, waarbij FUSeg en AZH als één bron werden behandeld nadat een significante overlap was bevestigd.
• Externe Testsets: Twee onafhankelijke datasets zonder overlap in afbeeldingen met de trainingsbron:
  1. DFUC2022: 2.000 afbeeldingen van een andere klinische locatie (Externe Test #1).
  2. Medetec: 160 afbeeldingen (Externe Test #2).
• Trainingsprotocol: Alle modellen werden getraind voor 30 epochs op 256×256 inputs met een gecombineerde Dice- en binaire cross-entropy loss. Er werd geen fine-tuning uitgevoerd op de externe testsets.
• Evaluatie: Prestaties werden gemeten met de Dice-coëfficiënt en Intersection-over-Union (IoU). Statistische significantie werd beoordeeld via Wilcoxon signed-rank tests op per-afbeelding Dice-scores. Een per-afbeelding foutenanalyse definieerde "catastrofale fouten" als afbeeldingen met een Dice < 0,4.

Belangrijkste Bijdragen

1. Eerste op lekdetectie gebaseerde cross-dataset benchmark: Deze studie is de eerste die een protocol voor lekdetectie toepast om de vergelijking tussen CNN- en Transformer-architecturen voor DFU-segmentatie over onafhankelijke datasets heen te maken.
2. Analyse van Architectuurfamilie versus Complexiteit: Het werk isoleert de impact van de architectuurfamilie (Transformer versus CNN) van de modelcomplexiteit, waarbij DeepLabV3+ (complexe CNN) en U-Net (eenvoudigere CNN) als baselines worden gebruikt tegenover SegFormer-B2.
3. Uitgebreide Foutenanalyse: Naast geaggregeerde metrieken biedt de studie een per-afbeelding foutenanalyse over 2.160 testafbeeldingen, waarbij fouten worden gecategoriseerd en de ernst van de prestatiedaling wordt geanalyseerd.

Resultaten

• In-Domain Prestaties: Alle modellen behaalden sterke prestaties op de uitgesloten FUSeg validatieset (Dice 0,802–0,834), waarbij SegFormer-B2 iets beter presteerde. De spreiding was smal, wat suggereert dat de keuze voor een architectuur minimale impact heeft binnen een enkele datadistributie.
• Cross-Dataset Generalisatie: Alle modellen ervoeren substantiële prestatiedegradatie wanneer ze op externe datasets werden getest.
  • DFUC2022: SegFormer-B2 behaalde de hoogste Dice (0,557), waarmee het U-Net (0,501) en DeepLabV3+ (0,489) overtrof. SegFormer-B2 vertoonde ook een superieure stabiliteit, met een standaarddeviatie (±0,003) die een orde van grootte lager was dan die van U-Net (±0,029).
  • Medetec: SegFormer-B2 leidde opnieuw met een Dice van 0,786, vergeleken met 0,737 (U-Net) en 0,730 (DeepLabV3+).
• Foutpercentages: Op DFUC2022 produceerde SegFormer-B2 de minste catastrofale fouten (31,1% van de afbeeldingen met Dice < 0,4), vergeleken met 38,5% voor U-Net en 43,0% voor DeepLabV3+.
• Statistische Significantie: Wilcoxon signed-rank tests bevestigden dat SegFormer-B2 beide CNN-baselines op beide externe datasets significant overtrof (p < 0,001). Het verschil tussen de twee CNN-modellen was niet statistisch significant op Medetec.
• Ernst van Fouten: Op Medetec had SegFormer-B2, hoewel het een iets hoger aantal fouten had dan U-Net, minder ernstige fouten (geclusterd net onder de 0,4 drempel), terwijl de fouten van CNN's een zwaardere "catastrofale staart" bevatten (Dice ≈ 0).

Betekenis en Claims
Het artikel concludeert dat de architectuurfamilie een meer beslissende factor is voor cross-hospital generalisatie dan de modelcomplexiteit. Specifiek generaliseert de Transformer-gebaseerde SegFormer-B2 beter dan zowel de eenvoudigere U-Net als de complexere DeepLabV3+. De auteurs schrijven dit toe aan het globale self-attention mechanisme in Transformers, dat bredere contextuele aanwijzingen (bijv. huidtextuur, lichtgradiënten) kan vastleggen die stabiel blijven tussen ziekenhuizen, terwijl CNN's met lokale receptieve velden mogelijk overfitten op dataset-specifieke ruimtelijke statistieken.

Een kritieke praktische implicatie die wordt benadrukt, is dat hoge in-domain Dice-scores niet impliceren dat een model klaar is voor implementatie. Modellen die >0,80 Dice in-domain behaalden, verloren ongeveer 28–33 procentpunten aan prestaties bij implementatie over verschillende ziekenhuizen. Hoewel SegFormer-B2 aantoonbaar betere generalisatie biedt, merken de auteurs op dat zelfs het beste model aanzienlijk aan nauwkeurigheid verliest over datasets heen, wat onderstreept dat cross-hospital robuustheid een openstaand probleem blijft dat verder werk vereist op het gebied van domeinadaptatie en test-time adaptatie.