TransUNet-GradCAM: A Hybrid Transformer-U-Net with Self-Attention and Explainable Visualizations for Foot Ulcer Segmentation

Dit artikel introduceert TransUNet-GradCAM, een hybride Transformer-U-Net-model dat door het combineren van globale en lokale kenmerken een robuuste en verklaarbare segmentatie van diabetische voetzweren mogelijk maakt, wat wordt onderbouwd door sterke prestaties op zowel interne als externe datasets.

De kern

Stel je voor dat je een arts bent die elke dag naar honderden foto's van wonden op voeten kijkt. De taak? Precies de randen van die wonden te tekenen om te zien hoe groot ze zijn en of ze genezen. Dit is een zware klus: de wonden hebben rare vormen, verschillende kleuren, en de achtergrond (zoals huid of schoenen) kan verwarrend zijn. Handmatig tekenen is tijdrovend en soms onnauwkeurig.

De auteurs van dit paper hebben een slimme digitale assistent bedacht die dit werk voor je kan doen. Ze noemen hun creatie TransUNet-GradCAM. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: De "Lupus" vs. De "Vogelvlucht"

Stel je voor dat je een wond moet analyseren.

• De oude manier (CNN/U-Net): Dit is als iemand die door een vergrootglas kijkt. Hij ziet heel goed de details van de randen van de wond (de textuur, de kleine haartjes), maar hij ziet niet wat er verderop in de kamer gebeurt. Hij mist het grote plaatje.
• De nieuwe manier (Vision Transformer): Dit is als iemand die vanuit een helikopter kijkt. Hij ziet het hele landschap en begrijpt hoe de wond zich verhoudt tot de rest van de voet, maar hij mist misschien de fijne details van de randen.

De oplossing: De auteurs hebben deze twee personen samengevoegd in één super-team. Ze noemen dit TransUNet.

• Het team heeft een "verdieping" waar de vergrootglas-expert en de helikopter-expert samenwerken.
• De vergrootglas-expert zorgt dat de randen van de wond scherp zijn.
• De helikopter-expert zorgt dat het systeem begrijpt: "Ah, dit is een wond op de voet, niet een vlek op een sok."

2. Het Opleiden: De "Kleurenverf-Workshop"

Om dit team goed te trainen, hebben de auteurs ze duizenden foto's laten zien. Maar niet zomaar foto's. Ze hebben de foto's op een creatieve manier veranderd, alsof ze een kunstwerk in een workshop hebben gedaan:

• Ze draaiden de foto's, spiegelden ze, veranderden de helderheid en zelfs de huidskleur (zoals een schilder die verschillende verfkleuren mengt).
• Waarom? Zodat het systeem leert dat een wond een wond is, of het nu in de zon staat, in de schaduw, of op een donkere of lichte huid. Het leert om niet te worden afgeleid door de omstandigheden.

Ze gebruikten ook een slimme beloningssysteem (een "hybride verliesfunctie"). Stel je voor dat de computer een spelletje speelt waarbij hij de wond moet vinden. Omdat de wond vaak klein is vergeleken met de rest van de foto, zou de computer kunnen denken: "Ik laat maar alles leeg, dan heb ik al 90% van de foto goed." Het beloningssysteem straft dit echter af en zegt: "Nee, je moet die kleine wond ook vinden!"

3. De Resultaten: Een "Gouden Score"

Het resultaat? Het systeem is ontzettend goed geworden.

• Binnen de eigen groep: Op de foto's waar het team al mee geoefend had, haalde het een score van 0,89 (op een schaal van 0 tot 1). Dat is alsof je een examen haalt met een 9!
• De echte test (Zonder te oefenen): Het echte wonder gebeurde toen ze het systeem lieten kijken naar foto's van een heel ander ziekenhuis (AZH) en een andere database (Medetec), zonder dat ze het systeem daarvoor opnieuw hadden getraind.
  • Het systeem haalde daar nog steeds een 0,62 tot 0,78.
  • De analogie: Dit is alsof je een voetballer traint op een grasveld in Nederland, en hij gaat direct spelen op een zanderig veld in Spanje en toch nog steeds goed scoort. Hij heeft de essentie van voetballen geleerd, niet alleen de specifieke grasvezels.

4. Vertrouwen: De "X-Ray Blik" (Grad-CAM)

In de medische wereld is het niet genoeg om alleen te zeggen: "Ik heb de wond gevonden." Artsen willen weten: Waarom denk je dat?

• De auteurs hebben een functie toegevoegd genaamd Grad-CAM.
• Stel je voor dat de computer een rode marker pakt en op de originele foto de gebieden aankleurt waar hij naar keek om zijn beslissing te nemen.
• Het resultaat? De computer kleurt precies de wond rood en negeert de schoen of de achtergrond. Dit geeft de arts het vertrouwen: "Oké, de computer kijkt naar de juiste plek, niet naar een toevallige vlek."

5. Waarom is dit belangrijk?

Dit systeem is als een onvermoeibare, super-nauwkeurige assistent voor artsen.

• Het meet de grootte van de wond bijna perfect (er is een correlatie van 97% met de metingen van menselijke experts).
• Het helpt om te zien of een wond geneest of verslechtert, zonder dat een mens urenlang moet meten.
• Het is snel, betrouwbaar en kan zelfs op een tablet worden gebruikt in een ziekenhuis of bij een huisarts.

Kortom: De auteurs hebben een slimme robot gebouwd die de beste eigenschappen van twee verschillende soorten kunstmatige intelligentie combineert, getraind heeft op duizenden voorbeelden, en nu artsen helpt om wonden sneller en beter te behandelen. En het allerbelangrijkste: de robot laat zien waarom hij zijn beslissingen neemt, zodat we hem kunnen vertrouwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "TransUNet-GradCAM: A Hybrid Transformer-U-Net with Self-Attention and Explainable Visualizations for Foot Ulcer Segmentation" in het Nederlands.

Titel: TransUNet-GradCAM: Een Hybride Transformer-U-Net met Zelf-Attention en Verklaarbare Visualisaties voor Segmentatie van Voetulcera

1. Het Probleem

Diabetische voetulcera (DFU's) vormen een ernstige complicatie van diabetes die leidt tot hoge morbiditeit, amputaties en aanzienlijke gezondheidskosten. Een cruciaal onderdeel van de klinische behandeling is de nauwkeurige meting van het wondoppervlak om het helingsproces te monitoren.

• Huidige uitdagingen: Handmatige segmentatie is tijdrovend, subjectief en vatbaar voor variatie tussen waarnemers.
• Beperkingen van bestaande AI: Traditionele Convolutionele Neurale Netwerken (CNN's), zoals U-Net, zijn goed in lokale kenmerkextractie, maar hebben moeite met het modelleren van lange-afstands ruimtelijke afhankelijkheden en globale contextuele informatie. Dit is problematisch bij DFU's vanwege de heterogene verschijning, onregelmatige morfologie en complexe achtergronden in klinische foto's.
• Behoefte: Er is een oplossing nodig die zowel globale context als fijne ruimtelijke details kan vastleggen, en bovendien "verklaarbaar" (explainable) moet zijn om klinisch vertrouwen te winnen.

2. Methodologie

De auteurs stellen een hybride architectuur voor, TransUNet-GradCAM, die de sterke punten van CNN's en Vision Transformers (ViT) combineert.

• Architectuur (TransUNet):
  • Encoder: Bestaat uit convolutieblokken die lage tot middelhoge ruimtelijke kenmerken extraheren.
  • Bottleneck (Transformer): In plaats van een diep convolutielag, wordt een Vision Transformer-module geïntegreerd. De diepste kenmerkkaart wordt omgezet in een reeks patches (tokens). Via Multi-Head Self-Attention (MHSA) kan het model globale relaties tussen verre delen van de afbeelding modelleren.
  • Decoder: Bouwt de segmentatiemasker weer op via up-sampling en gebruikt 'skip connections' om de encoder-kenmerken te combineren met de gedecodeerde kenmerken voor nauwkeurige randdetectie.
• Data en Training:
  • Dataset: Getraind op het publieke FUSeg-dataset (>1200 afbeeldingen).
  • Augmentatie: Een robuuste pijplijn met geometrische transformaties (rotatie, spiegeling) en fotometrische verstoringen (helderheid, contrast, kleurjitter) om variatie in huidskleur en belichting na te bootsen.
  • Verliesfunctie: Een hybride loss functie (Binary Cross-Entropy + Dice Loss) om het probleem van class imbalance (kleine wond vs. grote achtergrond) op te lossen.
  • Optimalisatie: Adam-optimizer, batch size 16, en vroege stopzetting (Early Stopping).
• Verklaarbaarheid (Explainability):
  • Integratie van Grad-CAM (Gradient-weighted Class Activation Mapping) om visuele warmtekaarten te genereren. Dit toont welke regio's in de inputafbeelding de beslissing van het model het meest beïnvloeden, waardoor transparantie wordt geboden aan clinici.

3. Belangrijkste Bijdragen

1. Hybride Architectuur: Succesvolle toepassing van TransUNet voor DFU-segmentatie, waarbij de beperkingen van puur CNN-gebaseerde modellen worden overwonnen door globale attention-mechanismen.
2. Generalisatievermogen: Evaluatie op externe datasets (AZH Wound Care Center en Medetec) zonder hertraining (zero-shot transfer), wat de robuustheid van het model aantoont.
3. Klinische Bruikbaarheid: Kwantitatieve analyse van de correlatie tussen voorspelde en werkelijke wondoppervlakten, wat de toepasbaarheid voor longitudinale monitoring bevestigt.
4. Transparantie: Het toevoegen van Grad-CAM visualisaties om het "black box"-probleem van diepe leermodellen in de medische sector aan te pakken.

4. Resultaten

• Interne Validatie (FUSeg):
  • Dice Similarity Coefficient (DSC/F1-score): 0,8886 (bij een geoptimaliseerde drempelwaarde van 0,4843).
  • Intersection over Union (IoU): 0,7889.
  • Accuratie: 0,9973.
  • De prestaties zijn vergelijkbaar met of beter dan state-of-the-art methoden zoals MiT-b3 en ensemble-methoden.
• Externe Validatie (Zero-Shot):
  • AZH Dataset: DSC van 0,6209 (lage prestatie, maar toont transfer naar een heel ander domein).
  • Medetec Dataset: DSC van 0,7850.
  • Dit bewijst dat het model niet alleen de trainingsdata heeft "geleerd" maar algemene kenmerken heeft opgepikt.
• Klinische Analyse:
  • Er is een zeer sterke lineaire correlatie gevonden tussen de voorspelde en de ground-truth wondoppervlakten (Pearson r = 0,9749).
  • Bland-Altman analyse toonde een verwaarloosbare bias (-5,81 pixels), wat aangeeft dat het model systematisch niet neigt tot over- of onderschatting.
• Visualisatie:
  • Grad-CAM kaarten bevestigen dat het model zich richt op de wondbedden en niet op achtergrondartefacten (zoals chirurgische instrumenten of gezonde huid).

5. Betekenis en Conclusie

Dit onderzoek demonstreert dat de combinatie van lokale precisie (U-Net) en globale context (Vision Transformer) een superieure oplossing biedt voor de complexe taak van DFU-segmentatie.

• Klinische Impact: De methode biedt een betrouwbare, objectieve en snelle manier om wondoppervlakten te meten, wat essentieel is voor het plannen van behandelingen en het monitoren van heling.
• Vertrouwen: Door de integratie van Grad-CAM wordt het model "verklaarbaar", wat cruciaal is voor de adoptie van AI in de gezondheidszorg.
• Toekomstperspectief: Hoewel het model al efficiënt is (~18,6 GFLOPs), richten de auteurs zich in de toekomst op kwantisatie voor implementatie op mobiele randapparaten (edge devices) voor gebruik in de zorg op locatie, vooral in gebieden met beperkte middelen.

Samenvattend biedt TransUNet-GradCAM een robuust, nauwkeurig en transparant framework dat de klinische workflow voor diabetische voetulcera significant kan verbeteren.