Adversarial Robustness of Capsule Networks for Medical Image Classification

Deze studie concludeert dat Capsule Networks intrinsiek robuuster zijn dan CNN's en Vision Transformers tegen adversariële perturbaties bij medische beeldclassificatie, wat hen tot een betrouwbaar alternatief maakt voor klinische toepassingen.

De kern

Titel: Waarom Capsule-netwerken de "Onwrikbare Stenen" zijn in de Medische Wereld

Stel je voor dat je een groep zeer slimme, maar soms een beetje naïeve artsen hebt die foto's van longen, borsten en bloedcellen bekijken om ziektes te diagnosticeren. Dit zijn de Deep Learning-modellen (zoals CNN's en ViT's) die we vandaag de dag gebruiken. Ze zijn fantastisch, maar ze hebben een groot zwak punt: ze zijn heel gevoelig voor "trucs".

Het Probleem: De Onzichtbare Truc

In de digitale wereld bestaan er adversariële aanvalletjes. Dit zijn foto's waar een computer heel subtiel, onzichtbaar voor het menselijk oog, een paar pixels aan heeft veranderd. Voor een mens ziet de foto er nog steeds uit als een gezonde long, maar voor een standaard AI-model is het plotseling een ziekte, of andersom.

Het is alsof iemand een heel klein stipje op een verkeersbord zet. Voor jou is het nog steeds een "Stop"-bord, maar voor de autonome auto (de AI) is het nu een "Doorrijden"-bord. In de medische wereld is dit levensgevaarlijk.

De Helden: Capsule-netwerken

De auteurs van dit onderzoek hebben gekeken of er een ander soort "arts" bestaat die niet zo makkelijk in de val loopt. Ze hebben Capsule-netwerken (CapsNets) getest.

Om dit te begrijpen, gebruiken we een analogie:

• Standaard AI (CNN's): Stel je voor dat een standaard AI een foto van een gezicht bekijkt door alleen naar losse onderdelen te kijken: "Hier is een oog, hier is een neus." Als de aanvalletjes de neus een beetje verschuiven, denkt de AI: "Wacht, dit is geen neus meer, dit is een oor!" en raakt hij in paniek. Hij kijkt niet naar het geheel.
• Capsule-netwerken: Een CapsNet is als een ervaren detective die niet alleen naar losse onderdelen kijkt, maar ook naar de relatie tussen hen. Hij denkt: "Oké, dit is een oog, dit is een neus, en ze zitten op de juiste plek ten opzichte van elkaar." Zelfs als de neus een beetje verschuift door een aanvalletje, zegt de detective: "Nee, nee, het verband klopt nog steeds, dit is nog steeds een gezicht."

Wat hebben ze ontdekt?

De onderzoekers hebben deze "detectives" (CapsNets) getest tegen de "naïeve artsen" (ResNet en ViT) op vier verschillende medische datasets (longen, borsten, knobbels en bloedcellen).

1. De Onwrikbare Stenen: Toen ze de AI's blootstelden aan de digitale trucs (de aanvalletjes), vielen de standaard modellen snel in elkaar. Hun diagnose werd volledig verkeerd. De CapsNets daarentegen bleven kalm en gaven nog steeds het juiste antwoord, zelfs als de foto's zwaar gemanipuleerd waren.
2. De Focus: Ze keken ook waar de AI's naar keken (met een techniek genaamd Grad-CAM).
   • Bij de standaard AI's verplaatste hun "blik" na een truc naar een willekeurige plek op de foto. Ze raakten hun focus kwijt.
   • Bij de CapsNets bleef hun blik stevig gericht op de belangrijke plek (bijvoorbeeld de tumor), zelfs onder aanval. Het was alsof ze een onwrikbare bril op hadden.
3. De Super-Detective: Ze hadden zelfs twee soorten CapsNets. De ene was de standaard versie, de andere gebruikte een slimme truc genaamd "Bayes-Pearson routing". Deze laatste was de allerbeste. Hij was niet alleen resistent, maar hij was ook nog eens slimmer in het negeren van ruis (zoals een detective die niet afgeleid wordt door achtergrondgeluid).

Waarom is dit belangrijk?

In de medische wereld kunnen we geen fouten maken. Als een computer een ziekte mist of een gezonde patiënt ziek verklaart, kan dat levens kosten.

Dit onderzoek laat zien dat Capsule-netwerken een veel betrouwbaarder alternatief zijn dan de huidige standaard. Ze zijn als een oude, ervaren stenen muur die niet instort bij een lichte storm, terwijl de moderne glazen wanden (de standaard AI's) al bij de eerste windvlaag breken.

Conclusie in één zin:
Als we AI willen gebruiken om mensen te redden, moeten we stoppen met het bouwen van glazen huizen en beginnen met het bouwen van stenen huizen (CapsNets) die bestand zijn tegen de stormen van digitale manipulatie.

Technische samenvatting

Probleemstelling

Dieplerning (Deep Learning) wordt steeds vaker ingezet voor medische diagnostiek, maar de toepassing in de kliniek wordt belemmerd door zorgen over de betrouwbaarheid van deze modellen. Een specifiek kritiek punt is de kwetsbaarheid voor adversariële perturbaties: onzichtbare, doelbewuste ruis in afbeeldingen die modellen kan misleiden tot verkeerde classificaties.

• Huidige situatie: De meest gebruikte architecturen, zoals Convolutionele Neurale Netwerken (CNN's) en Vision Transformers (ViT's), vertonen vaak een hoge gevoeligheid voor deze aanvallen.
• Medische context: Medische algoritmen blijken zelfs gevoeliger voor adversariële aanvallen dan niet-medische algoritmen, waarschijnlijk vanwege de complexe biologische texturen.
• Gaten in de kennis: Hoewel er veel onderzoek is gedaan naar adversariële training om robustheid te verbeteren, is het gebruik van alternatieve architecturen als Capsule Networks (CapsNets) voor dit doel in medische settings onderbelicht. Bestaande studies op CapsNets hebben wisselende resultaten geleverd op niet-medische data, maar er is geen systematische evaluatie uitgevoerd op medische beeldvorming.

Methodologie

De auteurs hebben een uitgebreide experimentele opzet ontwikkeld om de robustheid van CapsNets te vergelijken met de gevestigde CNN- en ViT-architecturen.

1. Datsets:
Er werden vijf datasets gebruikt om diverse medische modaliteiten en dimensies te dekken:

• Medisch: PneumoniaMNIST (Röntgen, 2D), BreastMNIST (Ultrasound, 2D), NoduleMNIST3D (CT, 3D), en BloodMNIST (Microscopie, 2D).
• Controle: MNIST (Handgeschreven cijfers, 2D) als natuurlijke beeldbenchmark.

2. Geëvalueerde Modellen:

• Capsule Networks (CapsNets):
  • DR-CapsNet: Gebruikt het originele dynamische routing-algoritme (Dynamic Routing).
  • BP-CapsNet: Gebruikt een Bayes-Pearson routing-algoritme (een verbetering die ruis en zwakke correlaties onderdrukt).
• CNN's: ResNet-18 en ResNet-50.
• Vision Transformer: MedViT (specifiek ontworpen voor medische beeldvorming).

3. Adversariële Aanvallen:
De modellen werden getest tegen twee witte-doos (white-box) aanvallen met variërende perturbatie-grenzen ($\epsilon$):

• PGD (Projected Gradient Descent): Een iteratieve, sterke aanval die wordt beschouwd als een universele eerste-orde adversary.
• FGSM (Fast Gradient Sign Method): Een snelle, single-step aanval.

4. Evaluatiemetrics en Interpretatie:

• Prestaties: Gemeten via AUC (Area Under the Curve) en nauwkeurigheid (Accuracy) op de adversariële testsets.
• Interpretatie:
  • Latent Space Analyse: Visualisatie van feature-embeddings met t-SNE om "perturbation drift" (hoeveel de feature-ruimte verschuift bij aanval) te kwantificeren.
  • Grad-CAM: Analyse van de aandachtspunten (attention maps) om te zien of modellen na een aanval nog steeds naar relevante beeldgebieden kijken.

Belangrijkste Bijdragen

1. Systematische Vergelijking: Eerste studie die CapsNets systematisch vergelijkt met state-of-the-art CNN's en ViT's op meerdere medische beeldvormingstaken onder adversariële druk.
2. Validatie van Bayes-Pearson Routing: Demonstreert dat de Bayes-Pearson routing-methode (BP-CapsNet) niet alleen de baseline prestaties behoudt, maar ook superieure robustheid biedt ten opzichte van standaard dynamische routing.
3. Interpretatie van Robustheid: Biedt inzicht waarom CapsNets robuuster zijn door aan te tonen dat ze stabielere feature-embeddings en consistentere aandachtspunten behouden bij perturbaties.

Resultaten

De resultaten tonen een duidelijk en consequent voordeel voor Capsule Networks:

• Superieure Robustheid: Zowel DR-CapsNet als BP-CapsNet vertoonden een veel langzamere daling in prestaties (AUC en Accuracy) naarmate de perturbatie-strength ($\epsilon$) toenam, vergeleken met ResNet en MedViT.
  • Bij een moderate PGD-aanval ($\epsilon = 0.032$) behielden de CapsNets AUC-scores tussen 0.838 en 0.987 over de medische datasets.
  • De CNN's en ViT's daalde hier sterk in, met AUC's variërend van 0.275 tot 0.712.
• BP-CapsNet als Beste Model: De Bayes-Pearson variant was consistent het meest robuust van alle geteste modellen, zelfs beter dan de standaard DR-CapsNet.
• Visuele Analyse:
  • Perturbatie Drift: CapsNets vertoonden een zeer kleine drift in hun latent space (< 0.02 voor BP-CapsNet), terwijl CNN's en ViT's grote verschuivingen toonden (tot > 0.60). Dit betekent dat CapsNets de semantische structuur van de data beter behouden.
  • Grad-CAM: De aandachtspunten van CapsNets bleven stabiel en gericht op de relevante pathologie, zelfs bij aanval. Bij CNN's en ViT's verschoof de aandacht vaak naar irrelevante gebieden of ruis.
• Zichtbaarheid van Ruis: Om de prestaties van CapsNets onder de 0.50 AUC te krijgen, waren aanzienlijk sterkere en visueel waarneembare perturbaties nodig. Bij CNN's en ViT's was dit al het geval bij subtiele, voor het menselijk oog onzichtbare ruis.

Betekenis en Conclusie

De studie concludeert dat Capsule Networks intrinsiek robuuster zijn dan traditionele CNN's en Vision Transformers voor medische beeldclassificatie. Dit komt door hun vermogen om ruimtelijke relaties te modelleren en stabielere feature-embeddings te genereren, wat hen minder vatbaar maakt voor gradient-based aanvallen.

Klinische Implicatie:
Gezien de kritische aard van medische beslissingen, waar fouten levens kunnen kosten, bieden CapsNets een betrouwbaarder alternatief voor de huidige standaardmodellen. De bevindingen suggereren dat het gebruik van CapsNets (met name met Bayes-Pearson routing) de veiligheid en stabiliteit van AI-systemen in de gezondheidszorg kan vergroten, zelfs in een omgeving waar adversariële aanvallen een reëel risico vormen. De auteurs bevelen aan CapsNets serieus te overwegen voor klinische implementaties waar modelbetrouwbaarheid van essentieel belang is.