Leveraging Causal Reasoning Method for Explaining Medical Image Segmentation Models

Probleemstelling

Medische beeldsegmentatie is cruciaal voor klinische besluitvorming, maar de meeste diepe leermodellen functioneren als "black boxes". Hoewel er aanzienlijke vooruitgang is geboekt in nauwkeurigheid, is het vertrouwen in deze modellen in hoog-risico medische scenario's beperkt door gebrek aan transparantie.

• Tekortkomingen in bestaande methoden: Bestaande uitlegtechnieken (XAI) zijn voornamelijk gericht op classificatietaken. Voor segmentatie (een dichte voorspellingsopdracht) zijn deze methoden vaak ontoereikend omdat ze correlatie verwarren met causaliteit.
• Complexiteit: Segmentatiemodellen hebben complexe ruimtelijke redeneringen en fijne-granulariteitsbeslissingen. Bestaande methoden (zoals permutatie- of gradiëntgebaseerde technieken) identificeren vaak relevante gebieden, maar nemen ten onrechte aan dat deze gebieden volledig causaal verantwoordelijk zijn voor de uitkomst. Dit leidt tot onnauwkeurige verklaringen, vooral gezien de complexe onderlinge afhankelijkheden tussen invoer- en uitvoerfeatures.
• Behoefte: Er is een gebrek aan systematische tools die de onderliggende causale mechanismen kunnen onthullen die de relatie tussen modelinvoer en -uitvoer bepalen, in plaats van alleen te vertrouwen op schaalvergroting of data-volume.

Methodologie: PdCR (Perturbation-driven Causal Reasoning)

De auteurs stellen PdCR voor, een model-onafhankelijk raamwerk dat causaliteitsinferentie toepast om de invloed van invoergebieden op de segmentatieoutput te kwantificeren. De methode volgt een vierstapsproces:

1. Selectie van RoI en Initiële Toestand:

   • Gegeven een getraind model en een invoerbeeld, wordt een Region of Interest (RoI) geselecteerd.
   • De initiële prestatie (bijv. Dice Similarity Coefficient - DSC) van deze RoI wordt gemeten ($M_0$).

2. Interventie en Perturbatie:

   • In plaats van de hele achtergrond te verstoren, wordt het beeld opgedeeld in kleine patches.
   • Er wordt een causale interventie uitgevoerd ($do(\cdot)$) door een specifieke patch te vervangen door een willekeurig blok uit een subset van het dataset (natuurlijke verdeling), in plaats van kunstmatige ruis of vervaging toe te passen. Dit voorkomt dat het beeld uit de verdeling raakt (out-of-distribution).
   • Dit simuleert een behandeling waarbij de context rondom de RoI wordt gewijzigd.

3. Kwantificering van Causaal Effect (ATE):

   • De methode berekent het Average Treatment Effect (ATE) voor elke patch.
   • Het individuele behandelingseffect (ITE) wordt berekend als het verschil in prestatie tussen de gestoorde en de originele toestand ($R_1 - R_0$).
   • Door $N$ herhalingen van deze interventie, wordt de ATE berekend als het gemiddelde effect:
     $$ATE = E[R_1 - R_0]$$
   • Een positieve ATE betekent dat de patch een positieve bijdrage levert (verstoren verslechtert de output), terwijl een negatieve ATE aangeeft dat de patch de output juist verstoort (verstoren verbetert de output).

4. Efficiëntie via Coarse-to-Fine Strategie:

   • Om de rekenkosten te beperken (aangezien het aantal patches exponentieel groeit bij kleinere patch-groottes), wordt een coarse-to-fine aanpak gebruikt.
   • Eerst wordt een snelle screening uitgevoerd met een klein aantal interventies ($S=3$). Patches met een effect onder een drempelwaarde ($\tau$) worden als irrelevant beschouwd en genegeerd.
   • Alleen relevante patches ondergaan de volledige ATE-berekening met $N=50$ interventies.

Belangrijkste Bijdragen

1. Nieuw Framework (PdCR): Een model-onafhankelijk framework dat specifiek is ontworpen voor medische beeldsegmentatie, waarbij causale invloed van invoergebieden wordt gekwantificeerd via perturbatie.
2. Causale Bidirectionele Toewijzing: In tegenstelling tot bestaande methoden die alleen positieve bijdragen zoeken, gebruikt PdCR het ATE-concept om zowel positief als negatief bijdragende gebieden te identificeren. Dit onthult welke gebieden de prestaties juist schaden (negatieve causaliteit).
3. Systematische Analyse: De methode is toegepast op een breed scala aan architecturen (CNN, ViT, Mamba, KAN) en datasets, wat leidt tot nieuwe inzichten in perceptiestrategieën.
4. Open Source: De code is beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in dit domein stimuleert.

Resultaten

De auteurs hebben PdCR getest op twee medische datasets: HAM10000 (huidlaesies) en FIVES (retinale bloedvaten), en vergeleken met bestaande methoden zoals SEG-GRAD en MiSuRe.

• Kwalitatieve Vergelijking: PdCR levert consistentere en nauwkeurigere salience maps. Bestaande methoden (zoals SEG-GRAD) falen vaak omdat ze afhankelijk zijn van gradiënten in specifieke lagen die in segmentatiemodellen diffuus kunnen zijn. PdCR kan de invloed van elke positie op de RoI direct meten.
• Kwantitatieve Prestaties: PdCR behaalt significant hogere scores voor toewijzingsnauwkeurigheid (attribution scores) op beide datasets vergeleken met de baselines. Bijvoorbeeld, op HAM10000 scoorde PdCR gemiddeld 0.3734, terwijl SEG-GRAD slechts 0.0859 en MiSuRe 0.1532 haalde.
• Inzichten in Modelgedrag:
  • Heterogeniteit: Verschillende modellen gebruiken fundamenteel verschillende perceptiestrategieën. CNN's vertrouwen op lokale omgevingen, terwijl Transformer- en Mamba-architecturen bredere contextuele afhankelijkheden tonen.
  • Negatieve Bijdragen: Een verrassende bevinding is dat een aanzienlijk deel van de patches een negatieve causale invloed heeft (verstoren verbetert de prestatie). Dit suggereert dat "misleidende patronen" vaker voorkomen dan gedacht.
  • Dataset-afhankelijkheid: Dezelfde architectuur (bijv. MCU-RE) past zijn strategie aan afhankelijk van de dataset: het gebruikt globale context voor grote laesies (HAM10000) maar schakelt over op lokale cues voor dunne, gefragmenteerde structuren (FIVES).

Betekenis en Impact

Dit werk is van groot belang voor de ontwikkeling van betrouwbare AI in de gezondheidszorg:

• Transparantie: Het biedt een dieper inzicht in waarom een model een bepaalde segmentatie maakt, wat essentieel is voor klinisch vertrouwen.
• Modeloptimalisatie: Door te identificeren welke gebieden negatief bijdragen of welke contextuele strategieën worden gebruikt, kunnen onderzoekers modellen beter optimaliseren en valideren.
• Paradigmaverschuiving: Het benadrukt dat correlatie niet gelijkstaat aan causaliteit in medische beeldanalyse en pleit voor causaliteitsgerichte methoden om de "black box" van complexe segmentatiemodellen te doorgronden.

Samenvattend biedt PdCR een robuust, causaal onderbouwd instrument om de interne werking van medische segmentatiemodellen te analyseren, wat een belangrijke stap is richting transparante en veilige AI-toepassingen in de kliniek.