Ranking XAI Methods for Head and Neck Cancer Outcome Prediction

Dit artikel presenteert de eerste uitgebreide evaluatie en ranking van 13 XAI-methoden voor de voorspelling van uitkomsten bij hoofd-halskanker, waarbij Integrated Gradients en DeepLIFT consistent als de meest betrouwbare methoden naar voren kwamen.

De kern

Stel je voor dat artsen een zeer ingewikkelde machine hebben gebouwd om te voorspellen hoe een patiënt met hoofd- en halskanker zal reageren op een behandeling. Deze machine is zo slim dat hij beter presteert dan de beste menselijke experts, maar er is één groot probleem: niemand weet precies hoe hij tot zijn conclusies komt.

Het is alsof je een zwarte doos hebt die een antwoord geeft, maar je mag de doos niet openmaken om te zien wat er binnenin gebeurt. Voor artsen is dit gevaarlijk; ze willen weten waarom de machine denkt dat een patiënt risico loopt, zodat ze het antwoord kunnen vertrouwen.

Deze studie is als een grote test voor "uitleggers". De onderzoekers wilden weten: welke methode is het beste om de gedachten van deze slimme machine te vertalen naar taal die wij mensen begrijpen?

Hier is hoe ze dat aanpakken, vertaald naar alledaagse taal:

1. De "Uitleggers" (De XAI-methoden)

De onderzoekers namen 13 verschillende methoden om de machine uit te leggen. Je kunt je deze methoden voorstellen als 13 verschillende detectives die elk op hun eigen manier proberen te achterhalen waar de machine naar kijkt:

• De "Verstikkings-detective": Deze probeert stukjes van de foto weg te halen (alsof je een pleister op de foto plakt) om te zien of de machine nog steeds hetzelfde zegt. Als de machine verandert, wist hij dat stukje.
• De "Spiegel-detective": Deze kijkt naar de spiegel van de machine (de wiskundige berekeningen) om te zien welke richting de pijlen wijzen.
• De "Kaart-detective": Deze probeert direct te zien welke knoppen in de machine het hardst branden.

2. De Proef (De Test)

Ze lieten al deze detectives werken op een grote verzameling foto's van patiënten (CT- en PET-scans). Ze beoordeelden elke detective op vier belangrijke eigenschappen, alsof ze een schoolrapport invulden:

• Eerlijkheid (Faithfulness): Vertelt de detective de echte waarheid over hoe de machine denkt? Of verzon hij een verhaal dat klinkt logisch, maar niet klopt?
• Stabiliteit (Robustness): Als je een klein beetje ruis toevoegt aan de foto (zoals een vlekje stof op de lens), blijft de uitleg dan hetzelfde? Of wordt de detective gek en verandert hij zijn verhaal volledig?
• Simpelheid (Complexity): Is de uitleg een strakke, duidelijke lijn, of een rommelige brij van lijnen over de hele foto? Een goede uitleg moet zich focussen op de tumor, niet op de botten eromheen.
• Geloofwaardigheid (Plausibility): Kijkt de uitleg naar de juiste plek? Kijkt de detective naar de tumor, of naar een onschuldig stukje bot? Dit is cruciaal voor artsen.

3. De Uitslag: Wie wint?

Na alle tests en het invullen van de schoolrapporten, bleek dat er geen enkele detective perfect was in alles. Maar twee namen stonden bovenaan de lijst als de beste "twee-in-één" oplossing:

• Integrated Gradients (IG)
• DeepLIFT (DL)

Waarom waren deze de winnaars?
Stel je voor dat je een schilderij bekijkt. De slechte detectives wijzen met hun vinger naar de hele kamer, of naar de randen van het schilderij. De winnaars (IG en DL) wijzen echter met een focustekst precies naar de tumor op de foto.

• Ze zijn eerlijk: Ze laten zien wat de machine echt gebruikt.
• Ze zijn geloofwaardig: Ze wijzen op de juiste plek (de tumor), wat artsen kunnen herkennen.
• Ze zijn simpel: Ze maken geen rommelige kaarten.

De keerzijde:
Deze winnaars zijn wel een beetje "nerveus". Als je de foto een heel klein beetje verwent (ruis), kunnen ze soms een beetje uit balans raken. Maar voor de meeste medische situaties was hun nauwkeurigheid het belangrijkst.

4. Wat betekent dit voor de toekomst?

Voorheen hadden artsen vaak de "eerste de beste" uitleg gekozen en hoopten dat het wel goed zat. Deze studie zegt: "Stop met gokken!"

Het is net als bij het kiezen van een auto. Je koopt niet zomaar een auto; je kijkt of hij veilig is, zuinig is en comfortabel. Zo moet je ook kiezen welke uitleg-methode je gebruikt voor kanker-patiënten.

De conclusie in één zin:
Om AI in de oncologie veilig en betrouwbaar te maken, moeten we stoppen met het willekeurig kiezen van uitleg-methoden en in plaats daarvan kiezen voor de methoden die bewezen hebben dat ze eerlijk, duidelijk en medisch correct zijn. De onderzoekers hebben nu de "handleiding" geschreven voor welke methode je moet gebruiken.

Technische samenvatting

Probleemstelling

Hoewel geavanceerde kunstmatige intelligentie (AI) en deep learning-modellen de voorspellingsprestaties voor de uitkomst van hoofd- en halskanker (HNC) op PET/CT-beelden hebben verbeterd, blijft de interpretbaarheid een kritieke barrière voor klinische adoptie. Bestaande studies op dit gebied selecteren vaak op empirische gronden welke "Explainable AI" (XAI) technieken worden gebruikt (bijv. Grad-CAM), zonder deze kwantitatief te evalueren op betrouwbaarheid. Er ontbreekt een systematische, objectieve vergelijking van verschillende XAI-methoden die rekening houdt met zowel de technische nauwkeurigheid (faithfulness) als de klinische relevantie (plausibility).

Methodologie

De auteurs hebben een uitgebreide evaluatie en rangschikking uitgevoerd van 13 verschillende XAI-methoden op een specifieke medische taak: het voorspellen van recidiefvrije overleving (RFS) bij HNC-patiënten.

• Dataset: Gebruik werd gemaakt van het multi-centrische HECKTOR 2025 trainingsdataset, bestaande uit 651 patiënten met CT-, PET-beelden en maskers voor het tumorvolume (GTV). De data is gesplitst in een trainingsset (75%) en een testset (25%).
• Voorspellingsmodel: Een 3D DenseNet121 architectuur werd getraind om een continu risicoscore te genereren, met gebruik van Cox negatieve log-partial likelihood loss. Het model bereikte een C-index van 0,66.
• XAI-methoden: Dertien salience-gebaseerde methoden werden toegepast om attributiekarten te genereren. Deze vallen in drie categorieën:
  1. Perturbatie-gebaseerd: (bijv. OC, LIME) – veranderen van beeldregio's om outputverandering te meten.
  2. Gradient-gebaseerd: (bijv. IG, DL, VG) – berekenen van attributies via backpropagatie.
  3. CAM-gebaseerd: (bijv. GC, SC, C+) – gebruik van activatiekaarten uit convolutielagen.
• Evaluatiemetrics: Er werden 24 metrics gebruikt om de kwaliteit van de salience-kaarten te beoordelen, verdeeld over vier domeinen:
  1. Faithfulness: Hoe goed de uitleg overeenkomt met de werkelijke redenering van het model (10 metrics).
  2. Robustness: Stabiliteit onder kleine verstoringen of ruis (5 metrics).
  3. Complexity: Beknopt en spaarzaamheid van de gemarkeerde gebieden (3 metrics).
  4. Plausibility: Overeenstemming met klinisch relevante anatomie (6 metrics) – een aspect dat vaak wordt genegeerd in eerdere benchmarks.
• Rangschikking: In plaats van ruwe metric-waarden te vergelijken, werd een rangschikking-benadering (geïnspireerd op het LATEC-benchmark) gebruikt. Voor elke metric werden de methoden gerangschikt, en vervolgens werden het gemiddelde, mediaan en standaardafwijking van deze rangschikkingen berekend per domein.

Belangrijkste Resultaten

De resultaten tonen aanzienlijke variatie in prestaties tussen de verschillende XAI-methoden, afhankelijk van het geëvalueerde domein:

• Top-performers: Integrated Gradients (IG) en DeepLIFT (DL) behaalden consequent de hoogste rangschikkingen (top 3) voor faithfulness, complexity en plausibility.
  • Visueel (Fig. 2) toonden de kaarten van IG en DL de beste ruimtelijke alignering met de GTV-maskers (tumorgebieden).
• Anderen:
  • Methodes zoals EG en VG presteerden goed op het gebied van robustness, maar scoorden lager op faithfulness.
  • CAM-gebaseerde methoden (GC, SC, C+) produceerden vaak globale, diffuus verspreide kaarten die ook niet-tumor gebieden (zoals botstructuren) omvatten.
  • Perturbatie-gebaseerde methoden (OC, LIME, KS) konden de tumor niet consistent lokaliseren en toonden vaak onvolledige of verkeerde locaties.
• Trade-offs: Er is een duidelijke trade-off zichtbaar. Methodes die zeer betrouwbaar (faithful) en klinisch plausibel zijn (IG, DL), bleken minder robuust tegen ruis. Dit wordt toegeschreven aan hun afhankelijkheid van een vaste baseline en gradient-propagatie.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste uitgebreide evaluatie voor HNC: Dit is het eerste onderzoek dat XAI-methoden systematisch rangschikt voor de specifieke taak van HNC-uitkomstvoorspelling, in tegenstelling tot eerdere studies die zich beperkten tot empirische selectie.
2. Inclusie van Plausibility: Het introduceert een uitgebreide evaluatie van klinische plausibility (6 metrics), wat essentieel is voor de interpretatie door radiologen en de klinische adoptie.
3. Nuance in XAI-selectie: De studie weerlegt het idee dat er één "beste" XAI-methode bestaat. De resultaten tonen aan dat de keuze van de methode sterk afhangt van de prioriteiten (bijv. robuustheid vs. nauwkeurigheid van de uitleg).
4. Klinische Validatie: De bevindingen benadrukken dat IG en DL de meest geschikte methoden zijn voor dit specifieke scenario, omdat ze zowel de modelredenering nauwkeurig weergeven als anatomisch correcte gebieden markeren.

Conclusie:
De studie concludeert dat voor betrouwbare, interpreteerbare AI in de radiotherapie, een taakspecifieke evaluatie noodzakelijk is. Integrated Gradients en DeepLIFT worden aanbevolen als de meest geschikte methoden voor HNC-uitkomstvoorspelling, mits rekening wordt gehouden met hun beperkingen in robuustheid. Toekomstig werk moet gericht zijn op klinische validatie met experts en het optimaliseren van hyperparameters.