SCAN: Visual Explanations with Self-Confidence and Analysis Networks

Dit paper introduceert SCAN, een universeel framework dat het compromis tussen nauwkeurigheid en toepasbaarheid in uitlegbare AI oplost door architectuuronafhankelijke, hoogwaardige visuele verklaringen te genereren voor zowel CNN's als Transformers.

De kern

SCAN: De "Zelfvertrouwende Analyse" voor AI's Geheime Gedachten

Stel je voor dat je een zeer slimme, maar zwijgzame kunstenaar hebt die elke dag prachtige schilderijen maakt. Je vraagt hem: "Waarom heb je deze specifieke kleur blauw gebruikt?" of "Waarom heb je deze hond getekend en niet de kat?"

De kunstenaar (de AI) zegt niets. Hij doet alsof hij gewoon "wist" wat hij deed. Dit is het probleem met moderne kunstmatige intelligentie: ze zijn slim, maar we weten niet precies waarom ze tot een beslissing komen. Dit noemen we het "Black Box"-probleem.

Deze paper introduceert SCAN (Self-Confidence and Analysis Networks), een nieuwe manier om de kunstenaar te dwingen zijn gedachten te verklaren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Twee Slechte Opties

Voorheen hadden we twee manieren om de kunstenaar te ondervragen, maar beide hadden grote nadelen:

• Optie A (De "Alles-voor-iedereen" methode): Je vraagt de kunstenaar om te raden wat er gebeurt als je een stukje van het schilderij afdekt. Dit werkt voor elke kunstenaar, maar het antwoord is vaak vaag en onnauwkeurig. Het is alsof je vraagt: "Wat zou er gebeuren als ik deze vlek wegveeg?" en hij antwoordt: "Misschien ziet het er anders uit?"
• Optie B (De "Specialist" methode): Je vraagt specifiek naar de techniek van deze kunstenaar. Dit geeft een heel duidelijk antwoord, maar als je een andere kunstenaar vraagt (die een andere techniek gebruikt), werkt je vraag niet meer. Je moet voor elke kunstenaar een nieuwe vraag bedenken.

SCAN is de oplossing die beide problemen oplost. Het werkt voor elke kunstenaar (of AI-model) en geeft tegelijkertijd een heel scherp, duidelijk antwoord.

2. Hoe werkt SCAN? (De "Reconstructie"-truc)

SCAN gebruikt een slimme truc die lijkt op het proberen om een gebroken vaas weer heel te maken.

1. Het Kijken (De Interne Schets): De AI kijkt naar een foto (bijvoorbeeld een hond) en maakt in zijn hoofd een interne schets (een "feature map"). Deze schets is vaak wazig en moeilijk te begrijpen voor mensen.
2. De Maskering (De Zelfvertrouwen-kaart): SCAN neemt die wazige interne schets en vraagt: "Welke delen van deze schets zijn echt belangrijk om de hond te herkennen?" Het maakt een "Zelfvertrouwen-kaart" (Self-Confidence Map). Dit is als een highlighter die alleen de belangrijkste onderdelen van de hond (oog, neus, poot) fel verlicht en de achtergrond (de muur, de vloer) zwart laat.
3. De Proef (Het Herstellen): Nu probeert SCAN om de originele foto te herbouwen (reconstrueren) op basis van alleen die verlichte delen.
   • Als het herstel goed lukt, betekent dit: "Ah, deze delen waren cruciaal! Zonder deze kon ik de hond niet zien."
   • Als het herstel mislukt, betekent het: "Deze delen waren niet belangrijk."

Door te kijken hoe goed de AI de foto kan herstellen met alleen de verlichte delen, weet SCAN precies welke delen de AI belangrijk vond.

3. De "Informatie-Fluit" (Information Bottleneck)

De paper gebruikt een wetenschappelijk principe genaamd de "Information Bottleneck" (Informatie-Fluit).
Stel je voor dat je een heel drukke kamer vol met mensen hebt (de hele foto). Je wilt alleen de gesprekken horen die over "honden" gaan.
SCAN pakt een fluitje en blaast. De mensen die niet over honden praten (de achtergrond, de meubels) stoppen met praten of worden gedempt. Alleen de mensen die echt over honden praten, blijven luid en duidelijk hoorbaar.
Dit zorgt ervoor dat SCAN geen rommelige, wazige vlekken maakt, maar precies laat zien waar de AI naar kijkt.

4. Waarom is dit geweldig?

• Het werkt voor iedereen: Of de AI nu gebouwd is als een traditioneel netwerk (CNN) of als een moderne "Transformer" (zoals de modellen die nu heel populair zijn), SCAN werkt voor beide. Het is een universele sleutel.
• Het is scherp: Andere methoden geven vaak een wazige rode vlek over de hele hond én de achtergrond. SCAN geeft een scherpe omtrek van alleen de hond.
• Het is eerlijk: De auteurs hebben getest of SCAN echt de gedachten van de AI ziet, of dat het maar een toevalstreffer is. Ze hebben de AI "dwaas" gemaakt (door de gewichten te randomiseren) en SCAN gaf toen geen zinvolle antwoorden meer. Dit bewijst dat SCAN echt kijkt naar hoe de AI werkt.

Conclusie

SCAN is als een tolk die de geheime taal van een AI vertaalt naar een heldere, visuele uitleg. Het lost het probleem op dat we tot nu toe moesten kiezen tussen een vaag antwoord of een antwoord dat alleen voor één type AI werkte.

Met SCAN kunnen we nu beter begrijpen waarom een AI een auto als "veilig" bestempelt of waarom een medische AI een tumor ziet. Dit maakt AI veiliger en betrouwbaarder, vooral in belangrijke situaties zoals zelfrijdende auto's of ziekenhuizen.

Technische samenvatting

Titel: SCAN: Visuele Verklaringen met Zelfvertrouwen en Analyse-netwerken

Auteurs: Gwanghee Lee, Sungyoon Jeong, en Kyoungson Jhang.
Publicatie: IEEE Transactions on Artificial Intelligence (2020).

---

1. Het Probleem

De opkomst van Explainable AI (XAI) is cruciaal om de besluitvorming van diepe leermodellen transparant te maken, vooral in veiligheidskritieke domeinen zoals autonoom rijden en medische diagnose. Bestaande methoden voor visuele verklaringen kampen echter met een fundamenteel compromis (trade-off):

• Universele methoden (model-agnostisch, zoals LIME en RISE) zijn breed toepasbaar op verschillende architecturen (zoals CNN's en Transformers), maar leveren vaak verklaringen met lage nauwkeurigheid (faithfulness) en abstracte, gefragmenteerde resultaten.
• Architectuurspecifieke methoden (zoals GradCAM voor CNN's of Rollout voor Transformers) bieden hoge nauwkeurigheid, maar zijn niet overdraagbaar naar andere modeltypen. Dit maakt het moeilijk om de verklarende kracht van verschillende modelfamilies met elkaar te vergelijken.
• Gemeenschappelijke tekortkomingen: Bestaande methoden genereren vaak vaag afgebakende features of abstracte regio's, wat leidt tot misinterpretaties van wat het netwerk daadwerkelijk gebruikt voor zijn voorspellingen.

2. Methodologie: SCAN Framework

SCAN (Self-Confidence and Analysis Networks) is een universeel framework dat de beperkingen van bestaande methoden overbrugt door gebruik te maken van reconstructie en het Information Bottleneck (IB) principe. Het doel is om een hoge-resolutie "Self-Confidence Map" te genereren die de informatie-rijke regio's identificeert die essentieel zijn voor de voorspelling.

Het proces verloopt in drie hoofdfasen:

A. Gradient-Gemaskerde Feature Maps

In plaats van alleen de feature maps van de laatste laag te gebruiken (zoals bij GradCAM), extraheren de auteurs feature maps uit tussenliggende lagen. Om de precisie te verhogen, passen ze een gradient mask toe:

• Er wordt een gradiëntkaart berekend voor een specifieke klasse.
• Een percentiel-drempelwaarde (bijv. de top 95% van de gradiëntwaarden) wordt gebruikt om een binaire masker te creëren.
• Dit masker filtert de feature maps, zodat alleen de features die sterk gekoppeld zijn aan de doelklasse behouden blijven.

B. Analyse-netwerk (Decoder) en Reconstructie

SCAN traint een decoder (analyse-netwerk) om de geselecteerde feature maps te reconstrueren naar de originele invoerafbeelding.

• Architectuur: Voor CNN-modellen wordt een ResNet-gebaseerde decoder gebruikt; voor Transformer-modellen wordt een Transformer-gebaseerde decoder gebruikt.
• Output: De decoder produceert vier kanalen: drie voor de gereconstrueerde RGB-afbeelding en één voor de Self-Confidence Map.

C. Information Bottleneck (IB) en Verliesfuncties

Het kernidee is gebaseerd op de IB-theorie: het netwerk moet leren een gecondenseerde representatie (T) die alleen de noodzakelijke informatie bevat om de invoer (X) te reconstrueren en de doeloutput (Y) te voorspellen.

• Vertrouwensverlies (Confidence Loss): Beperkt de grootte van de Self-Confidence Map tot een specifieke oppervlakte (gecontroleerd door hyperparameter $\alpha$). Het gebruikt een gestrekte sinusfunctie als activatie om de betrouwbaarheid per pixel te modelleren.
• Reconstructieverlies (Reconstruction Loss): Een MSE-verlies dat straffer wordt voor pixels met een hoge "zelfvertrouwen"-waarde. Dit dwingt het model om de meest informatieve regio's te prioriteren voor reconstructie.
• Gaussian Blur: Om het verlies van hoge-frequentie details tijdens het downsamplen te compenseren, wordt de originele afbeelding vervaagd (Gaussian Blur) en wordt dit gebruikt als reconstructiedoel.

3. Belangrijkste Bijdragen

1. Universeel Framework: SCAN is de eerste methode die zowel CNN- als Transformer-architecturen ondersteunt met één uniforme aanpak, waardoor vergelijkingen tussen verschillende modelfamilies mogelijk worden.
2. Hoge Nauwkeurigheid (Faithfulness): Door gebruik te maken van reconstructie en IB-theorie, produceert SCAN object-gerichte verklaringen met scherpe grenzen, in tegenstelling tot de vage warmtekaarten van bestaande methoden.
3. Nieuwe Evaluatiemetric (AUC-D): De auteurs introduceren de "AUC Difference" (Neg AUC - Pos AUC) als een betrouwbaardere metric om de verklarende kracht te meten, aangezien bestaande metrics (zoals Drop%) gevoelig kunnen zijn voor schaal-effecten en willekeurige kaarten.
4. Robuustheid: Het framework presteert consistent goed op diverse datasets (ImageNet, CUB-200, Food-101) en modellen (ViT, ResNet, DINO, ConvNeXt).

4. Experimentele Resultaten

De auteurs hebben SCAN uitgebreid getest en vergeleken met state-of-the-art methoden zoals GradCAM, LIME, RISE, Rollout en Explainability.

• Kwantitatieve Prestaties:
  • Op ImageNet (ViT-b16) behaalde SCAN een AUC-D score van 36,87%, wat vergelijkbaar is met de beste architectuurspecifieke methoden (Explainability: 37,13%) en aanzienlijk beter dan universele methoden.
  • SCAN toonde een Drop% van 65,33%, wat 20,54 procentpunten lager is dan de 'Explainability'-methode, wat aangeeft dat de geïdentificeerde regio's cruciaal zijn voor de voorspelling.
  • Op CUB-200 en Food-101 behaalde SCAN de hoogste AUC-D scores en de beste balans tussen het identificeren van relevante en irrelevante features.
• Kwalitatieve Resultaten:
  • Visuele vergelijkingen tonen aan dat SCAN minder achtergrondruis produceert en de objecten scherper afbakent dan bestaande methoden.
  • Bij Transformer-modellen vermijdt SCAN het fragmenteren van objecten, een veelvoorkomend probleem bij attention-based methoden.
• Sanity Checks:
  • Bij het randomiseren van de modelgewichten daalde de AUC-D score van SCAN drastisch naar 0,01%, wat bevestigt dat de verklaringen echt gebaseerd zijn op de geleerde gewichten en niet slechts op randdetectie.
• Efficiëntie:
  • SCAN heeft een inferentie-tijd van 13,75 ms per sample. Dit is aanzienlijk sneller dan perturbatie-methoden zoals LIME (1187 ms) en RISE (11812 ms), en slechts marginaal trager dan snelle gradient-methoden.

5. Betekenis en Conclusie

SCAN biedt een oplossing voor het langdurige probleem van het compromis tussen universele toepasbaarheid en hoge nauwkeurigheid in XAI. Door een reconstructie-gedreven aanpak te combineren met het Information Bottleneck principe, levert het een universeel, betrouwbaar en object-gericht interpretatie-instrument.

Dit werk is significant omdat het:

• Een gestandaardiseerd hulpmiddel biedt om de betrouwbaarheid van AI-systemen te evalueren, ongeacht of het een CNN of Transformer is.
• De transparantie van complexe neurale netwerken vergroot, wat essentieel is voor de implementatie van AI in veiligheidskritieke toepassingen.
• De weg effent voor het ontwikkelen van "trustworthy AI" door een duidelijker inzicht te geven in hoe modellen beslissingen nemen.

De code is openbaar beschikbaar gesteld om verdere onderzoek en toepassing te faciliteren.