Winsor-CAM: Human-Tunable Visual Explanations from Deep Networks via Layer-Wise Winsorization

Dit paper introduceert Winsor-CAM, een efficiënte en robuuste methode voor het genereren van menselijk instelbare visuele verklaringen voor diepe neurale netwerken door middel van laagsgewijze Winsorization, wat leidt tot verbeterde lokaliserings- en betrouwbaarheidsmetrieken ten opzichte van bestaande technieken zoals Grad-CAM.

De kern

Stel je voor dat je een zeer slimme, maar mysterieuze robot hebt die foto's kan herkennen. Hij kan zeggen: "Dat is een hond!" of "Dat is een poliep in de darmen!" Maar als je vraagt: "Waarom denk je dat?", dan kijkt hij je alleen maar aan en zegt hij niets. Hij is een "black box".

In de wereld van kunstmatige intelligentie (AI) willen we weten waarom een computer een beslissing neemt, vooral als het om belangrijke dingen gaat zoals medische diagnoses of zelfrijdende auto's.

Deze paper introduceert een nieuwe tool genaamd Winsor-CAM. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Laatste Opmerking" is niet genoeg

Stel je voor dat je een student een examen laat maken. De traditionele methode (Grad-CAM) kijkt alleen naar het laatste antwoord dat de student schrijft.

• Het nadeel: Soms is dat laatste antwoord goed, maar heeft de student de hele weg verkeerd geredeneerd. Of misschien heeft hij een belangrijk detail in het begin van de tekst over het hoofd gezien.
• In de AI-wereld betekent dit: de computer kijkt alleen naar de allerlaatste laag van zijn "hersenen" (de diepe laag) om te zien waar hij naar kijkt. Hij mist de fijne details (zoals randjes of textuur) die in de eerdere lagen zaten.

2. De Oplossing: Winsor-CAM (De "Slimme Samenvatter")

Winsor-CAM doet iets heel anders. In plaats van alleen naar het laatste antwoord te kijken, leest hij het hele verslag van de student, van de eerste zin tot de laatste.

Hij pakt alle lagen van de AI-neus samen en maakt één grote samenvatting. Maar hier komt het slimme deel:

• Soms schreeuwt één laag heel hard: "KIJK HIER!" (bijvoorbeeld een heel donkere vlek die niets te maken heeft met de hond).
• Als we naar alles luisteren, zou die ene schreeuw de hele samenvatting verstoren.
• Winsor-CAM gebruikt een trucje uit de statistiek (Winzorization): Hij zegt: "Oké, die ene heel luide stem die afwijkt van de rest? Die gaan we iets zachter zetten, zodat hij niet de hele boel overstemt."

3. De "Draaiknop" voor Mensen (De Magische Regelaar)

Dit is het coolste deel. Winsor-CAM heeft een draaiknop (een instelling die je als mens kunt veranderen).

• Zet de knop naar "Laag" (Low): De computer kijkt dan vooral naar de beginlagen. Hij ziet dan vooral randjes, textuur en kleuren.
  • Voorbeeld: Een arts wil weten: "Kijkt de AI naar de ruwe rand van de poliep?" Dan draai je de knop naar laag.
• Zet de knop naar "Hoog" (High): De computer kijkt dan vooral naar de diepe lagen. Hij ziet dan vormen en objecten.
  • Voorbeeld: Een gebruiker wil weten: "Ziet de AI dat het een hond is?" Dan draai je de knop naar hoog.

Het is alsof je een radio hebt die je kunt afstemmen op "fijne details" of op "het grote plaatje", afhankelijk van wat jij op dat moment nodig hebt.

4. Waarom is dit beter dan de rest?

De auteurs hebben dit getest op zes verschillende soorten "hersenen" (AI-modellen) en twee soorten foto's:

1. Gewone foto's (honden, vogels, auto's).
2. Medische foto's (poliepen in darmen).

De resultaten:

• Preciezer: De "hittekaartjes" (de gekleurde vlekken die laten zien waar de AI naar kijkt) zaten veel dichter bij het echte object. Ze waren minder vaag en minder verspreid.
• Stabiel: Zelfs als je de "draaiknop" op een willekeurige stand zet, werkt het nog steeds beter dan de oude methoden.
• Veilig: In de medische wereld is het cruciaal dat je weet waar de computer kijkt. Als hij kijkt naar een poliep en niet naar de randen van de darm, kan dat gevaarlijk zijn. Winsor-CAM helpt hierbij door de details scherp te houden.

Samenvattend in één zin:

Winsor-CAM is als een slimme vertaler die niet alleen luistert naar wat de AI aan het einde zegt, maar het hele gesprek meeneemt, de schreeuwers wat dempt, en jou de controle geeft om te kiezen of je de fijne details of het grote plaatje wilt zien.

Dit maakt AI niet alleen slimmer, maar ook betrouwbaarder en begrijpelijker voor mensen zoals artsen en onderzoekers.

Technische samenvatting

Probleemstelling

Interpretatie van Convolutionele Neurale Netwerken (CNN's) is cruciaal voor veiligheidskritieke toepassingen zoals gezondheidszorg en autonome systemen. Populaire methoden voor visuele uitleg, zoals Grad-CAM, genereren warmtekaarten (saliency maps) die de meest invloedrijke gebieden van een afbeelding voor een voorspelling markeren.

De belangrijkste beperkingen van bestaande methoden zijn:

1. Enkel-laags focus: Grad-CAM gebruikt doorgaans alleen de laatste convolutielaag. Hierdoor gaan belangrijke laag-niveau kenmerken (zoals texturen en randen) uit eerdere lagen verloren.
2. Onstabiele salientie: Eenvoudige methoden om meerdere lagen te aggregeren (bijv. het gemiddelde nemen van alle lagen) introduceren vaak ruis en verdunnen semantisch betekenisvolle patronen.
3. Gebrek aan aanpasbaarheid: Bestaande methoden bieden geen mechanisme voor gebruikers om de semantische resolutie van de uitleg dynamisch aan te passen (bijv. schakelen tussen fijne details en abstracte objectvormen).

Methodologie: Winsor-CAM

De auteurs stellen Winsor-CAM voor, een nieuwe, single-pass gradient-based methode die salientie-informatie uit alle convolutielagen van een CNN aggregeert. De kern van de methode is het gebruik van Winsorization (een statistische techniek voor het onderdrukken van uitschieters) om de bijdrage van lagen te reguleren.

Het proces verloopt in zes stappen:

1. Per-laag Grad-CAM berekening: Voor elke convolutielaag $i$ worden de gradients van de doelklasse $c$ ten opzichte van de feature maps berekend om een per-laag Grad-CAM kaart te genereren.
2. Ruimtelijke uitlijning: Alle gegenereerde kaarten worden geïnterpoleerd naar een gemeenschappelijke resolutie (de grootste afmeting in het netwerk) om ze te kunnen combineren.
3. Extractie van belangsscores: Voor elke laag wordt een scalar belangsscore ($\Gamma_i$) berekend door de filter-weights te aggregeren (via gemiddelde of maximum).
4. Winsorization (Uitschieteronderdrukking): Dit is de kerninnovatie. In plaats van alle scores direct te middelen, wordt een percentiel-threshold ($p$) toegepast op de niet-nul belangsscores. Scores boven het $p$-de percentiel worden afgekapt (geclipped) op die drempelwaarde.
   • Dit onderdrukt lagen met extreme, mogelijk misleidende hoge activaties (vaak diepere lagen) zonder de relatieve volgorde van de overige lagen te verstoren.
5. Normalisatie: De geknipte scores worden genormaliseerd naar een bereik (bijv. [0.1, 1.0]), waarbij nul-waarden behouden blijven voor lagen zonder positieve bijdrage.
6. Finale aggregatie: De uiteindelijke warmtekaart is een gewogen som van de geïnterpoleerde Grad-CAM kaarten, waarbij de gewichten de genormaliseerde, Winsorized scores zijn.

Human-Tunability: De parameter $p$ is controleerbaar door de gebruiker.

• Lage $p$-waarden: Onderdrukken extreme waarden sterk, waardoor de nadruk ligt op eerdere lagen (fijne details, texturen).
• Hoge $p$-waarden: Behouden meer van de oorspronkelijke verdeling, waardoor de nadruk ligt op diepere lagen (abstracte objectpatronen).

Belangrijkste Bijdragen

1. Eerste methode voor geaggregeerde Winsorization: Winsor-CAM is de eerste methode die Grad-CAM uitleggen over de volledige convolutiestapel aggregeert met statistische onderdrukking van uitschieters.
2. Semantische controle: Introduceert een mens-controleerbare parameter ($p$) om het abstractieniveau van de uitleg aan te passen, wat essentieel is voor "expert-in-the-loop" scenario's.
3. Efficiëntie: De methode behoudt de efficiëntie van single-pass methoden (één forward- en backward-pass), in tegenstelling tot multi-pass methoden zoals Integrated Gradients of ShapleyCAM.
4. Uitgebreide validatie: Omvat een uitgebreide evaluatie op zes verschillende CNN-architecturen (o.a. ResNet50, DenseNet121, VGG16) en twee domeinen: natuurlijke beelden (PASCAL VOC 2012) en medische beelden (PolypGen voor poliep-segmentatie).

Resultaten

De prestaties van Winsor-CAM zijn geëvalueerd tegenover zeven baselines (waaronder Grad-CAM, Grad-CAM++, LayerCAM, FullGrad, etc.) met behulp van lokale (IoU, Center-of-Mass afstand) en trouwheids-metrics (Insertion/Deletion AUC).

• PASCAL VOC 2012 (Natuurlijke Beelden):

  • Op DenseNet121 bereikte Winsor-CAM een IoU van 46,8% en een CoM-afstand van 0,059, vergeleken met respectievelijk 39,0% en 0,074 voor standaard Grad-CAM.
  • De methode verbeterde ook de Insertion AUC (0,656 vs 0,623) en verlaagde de Deletion AUC (0,197 vs 0,242), wat aangeeft dat de gegenereerde kaarten beter corresponderen met de feitelijke beslissingsprocessen van het model.
  • Robuustheid: Zelfs de slechtst presterende vaste $p$-waarde configuratie van Winsor-CAM presteerde beter dan FullGrad (een andere multi-laag methode) op alle metrics.
  • Ablatie-studie: Het tonen van eerdere lagen (via Winsorization) verbeterde de lokale precisie aanzienlijk in vergelijking met alleen de laatste laag gebruiken.

• PolypGen (Medische Beelden):

  • De methode toonde consistent superioriteit in lokale metrics (IoU en CoM) ten opzichte van baselines, zelfs in de complexe context van endoscopische beelden.
  • Hoewel Insertion/Deletion metrics lastig waren door de aard van medische data (artefacten bij vervaging), behield Winsor-CAM zijn voordeel in lokale precisie.
  • In medische contexten bleek het gebruik van alleen de diepere blokken soms effectiever dan alle lagen, wat aangeeft dat de optimale $p$-waarde domein-afhankelijk is.

Betekenis en Conclusie

Winsor-CAM biedt een robuust, efficiënt en mens-aanpasbaar hulpmiddel voor de interpretatie van diepe neurale netwerken.

• Voor experts: Het stelt specialisten (zoals artsen of modelontwikkelaars) in staat om interactief de "semantische diepte" van de uitleg te regelen. Een radioloog kan bijvoorbeeld hoge $p$-waarden kiezen om anatomische structuren te zien, terwijl een ontwikkelaar lage $p$-waarden kiest om te analyseren op welke texturen het model reageert.
• Veiligheid: Door de stabiliteit en de verbeterde ruimtelijke alignement, is de methode bijzonder geschikt voor veiligheidskritieke toepassingen waar transparantie en betrouwbaarheid van AI-beslissingen essentieel zijn.
• Toekomst: De auteurs suggereren toekomstig werk gericht op adaptieve selectie van de $p$-parameter en integratie in interactieve diagnostische interfaces.

Samenvattend overbrugt Winsor-CAM de kloof tussen geautomatiseerde attributie en menselijke interpretatiebehoeften door statistische robustheid te combineren met semantische flexibiliteit.