Training for Trustworthy Saliency Maps: Adversarial Training Meets Feature-Map Smoothing

Dit artikel introduceert een trainingsgerichte aanpak die adversarial training combineert met een lichtgewicht feature-map smoothing-blok om ruwe, onstabiele saliëntiekaarten om te zetten in betrouwbare, schaarse en stabiele visualisaties die door mensen als meer waardevol worden ervaren.

De kern

Stel je voor dat je een kunstenaar bent die een schilderij maakt van een kat. Je wilt niet alleen dat het schilderij eruitziet als een kat, maar je wilt ook dat je kunt uitleggen waarom het een kat is. Welke penseelstreken maken het tot een kat? De oren? De snorharen?

In de wereld van kunstmatige intelligentie (AI) doen we precies hetzelfde. We hebben een computerprogramma dat foto's herkent (bijvoorbeeld: "Dat is een kat"). Maar vaak is dit programma een "zwarte doos": het geeft het juiste antwoord, maar we weten niet precies hoe het tot dat antwoord kwam.

Om dit op te lossen, gebruiken we saliency maps. Dit zijn als het ware "warmtekaarten" op de foto. Rode gebieden betekenen: "Hier keek de computer naar om te beslissen dat het een kat is."

Het Probleem: Een trillende hand

Het probleem is dat deze warmtekaarten vaak erg onrustig zijn.

• Ruis: Soms wijst de kaart op een willekeurige vlek in de achtergrond in plaats van op de kat.
• Instabiliteit: Als je de foto een heel klein beetje verschuift of er een beetje ruis op doet (zoals een trillende hand van de fotograaf), kan de hele kaart plotseling veranderen. De computer denkt dan ineens dat hij naar de staart kijkt in plaats van de oren.

Dit maakt het moeilijk om de AI te vertrouwen, vooral in belangrijke situaties (zoals medische diagnose of zelfrijdende auto's).

De Oude Oplossing: Harder trainen (Adversarial Training)

Vroeger dachten onderzoekers: "Laten we de computer harder trainen." Ze gaven de computer duizenden voorbeelden van foto's met kleine verstoringen en dwongen hem om toch het juiste antwoord te geven. Dit heet Adversarial Training.

Dit werkte deels goed:

• De warmtekaarten werden scherper. De computer keek nu echt alleen naar de oren en snorharen, en niet meer naar de achtergrond.
• Maar er was een valkuil: De computer werd zo gefocust op die specifieke pixels, dat hij er erg gevoelig voor werd. Als die ene pixel een beetje veranderde, schokte de hele uitleg. Het was alsof je een heel strakke, maar broze glazen kat had: hij zag er perfect uit, maar viel uit elkaar bij de minste aanraking.

De Nieuwe Oplossing: Een zachte filter (Feature-Map Smoothing)

De auteurs van dit paper hebben een slimme nieuwe aanpak bedacht. Ze zeggen: "Laten we die scherpe, broze focus van de computer iets 'zachtjes' maken."

Ze voegen een zachte filter toe tijdens het trainen. Denk hierbij aan het gebruik van een wazige bril of een wasmiddel dat de scherpe randen van de pixels een beetje verwelkt.

Hoe werkt dit in de praktijk?
Stel je voor dat de computer een foto bekijkt door een raam.

1. Normaal trainen: Het raam is vies en stoffig. Je ziet de kat, maar ook veel ruis en vlekken. De uitleg is wazig.
2. Adversarial training: Je wast het raam tot het spiegelglad is. Je ziet de kat heel scherp, maar als er een vliegje langs vliegt (een kleine verandering), schrikt de hele uitleg er van.
3. Onze nieuwe methode (Adversarial + Smoothing): Je wast het raam, maar je polijst het daarna met een zachte doek. Je verwijdert de scherpe, piekerige randjes. Je ziet de kat nog steeds heel scherp (de focus blijft), maar als er een vliegje langs vliegt, schokt de uitleg niet meer. De "wazigheid" die we toevoegen, is juist goed: het maakt de uitleg stabieler.

Wat leverde dit op?

De onderzoekers hebben dit getest op verschillende foto's (van kleding tot auto's) en met mensen laten kijken.

1. Beter overzicht: De nieuwe kaarten waren net zo scherp als de oude, maar veel rustiger. Ze lieten duidelijk zien waar de computer naar keek zonder die storende ruis.
2. Mensen vertrouwen het meer: In een test met 65 mensen (die verstand hadden van computers) vonden zij de nieuwe kaarten veel betrouwbaarder en makkelijker te begrijpen. Ze zeiden: "Dit ziet eruit alsof de computer echt begrijpt wat hij ziet."
3. De balans: Ze kregen het beste van twee werelden: de scherpe focus van de harde training, gecombineerd met de rust en stabiliteit van de zachte filter.

Conclusie

Kortom: Om AI te laten uitleggen waarom ze iets doen, moeten we niet alleen kijken naar hoe we de uitleg berekenen, maar vooral naar hoe we de AI trainen. Door de AI een beetje "zacht" te trainen (met die speciale filter), krijgen we uitleggen die niet alleen scherp zijn, maar ook stabiel en betrouwbaar. Het is alsof je van een trillende, scherpe camera overgaat op een camera die een beetje "wazig" is, maar daardoor juist de mooiste, rustigste foto's maakt.

Technische samenvatting

1. Het Probleem

Gradient-based saliency-methoden (zoals Vanilla Gradient en Integrated Gradients) worden veel gebruikt om beeldclassificatiemodellen te verklaren door te tonen welke pixels het meest invloed hebben op de voorspelling. Hoewel deze methoden populair zijn vanwege hun eenvoud en efficiëntie, lijden ze in de praktijk aan drie belangrijke tekortkomingen:

• Ruis en onstabielheid: De gegenereerde kaarten zijn vaak 'ruisachtig' en veranderen drastisch bij kleine invoerperturbaties.
• Gebrek aan betrouwbaarheid: In hoog-risico scenario's (high-stakes settings) is het moeilijk om deze kaarten te vertrouwen.
• Focus op post-hoc oplossingen: Bestaand werk probeert deze problemen vaak op te lossen door de attributie-algoritmen zelf te wijzigen of na het trainen (post-hoc) te gladstrijken, zonder in te zien hoe het trainingsproces zelf de kwaliteit van de uitleg bepaalt.

De kernvraag van dit paper is: Hoe vormt het trainingsproces de kwaliteit van standaard gradient-based uitleg?

2. Methodologie

De auteurs nemen een trainingsgerichte benadering en combineren twee concepten: Adversarial Training en Feature-Map Smoothing.

A. Theoretische Analyse: Kromming en Stabiliteit

De auteurs leiden een theoretische relatie af tussen de stabiliteit van attributies en de kromming (curvature) van de scorefunctie van het model.

• Voor zowel Vanilla Gradient (VG) als Integrated Gradients (IG) wordt aangetoond dat de variatie in uitleg wordt beheerst door de lokale kromming van de activatiefuncties en de grootte van de gewichten.
• Als het gradiëntveld snel varieert (hoge lokale kromming), zijn de uitleggen instabiel. Dit suggereert dat trainingsmethoden die de lokale gevoeligheid en kromming reduceren, de stabiliteit moeten verbeteren.

B. Adversarial Training (AT) en de Trade-off

Adversarial Training (AT) wordt gebruikt om modellen robuust te maken tegen perturbaties.

• Voordeel: AT resulteert in sparsere (meer geconcentreerde) saliency maps en verbetert de invoer-zijde stabiliteit (de kaart verandert minder bij ruis in de input).
• Nadeel (Ontdekte Trade-off): De auteurs ontdekken dat AT de uitvoer-zijde stabiliteit (Output-Side Stability) kan verslechteren. Dit betekent dat de uitleg kan fluctueren, zelfs als de voorspelling (logits) nauwelijks verandert. AT maakt de attributies scherper, maar soms ook "bros".

C. Oplossing: Feature-Map Smoothing

Om de negatieve effecten op de uitvoer-zijde stabiliteit te mitigeren, introduceren de auteurs een lichtgewicht regularisatiemethode tijdens het trainen:

• Techniek: Er wordt een differentieerbaar Gaussisch filter (een laagdoorlaatfilter) ingevoegd in een tussenliggende laag van het netwerk (na de eerste convolutie/residu-blok).
• Werking: Dit filter onderdrukt hoogfrequente fluctuaties in de feature maps voordat deze zich voortplanten naar het input-gradiëntveld.
• Architectuur: Het blok bestaat uit een Gaussische smoothing, gevolgd door een $1 \times 1$ convolutie en een residual connection om de representatieve capaciteit te behouden.
• Doel: Het reduceren van abrupte veranderingen in interne representaties, waardoor het Jacobiaan-veld soepeler wordt en de stabiliteit van de gradiënt-attributies verbetert, zonder de voordelen van AT (sparsiteit en robuustheid) te verliezen.

3. Belangrijkste Bijdragen

1. Theoretisch Kader: Een op kromming gebaseerde analyse die de stabiliteit van VG en IG koppelt aan de gladheid van het input-gradiëntveld, wat een principieel argument biedt voor trainingsgerichte controle.
2. Empirische Trade-off: Het kwantificeren van een nieuwe trade-off bij Adversarial Training: verbeterde sparsiteit en invoer-stabiliteit gaan ten koste van de uitvoer-stabiliteit (ROS).
3. Nieuwe Methode: De introductie van "Adversarial Training met Feature-Map Smoothing" als een praktische oplossing om deze trade-off op te lossen.
4. Validatie: Een uitgebreide evaluatie op meerdere datasets (FMNIST, CIFAR-10, ImageNette) en een menselijke studie die aantoont dat de gegenereerde kaarten als betrouwbaarder worden ervaren.

4. Resultaten

De methode werd getest op FMNIST, CIFAR-10 en ImageNette met modellen zoals LeNet en ResNet.

• Sparsiteit vs. Stabiliteit:
  • Natuurlijk getrainde modellen (N): Ruisachtig, diffuus en instabiel.
  • Adversariaal getrainde modellen (A): Sparsere kaarten, maar lagere uitvoer-stabiliteit (ROS).
  • Gegladde Adversariaal getrainde modellen (G): Behouden de sparsiteit van AT, maar herstellen de uitvoer-stabiliteit aanzienlijk. De invoer-stabiliteit (SSIM) verbetert zelfs verder dan bij alleen AT.
• Betrouwbaarheid (Faithfulness): Metingen met ROAD-AOPC tonen aan dat de stabiliteitsverbeteringen door smoothing niet ten koste gaan van de faithfulnes; de kaarten blijven de werkelijke beslissingscriteria van het model weerspiegelen.
• Menselijke Waarneming: Een studie met 65 deelnemers (PhD/MSc studenten) toont aan dat de "Gegladde Adversariaal" kaarten significant hoger worden beoordeeld op sufficiency (voldoende informatie) en trust (vertrouwen) dan zowel natuurlijke als ruwe adversariale kaarten. Deelnemers vonden de kaarten duidelijker en beter afgestemd op het object.

5. Betekenis en Conclusie

Dit paper demonstreert dat de kwaliteit van uitleg (explainability) niet alleen een kwestie is van het kiezen van het juiste algoritme, maar fundamenteel wordt bepaald door hoe het model is getraind.

De belangrijkste conclusie is dat simpele smoothing gecombineerd met robuuste training een praktische en effectieve weg biedt naar saliency maps die zowel spars (concentreren op belangrijke pixels) als stabiel (consistent bij kleine veranderingen) zijn. Dit lost een cruciaal probleem op in het veld van Explainable AI (XAI): het creëren van uitleggen die niet alleen wiskundig correct zijn, maar ook menselijk betrouwbaar en begrijpelijk. De code is openbaar beschikbaar gesteld om deze resultaten te reproduceren.