Sufficient, Necessary and Complete Causal Explanations in Image Classification

Dit artikel introduceert een formeel rigoureuze, volledig black-box methode voor het genereren van causale verklaringen in beeldclassificatie die de wiskundige eigenschappen van logische verklaringen verenigen met de toepasbaarheid op neurale netwerken, door middel van het identificeren van voldoende, noodzakelijke en complete beeldcomponenten.

De kern

Stel je voor dat je een kunstwerk bekijkt en de kunstenaar vraagt: "Waarom denk je dat dit een 'ladybug' (liefdeskevertje) is?"

De meeste huidige methoden om AI-modellen uit te leggen, zijn als een vaag gebaar: "Nou, kijk eens naar die rode vlekken." Maar ze kunnen niet precies zeggen welke vlekken essentieel zijn en welke alleen maar decoratie zijn. Ze missen de wiskundige precisie. Aan de andere kant zijn er methoden die wel precies zijn, maar die alleen werken als de kunstenaar een heel simpel, lineair schilderij maakt. Moderne AI-modellen (zoals die in je telefoon of ziekenhuis) zijn echter ingewikkelde, zwarte dozen die niet zo simpel werken.

Deze paper introduceert een nieuwe manier om te kijken naar waarom een AI een bepaalde beslissing neemt. Ze gebruiken een concept uit de filosofie: oorzaak en gevolg.

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve analogieën:

1. De Drie Soorten "Uitleg" (De Chef-kok Analogie)

Stel je voor dat de AI een chef-kok is die een gerecht (een foto) proeft en zegt: "Dit is een Italiaanse tomatensaus!"

De auteurs willen weten: Welke ingrediënten (pixels) zijn echt nodig voor die smaak? Ze verdelen de foto in drie soorten delen:

• De "Voldoende" Uitleg (Sufficient):
  Dit is het kleinste stukje van de foto dat je nodig hebt om de AI nog steeds "tomatensaus" te laten zeggen.

  • Analogie: Als je alleen de rode vlekken van de tomaat laat zien, en de rest van de foto zwart maakt, roept de AI nog steeds: "Tomatensaus!" Alles wat je daarbuiten hebt, is op dat moment overbodig. Het is het "minimale recept".

• De "Noodzakelijke" Uitleg (Necessary):
  Dit zijn de stukjes die je niet mag weghalen. Als je ze verwijdert, denkt de AI plotseling: "Oh, dit is geen tomatensaus meer, maar misschien een aardbei!"

  • Analogie: Als je de zaden van de tomaat verwijdert, is het geen tomaat meer. Die zaden zijn noodzakelijk voor de definitie.

• De "Volledige" Uitleg (Complete):
  Dit is de perfecte combinatie: het kleinste stukje dat voldoende is én waarvan je geen enkel stukje kunt weghalen zonder dat de betekenis verandert. Het is de "gouden standaard" van uitleg.

2. Het Vertrouwen (De "Zekerheidsgraad")

Soms zegt de AI: "Dit is een tomatensaus" met 100% zekerheid. Soms met 60%.
De auteurs zeggen: "Een goede uitleg moet net zo zeker zijn als het oorspronkelijke oordeel."

• $\delta$-Volledig (Delta-Complete): Stel, de AI is 60% zeker. Een $\delta$-uitleg is een stukje foto dat de AI ook met 60% zekerheid "tomatensaus" noemt.
• 1-Volledig (1-Complete): Dit is de heilige graal. Het is een stukje foto dat de AI met exact dezelfde zekerheid (bijv. 100%) als het origineel herkent.

3. De "Aanpassingspixels" (De Gewone Burger)

Dit is het meest interessante deel van de paper. Soms heb je een "volledige" uitleg die net iets minder zeker is dan het origineel. Wat ontbreekt er dan?
Er zijn pixels die niet essentieel zijn om de naam te bepalen (je kunt ze weglaten en het blijft een tomatensaus), maar die wel helpen om de AI zekerder te maken.

• Analogie: Stel je hebt een tomatensaus. Je kunt hem proeven en zeggen "Dit is saus" (Voldoende). Maar als je er ook nog een snufje basilicum en een snufje olijfolie bij doet, zeg je: "Dit is absoluut de beste tomatensaus!" (Volledig).
  De basilicum en olijfolie zijn de aanpassingspixels. Ze veranderen de naam niet, maar ze geven de AI het vertrouwen dat het echt de juiste naam is.

4. Waarom is dit zo speciaal?

• Het werkt als een "Zwarte Doos": Je hoeft niet te weten hoe de AI van binnen werkt. Je hoeft geen wiskundige formules te kennen of de code te zien. Je kunt het op elk model toepassen, of het nu een ResNet, MobileNet of een Swin-transformer is.
• Het is wiskundig bewezen: Ze hebben bewezen dat deze methoden net zo streng en betrouwbaar zijn als de beste logica-methoden, maar dan zonder de beperkingen.
• Het is snel: Het kost gemiddeld maar 6 seconden om een foto te analyseren op een gewone computer.

5. Wat hebben ze ontdekt? (De Experimenten)

Ze hebben dit getest op drie verschillende AI-modellen met duizenden foto's. Ze ontdekten dat elke AI-model op een heel andere manier denkt:

• ResNet50 (een slimme, maar wat oudere model) heeft heel weinig pixels nodig om een beslissing te nemen. Het is erg efficiënt.
• MobileNet (ontworpen voor telefoons) heeft veel meer pixels nodig om zeker te zijn. Het is minder "zeker" met kleine stukjes.
• Swin t (een heel nieuw, complex model) zit ergens in het midden, maar heeft soms hele grote stukken nodig om volledig te zijn.

Conclusie in één zin

Deze paper geeft ons een wiskundig scherp mes om een foto in stukjes te snijden en precies te zien: welke stukjes de AI nodig heeft om de naam te weten, welke stukjes nodig zijn om zekerheid te krijgen, en welke stukjes overbodig zijn. Het helpt ons te begrijpen of een AI echt "slim" kijkt of dat het toevallige patronen ziet.

Technische samenvatting

Probleemstelling

Bestaande algoritmen voor het verklaren van de output van beeldclassificators (XAI) vertonen vaak een gebrek aan formele strengheid. Aan de ene kant bieden logische verklaringen (logic-based explanations) formele garanties, maar hun berekenbaarheid rust op strenge aannames (zoals monotonie of lineariteit) die niet opgaan voor complexe, niet-lineaire beeldclassificators (zoals neurale netwerken). Aan de andere kant zijn veel huidige XAI-methoden (zoals saliency maps of LIME) wel toepasbaar op "black-box" modellen, maar missen ze de formele rigueur en causaliteit.

Er is een behoefte aan een methode die:

1. Formeel en rigoureus gedefinieerd is.
2. Toepasbaar is op zwarte-doos (black-box) beeldclassificators zonder kennis van de interne werking of gradiënten.
3. Causale relaties in kaart brengt tussen pixels en de classificatiebeslissing.

Methodologie

De auteurs introduceren een raamwerk voor causale verklaringen gebaseerd op de theorie van actual causality (werkelijke causaliteit) van Halpern en Pearl. Ze modelleren het classificatieproces als een diepte-2 causaal model waarbij pixels als endogene variabelen fungeren.

Kernconcepten en Definities:

• Causaal Model: Een beeld wordt gemodelleerd als een set variabelen (pixels). Een "interventie" bestaat uit het maskeren (verbergen) van pixels. Het doel is te bepalen welke subsets van pixels de classificatie beïnvloeden.
• Voldoende (Sufficient) Verklaring: Een minimaal subset van pixels die, wanneer alleen deze zichtbaar zijn (en de rest gemaskeerd), voldoende is om de oorspronkelijke classificatie te reproduceren.
• Noodzakelijke (Necessary) Verklaring: Een subset van pixels die noodzakelijk is; als deze worden gemaskeerd, verandert de classificatie.
• Compleetheid (Completeness): Een verklaring die zowel voldoende als noodzakelijk is.
  • $\delta$-complete verklaringen: Een complete verklaring waarbij de betrouwbaarheid (confidence) van de classificatie minimaal $\delta$ keer de oorspronkelijke betrouwbaarheid is.
  • 1-complete verklaringen: Een complete verklaring waarbij de betrouwbaarheid exact gelijk is aan die van het originele beeld. Dit betekent dat de verklaring causaal equivalent is aan het volledige beeld voor de classifier.
• Adjustment Pixels: Pixels die niet tot de strikt noodzakelijke of voldoende set behoren, maar wel nodig zijn om de betrouwbaarheid (confidence score) van het model te corrigeren naar het niveau van het originele beeld.

Algoritmen:
Omdat het berekenen van exacte causale verklaringen co-NP-compleet is (wiskundig onhandelbaar voor grote datasets), ontwikkelen de auteurs efficiënte black-box benaderingsalgoritmen gebaseerd op het bestaande tool ReX (Responsibility-based Explanation).

• Het algoritme rangschikt pixels op basis van hun "verantwoordelijkheid" (responsibility) voor de classificatie.
• Het bouwt iteratief op aan een voldoende set (door pixels toe te voegen) en een noodzakelijke set (door pixels te verwijderen) totdat de $\delta$- of 1-complete criteria worden voldaan.
• Het vereist geen toegang tot de modelarchitectuur, gradiënten of interne parameters.

Belangrijkste Bijdragen

1. Formele Equivalentie: De auteurs bewijzen dat causale verklaringen in hun setting formeel equivalent zijn aan logische abductieve verklaringen (prime implicants), maar zonder de beperkende aannames van monotonie.
2. Nieuwe Definities: Introductie van $\delta$-complete en 1-complete causale verklaringen, en het concept van "adjustment pixels" om de nuances van modelvertrouwen te analyseren.
3. Invers Classificatie: Door de "compleet" pixels te maskeren, kunnen ze de "inverse classificatie" berekenen (wat het model ziet als de resterende data). Dit biedt inzicht in wat het model niet ziet als relevant.
4. Black-box Implementatie: Een efficiënt algoritme dat werkt op willekeurige beeldclassificators (zoals ResNet50, MobileNet, Swin Transformer) zonder modelinterne kennis.

Resultaten

De auteurs hebben hun algoritmen getest op drie state-of-the-art modellen (ResNet50, MobileNet, Swin Transformer) en drie datasets (ImageNet-1K, PascalVOC, ECSSD).

• Efficiëntie: De algoritmen zijn zeer efficiënt; het berekenen van alle verklaringstypes kost gemiddeld 6 seconden per afbeelding op een ResNet50-model.
• Modelverschillen: Verschillende modellen vertonen verschillende patronen:
  • ResNet50 heeft de laagste vereisten voor zowel voldoende als complete pixels (gebruikt minder pixels om dezelfde beslissing te nemen).
  • MobileNet en Swin Transformer hebben grotere sets nodig voor volledigheid.
• Adjustment Pixels: De studie toont aan dat er vaak een aanzienlijk aantal pixels is dat nodig is om de confidence-score te "justeren" (bijv. van 0.75 naar 0.60), zelfs als de classificatie zelf al correct is. Dit geeft inzicht in hoe het model zijn zekerheid verfijnt.
• Vergelijking met andere tools: In vergelijking met Grad-CAM en LIME, produceert ReX (de basis van hun methode) over het algemeen kleinere en preciezere voldoende sets (gemiddeld ~4% van de afbeelding voor ReX vs ~14% voor LIME). ReX is ook stabieler en minder afhankelijk van de modelarchitectuur dan Grad-CAM.
• Semantische Afstand: De afstand tussen de originele classificatie en de inverse classificatie (na masking van de complete set) is vaak klein binnen de ImageNet-hiërarchie, wat suggereert dat modellen vaak subtiel onderscheid maken binnen brede categorieën.

Significantie

Dit paper is significant omdat het een brug slaat tussen de formele strengheid van logische verklaringen en de praktische toepasbaarheid op moderne, complexe beeldclassificators.

• Formele Garantie: Het biedt de eerste methode die formele causale garanties biedt voor black-box beeldclassificators.
• Dieper Inzicht: Door het onderscheid te maken tussen voldoende, noodzakelijke en aanpassende (adjustment) pixels, krijgen onderzoekers en ontwikkelaars een veel gedetailleerder beeld van hoe een model een beslissing neemt, inclusief hoe het zijn vertrouwen vormt.
• Onafhankelijkheid: De methode is volledig model-onafhankelijk, wat het breed toepasbaar maakt voor auditing en debugging van AI-systemen in kritieke domeinen (zoals medische beeldvorming, zoals in de introductie wordt aangehaald).

Samenvattend biedt dit werk een nieuwe, wiskundig onderbouwde taal en toolkit om de "black box" van beeldclassificatie te openen, niet alleen door te zeggen wat het model ziet, maar waarom en hoe zeker het is, zonder de interne werking van het model te hoeven kennen.