🤖 AI

Causal Explanations for Image Classifiers

Dit artikel introduceert ReX, een nieuw black-box framework gebaseerd op de formele theorie van werkelijke causaliteit dat efficiënte, minimale en hoogwaardige verklaringen voor beeldclassific worlders berekent, waarbij het bestaande state-of-the-art tools overtreft in zowel snelheid als verklaringgrootte.

Oorspronkelijke auteurs: Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar geheime robot hebt die naar een foto kijkt en zegt: "Dat is een lieveheersbeestje!" Je vraagt: "Waarom?" De robot kan je dat niet vertellen omdat het een "black box" is — zijn interne tandwielen en draden zijn verborgen, en zelfs de mensen die hem gebouwd hebben, begrijpen niet volledig hoe hij zijn beslissingen neemt.

Dit artikel introduceert een nieuwe manier om die "Waarom?"-vraag te stellen en een helder, eerlijk antwoord te krijgen zonder de motorkap van de robot te hooi te hoeven openen. De auteurs noemen hun methode rex.

Hier is de uitleg over hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Problek: De "Heat Map" versus de "Waarheid"

De meeste huidige hulpmiddelen proberen de beslissing van de robot uit te leggen door een "heat map" op de afbeelding te tekenen. Ze kleuren de delen van de afbeelding die ze belangrijk vinden rood en de onbelangrijke delen blauw.

Het Gebrek: Deze heat maps zijn vaak wazig. Ze kunnen de hele lieveheersbeestje markeren, maar ook het gras, de lucht en een willekeurig blad in de buurt. Het is alsof een detective naar een plaats delict wijst en zegt: "De dader was ergens in deze hele buurt." Dat is niet erg nuttig als je precies wilt weten wie het heeft gedaan.

2. De Oplossing: De "Minimale Ingrediënt"-test

De auteurs, onder leiding van Hana Chockler en collega's, besloten een concept uit de logica te gebruiken genaamd causaliteit. In plaats van te gokken wat belangrijk is, stellen ze een simpele vraag: "Wat is de absolute minimale hoeveelheid van deze afbeelding die ik moet behouden om nog steeds hetzelfde antwoord te krijgen?"

Denk aan een recept:

Als je een cake bakt en de robot zegt: "Dit is een chocoladecake," dan zou een heat map kunnen zeggen: "De bloem, suiker, eieren en de kom zijn allemaal belangrijk."
De rex-methode is als een chef die zegt: "Eigenlijk, als ik de kom verwijder, is de cake nog steeds een cake. Als ik de suiker verwijder, is het geen cake meer. Als ik de bloem verwijder, is het geen cake meer. Maar als ik alleen de bloem, suiker en eieren behoud en de rest weggooi, is het nog steeds een chocoladecake."

rex vindt de kleinste mogelijke groep pixels (de "ingrediënten") die strikt noodzakelijk zijn voor de robot om "Lieveheersbeestje" te zeggen. Als je de rest afdekt, ziet de robot nog steeds een lieveheersbeestje.

3. Hoe het werkt: De "Geblinddoekte Detective"

Omdat de robot een black box is, kan rex niet in de machine kijken. In plaats daarvan speelt het een spel van "afdekken en onthullen":

De Partitie: Het snijdt de afbeelding in vier willekeurige stukken (zoals het snijden van een pizza).
De Test: Het dekt verschillende combinaties van deze stukken af en vraagt aan de robot: "Is het nog steeds een lieveheersbeestje?"
De Verfijning: Als de robot "Ja" zegt, zelfs wanneer een stuk is afgedekt, was dat stuk niet belangrijk. Als de robot "Nee" zegt wanneer een stuk is afgedekt, is dat stuk essentieel.
De Iteratie: Het blijft de "vitale" stukken steeds kleiner snijden, keer op keer, totdat het de kleinste mogelijke pixels vindt die er toe doen.
Het Gemiddelde: Om er zeker van te zijn dat het niet geluk heeft gehad met één specifieke manier van het snijden van de pizza, herhaalt het dit proces vele malen met verschillende snijwijzen en middelt de resultaten.

4. De Resultaten: Kleiner, Scherper en Sneller

De auteurs hebben rex getest tegenover andere populaire tools (zoals Grad-CAM, LIME en SHAP) met behulp van duizenden afbeeldingen. Dit is wat ze vonden:

Kleine Uitleg: rex produceert uitleg die ongelooflijk klein is. In veel gevallen beslaat de "uitleg" minder dan 5% van de afbeelding. Andere tools markeren vaak 10% tot 50% van de afbeelding, inclus\n bij veel "ruis" (irrelevante achtergrond).
Precisie: Omdat rex alleen markeert wat strikt noodzakelijk is, vermijdt het het aanwijzen van irrelevante zaken. Bijvoorbeeld, als een foto van een bus een persoon voor de bus heeft staan, negeert rex correct de persoon en focust alleen op de delen van de bus die bewijzen dat het een bus is.
Snelheid: Ondanks dat het veel tests uitvoert, is het verrassend snel. Het is de meest efficiënte "black box"-tool die is getest, en verslaat vaak tools die wel in de hersenen van de robot mogen kijken (white-box tools).

5. Een Twist op "Verwijderen"

Het artikel daagt ook een veelvoorkomende manier van kwaliteitsmeting uit, genaamd de "verwijderingscurve" (deletion curve).

De Oude Manier: Mensen dachten dat een goede uitleg ervoor moest zorgen dat het vertrouwen van de robot snel daalt als je begint met het verwijderen van de gemarkeerde pixels.
Het Nieuwe Inzicht: De auteurs beargumenteren dat dit misleidend is. Soms heeft een afbeelding meerdere redenen voor een classificatie (bijv. een foto van een zeester kan herkend worden aan de linkerarm OF de rechterarm). Als je de linkerarm verwijdert, ziet de robot nog steeds de rechterarm en blijft hij vol vertrouwen.
De Analogie: Stel je een beveiligingssysteem voor dat opent als je een sleutel hebt OF een vingerafdruk. Als je de sleutel verwijdert, opent het systeem nog steeds vanwege de vingerafdruk. Een "slechte" verwijderingsscore betekent niet dat de uitleg fout is; het betekent dat het systeem meerdere geldige redenen heeft gevonden. rex is slim genoeg om al deze verschillende "sleutels" te vinden, terwijl andere tools meestal slechts één vindt.

Samenvatting

Het artikel presenteert rex, een tool die een AI-afbeeldingsclassificator behandelt als een mysterie dat opgelost moet worden door eliminatie. In plaats van te gokken wat de AI ziet, dekt het systematisch delen van de afbeelding af totdat het de piepkleine, essentiële "vingerafdruk" vindt die de beslissing van de AI bewijst. Het resultaat is een uitleg die kleiner, preciezer en betrouwbaarder is dan elke andere black-box methode die momenteel beschikbaar is.

Technische Samenvatting: Causale Verklaringen voor Beeldclassificatie-modellen

Probleemstelling
Neurale netwerken (NN's) functioneren als complexe, niet-lineaire "black boxes", waardoor het moeilijk is te herleiden hoe pixeldata wordt geïnterpreteerd om tot een classificatie te komen. Deze ondoorzichtigheid is bijzonder problematief in propriëtaire systemen (bijv. de gezondheidszorg) waar interne lagen ontoegankelijk zijn. Bestaande XAI-technieken (Explainable AI) voor beeldclassificatie vertrouwen doorgaans op pixelrangschikkingen of heat maps die afgeleid zijn van gradiënten, propagatie of perturbatie. Deze methoden missen echter een gefundeerde aanpak die geworteld is in formele definities van oorzaak en verklaring. Bovendien produceren bestaande tools vaak verklaringen die groot zijn, overbodige informatie bevatten, of leunen op willekeurige initiële segmentaties (zoals LIME) of ongeleide willekeurige occlusies (zoals RISE). Dit artikel adresseert de behoefte aan een formele, rigoureuze definitie van verklaring die geschikt is voor beeldclassificatie en een efficiënte methode om deze te berekenen zonder de "black box" van het model te openen.

Methodologie
De auteurs stellen een nieuwe black-box benadering voor die gebaseerd is op de theorie van feitelijke causaliteit (actual causality), specifiek door de definities van Halpern [2019] aan te passen aan beeldclassificatie.

Formele Definitie: Het artikel definieert een verklaring als een minimale subset van pixels met hun originele waarden die voldoende is om dezelfde classificatie te verkrijgen als de originele afbeelding, mits alle andere pixels gemaskeerd zijn (vervangen door data uit een vooraf gedefinieerde dataset). De beeldclassificator wordt gemodelleerd als een diepte-2 causaal model waarbij de invoerpixels exogene variabelen zijn en de classificatie de output is.
Intractabiliteit: De auteurs bewijzen dat het berekenen van de exacte minimale verklaring intractabel is (exponentieel in het aantal pixels). Bijgevolg stellen zij een benaderingsalgoritme voor.
Het rex-algoritme: De voorgestelde tool, rex, berekent benaderde verklaringen via twee hoofdfasen:
- Causale Rangschikking: Het algoritme verdeelt de afbeelding in rectilineaire "superpixels" (aanvankelijk 4). Het berekent de "graad van voldoende verantwoordelijkheid" (degree of sufficient responsibility) voor elke superpixel door combinaties van gemaskeerde/ongemaskeerde regio's tegen het model te testen. Dit proces is iteratief: superpixels met een hoge verantwoordelijkheid worden recursief onderverdeeld en opnieuw geëvalueerd. Om de bias van een enkele partitie te mitigeren, voert het algoritme meerdere keren een run uit met willekeurige initiële partities, waarbij de resulterende verantwoordelijkheidsscores worden gemiddeld om een pixel-niveau ranglijst te creëren.
- Extractie van de Verklaring: Met behulp van de gerangschikte lijst van pixels construeert een gulzig (greedy) algoritme de verklaring. Het voegt pixels toe vanuit de hoogst gerangschikte lijst aan een lege set totdat de output van het model op deze subset overeenkomt met de originele classificatie.
Complexiteit: De auteurs bewijzen dat het algoritme termineert en demonstreren dat het aantal modeloproepen lineair is ten opzichte van de grootte van de afbeelding ( $O(2^s n N)$ , waarbij $s$ de partitiegrootte is, $n$ het aantal pixels, en $N$ het aantal iteraties), wat het computationeel haalbaar maakt.

Belangrijkste Bijdragen

Formeel Kader: Het artikel stelt een formele definitie van verklaring vast voor beeldclassificatie gebaseerd op feitelijke causaliteit, wat een onderscheid maakt met heuristische of gradiënt-gebaseerde belangmetingen.
Algoritme en Tool (rex): Het introduceert een efficiënt, black-box algoritme voor het berekenen van benaderde minimale verklaringen en implementeert dit in een open-source tool.
Theoretische Garanties: De auteurs leveren bewijzen voor de terminatie en complexiteit van hun algoritme, evenals een discussie over de benaderingsratio vergeleken met de exacte definitie.
Kwaliteitsmetrieken: Het artikel evalueert kritisch standaard XAI-metrieken, waarbij wordt beargumenteerd dat hoewel insertiecurves en de grootte van de verklaring robuust zijn, deletiecurves misleidend kunnen zijn voor modellen met meerdere geldige verklaringen (omdat een hoge deletie AUC kan voortkomen uit meerdere verschillende verklarende regio's in plaats van een slechte kwaliteit).

Experimentele Resultaten
De auteurs hebben rex geëvalueerd tegen state-of-the-art white-box (bijv. Grad-CAM, LRP), grey-box (bijv. Integrated Gradients, GradientSHAP) en black-box (bijv. LIME, RISE, KernelSHAP) tools over vier datasets (ImageNet-1k-mini, VOC2012, ECSSD, en een aangepaste "Photobombing" dataset) en drie modellen (ResNet50, ViT, ConvNext).

Verklaring Grootte: rex produceerde consistent de kleinste verklaringen, die gemiddeld tussen de 3% en 5% van de afbeelding groot zijn. Dit is aanzienlijk kleiner dan andere black-box tools en presteert vaak beter dan white-box methoden zoals Grad-CAM.
Efficiëntie: rex is de meest efficiënte black-box tool, met executietijden die vergelijkbaar zijn met andere perturbatie-gebaseerde methoden (ongeveer 4–6 seconden inclusief extractie) en aanzienlijk sneller dan RISE.
Kwaliteitsmaten:
- Insertiecurves: rex behaalde de hoogste Area Under Curve (AUC) voor insertie, wat aangeeft dat de geïdentificeerde pixels zeer effectief zijn bij het herstellen van de classificatievertrouwen.
- Segmentatie Overlap: Op datasets met door mensen verstrekte segmentatie vertoonden rex verklaringen een hoge overlap met het relevante object en een minimale overlap met irrelevante achtergrond of occlusies.
- Deletiecurves: De auteurs merken op dat rex vaak een hogere deletie AUC heeft dan sommige concurrenten. Zij beargumenteren dat dit geen falen is maar een kenmerk: rex identificeert meerdere verschillende verklarende regio's (bijv. meerdere delen van een object), en het verwijderen van pixels uit één regio vernietigt het signaal van de andere regio's niet onmiddellijk, in tegen tegenstelling tot tools die één diffuse regio identificeren.

Significantie en Claims
Het artikel claimt dat rex een significante vooruitgang vertegenwoordigt in black-box XAI door verklaringen te bieden die niet alleen computationeel efficiënt zijn, maar ook theoretisch gefundeerd in causaliteit. De auteurs stellen dat rex de kleinste, meest precieze verklaringen produceert onder de black-box tools, en vaak white-box methoden overtreft in termen van verklaringgrootte en concentratie.

Cruciaal is dat het artikel beargumenteert dat de kleine omvang van de rex verklaringen (vaak <5% van de afbeelding) impliceert dat verdere reductie niet nuttig is, aangezien de geïdentificeerde pixels voldoende zijn voor de classificatie. De auteurs benadrukken ook dat hun aanpak niet afhankelijk is van vooraf bestaande beeldsegmentatie, wat het robuust maakt over verschillende datasets en modelarchitecturen waar segmentatiemaskers mogelijk niet beschikbaar of onnauwkeurig zijn. Het werk demonstreert dat black-box methoden een verklaringkwaliteit kunnen bereiken die vergelijkbaar met, of zelfs beter dan, white-box methoden is wanneer zij worden gestuurd door formele causale definities.