🤖 AI

SketchXplain: Intuitive Visual Explanations of Image Classifiers with Sketches

Het artikel stelt SketchXplain voor, een nieuw framework dat intuïtieve, op schetsen gebaseerde visuele verklaringen genereert voor beeldclassificatiemodellen door saliency maps, concept-bottleneck modellen en schetsoptimalisatie te integreren om de interpreteerbaarheidsgat te overbruggen en het gebruikersbegrip te versnellen vergeleken met traditionele methoden.

Oorspronkelijke auteurs: Wencan Zhang, Mario Michelessa, Xuejun Zhao, Brian Y. Lim

Gepubliceerd 2026-06-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wencan Zhang, Mario Michelessa, Xuejun Zhao, Brian Y. Lim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente AI vraagt om naar een foto te kijken en te vertellen wat er gebeurt. De AI zegt: "Dat is een boos gezicht!" of "Dat is een gevaarlijke plek op de huid!" Maar wanneer je vraagt: "Hoe weet je dat?", wijst de AI meestal naar een wazige, gloeiend rode vlek op de afbeelding. Het is alsof de AI zegt: "Kijk hier!", maar niet vertelt waarom die plek ertoe doet. Het is verwarrend, en je blijft aan het raden.

Dit artikel introduceert SketchXplain, een nieuwe manier om AI-beslissingen uit te leggen die meer aanvoelt als een snelle schets van een mens dan als het markeren van pixels door een computer.

Hier is de eenvoudige uitleg van hoe het werkt en waarom het beter is, met behulp van alledaagse analogieën:

Het Probleen: De "Wazige Rode Vlek"

Denk aan huidige AI-uitleg (genaamd Saliency Maps) als een zaklamp in een donkere kamer. De AI schijnt een fel licht op een specifiek gebied van een foto om te zeggen: "Ik kijk hier."

Het probleem: Het licht is vaak wazig. Het laat je zien waar je moet kijken, maar niet waarnaar je kijkt. Is die rode vlek een rimpel? Een schaduw? Een litteken? Het is moeilijk te zeggen, waardoor er een gat in het begrip ontstaat.

De Oplossing: De "Schets van een Tekenaar"

De auteurs stellen dat de beste manier om iets uit te leggen, het maken van een eenvoudige schets is, zoals een cartoonist dat zou doen. Een goede schets laat de rommelige details weg (zoals de textuur van de huid of de exacte kleur van een shirt) en focust alleen op de essentiële lijnen die het verhaal vertellen.

SketchXplain is een hulpmiddel dat de beslissing van een AI omzet in een van deze behulpzame schetsen.

Hoe SketchXplain Werkt (Het 3-Stappen Recept)

Om een schets te maken die echt de denkwijze van de AI uitlegt, doet het systeem drie dingen:

Het leert de "Woordenschat" (Concepten):
Stel je voor dat je een kind leert om een "boos" gezicht te herkennen. Je zegt niet alleen "boos". Je wijst op specifieke onderdelen: "De wenkbrauwen zijn lager," "De ogen knijpen samen," en "De lippen zijn strak."
SketchXplain doet dit eerst. Het identificeert deze specifieke "concept-onderdelen" (zoals een lage wenkbrauw of een grillige rand van de huid) voordat het ook maar iets tekent.
Het vindt de "Aanwijzingen" (Saliency):
Het kijkt naar de foto om te zien precies waar die concepten zich verbergen. Het is als een detective die de exacte plek op een kaart markeert waar een aanwijzing is gevonden.
Het tekent de "Schets" (Rationalisatie):
Dit is het magische deel. In plaats van alleen de hele omtrek van het gezicht of de plek op de huid te traceren, tekent het alleen de lijnen die er toe doen.

Als de AI denkt dat een gezicht boos is, tekent SketchXplain de gefronste wenkbrauwen en de strakke lippen, maar negeert het haar of de achtergrond.
Als de AI denkt dat een plek op de huid gevaarlijk is, tekent het de grillige, onregelmatige rand en de vreemde kleurvlekken, terwijl het de gezonde huid eromheen negeert.
Het gebruikt donkere, dikkere lijnen voor de belangrijkste aanwijzingen en lichtere lijnen voor minder belangrijke zaken, als een visuele highlighter.

Waarom Is Dit Beter? (De Resultaten)

De onderzoekers hebben dit getest op twee zaken: Gezichten (het raden van emoties zoals blij of boos) en Huidplekken (het raden of een moedervlek gevaarlijk is).

Snelheid: Wanneer mensen deze schetsen gedurende een fractie van een seconde te zien kregen (minder dan een knipoog), begrepen ze het antwoord van de AI veel sneller dan wanneer ze een wazige rode vlek te zien kregen. Het is als het herkennen van een vriend aan een simpele stokfiguur versus een wazige foto.
Helderheid: Mensen konden gemakkelijk zeggen: "Ah, de AI denkt dat het boos is vanwege de wenkbrauwen," terwijl ze bij de rode vlek gewoon aan het gissen waren.
Vertrouwen: De schetsen voelden meer "eerlijk". Ze toonden niet zomaar willekeurige pixels; ze toonden de werkelijke kenmerken (zoals een rimpel of een grillige rand) die een mens ook zou gebruiken om dezelfde beslissing te nemen.

De Kernboodschap

Beschouw SketchXplain als een tolk die de complexe, verwarrende wiskunde van de AI vertaalt naar een eenvoudige, handgetekende krabbel.

Oude manier: "Ik kijk naar dit rood gloeiende gebied." (Verwarrend)
Nieuwe manier (SketchXplain): "Ik kijk naar de grillige rand en de donkere kleur hier, en dat is waarom ik denk dat het gevaarlijk is." (Helder en intuïtief)

Het artikel beweert dat deze methode gewone mensen helpt om AI-beslissingen snel en accuraat te begrijpen, waardoor de kloof tussen wat de computer ziet en wat een mens begrijpt, wordt gedicht. Het verandert een "black box" in een duidelijke, eenvoudige tekening.

Technische Samenvatting: SketchXplain

Probleemstelling

Huidige methoden voor verklaarbare AI (XAI) voor beeldclassificatie, met name saliency maps (opvallendheidskaarten), lijden aan een "interpretatiekloof". Hoewel saliency maps getrouw de relevante pixels of neuronen benadrukken, missen ze vaak semantische context en verschijnen ze als intuïtief niet-intuïtieve "nevelige vlekken" die niet kunnen overbrengen waarom een regio relevant is. Dit dwingt gebruikers om aanzienlijke cognitieve inspanning te leveren om het gedrag van het model te interpreteren, wat snelle en accurate besluitvorming belemmert. Bestaande concept-gebaseerde verklaringen verbeteren de semantische afstemming, maar missen vaak visuele coherentie met de specifieke beeldinstantie, terwijl eenvoudige lijntekeningen of randdetectie er niet in slagen de noodzakelijke verklarende aanwijzingen vast te leggen. De auteurs stellen dat AI-verklaringen intuïtief moeten zijn, gedefinieerd door drie desiderata: Eenvoud (helder en beknopt), Coherentie (afgestemd op gebruikerskennis en bewijs) en Snelle Interpretatie (mogelijkheid tot snelle assimilatie).

Methodologie: SketchXplain

De auteurs stellen SketchXplain voor, een deep neural network framework dat schetsgebaseerde visuele verklaringen genereert. In tegenstelling tot methoden die simpelweg foto's naar schetsen converteren of pixels markeren, integreert SketchXplain saliency, concept bottlenecks en schetsoptimalisatie om abstracte, cue-bewuste tekeningen te produceren.

De architectuur bestaat uit drie hoofdmodules:

Basisvoorspelling: Een beeldencoder ( $M$ ) voorspelt de klasse-label ( $\hat{y}$ ) van de invoerafbeelding ( $x$ ).
Conceptverklaringen:
- Concept Bottleneck: Het model voorspelt intermediaire, menselijk interpreteerbare concepten ( $\hat{\gamma}$ ) (bijv. gezichtsuitdrukkingen/Action Units of huidlaesie ABCD-criteria) via multi-label binaire classificatie. Deze concepten worden vervolgens gebruikt om de uiteindelijke klasse-label te voorspellen.
- Cue Lokalisatie: Met behulp van Grad-CAM aangepast voor transformers, genereert het systeem saliency maps voor elk voorspeld concept. Deze kaarten worden gewogen door de belangrijkheid van elk concept voor de uiteindelijke voorspelling ( $\hat{w}_\gamma$ ) om een verenigde, concept-gewogen saliency map ( $\hat{\epsilon}$ ) te creëren.
Schetsrationalisatie: Deze module genereert de uiteindelijke schets via twee stappen:
- Streek-initialisatie: Een vooraf getrainde image-to-image generator extraheert gedetailleerde lijnen (randen, rimpels, texturen) uit de foto. Deze lijnen worden gemaskeerd door de concept-gewogen saliency map om alleen de meest verklarende streken te behouden.
- Streek-optimalisatie: Het systeem initialiseert een set parametrische streken (kwadratische Bézier-curven) op basis van de gemaskeerde lijnen. Deze streken worden iteratief geoptimaliseerd via gradiëntafdaling om een samengestelde verliesfunctie ( $L$ $L$ ) te minimaliseren:
  $L = -\cos(\hat{z}_s, \hat{z}_x) - \lambda_t \cos(\hat{z}_s, \hat{z}_y) + \lambda_\kappa \kappa(\hat{s}_x)$
  Waar:
  - $\hat{z}_s, \hat{z}_x, \hat{z}_y$ de CLIP-embeddings zijn van de schets, de invoerfoto en respectievelijk de voorspelde label.
  - De eerste term zorgt voor Foto-afstemming (getrouwheid aan de afbeelding).
  - De tweede term zorgt voor Semantische Afstemming (getrouwheid aan de voorspelde label).
  - De derde term ( $\kappa$ ) dwingt Gladheid (eenvoud) af door hoge kromming te bestraffen.

Belangrijkste Bijdragen

Nieuwe Modaliteit: Dit is het eerste werk dat schetsen gebruikt als een intuïtieve verklarende modaliteit voor visuele XAI, bewegend voorbij eenvoudige attributiemaps of verbale conceptbeschrijvingen.
SketchXplain Framework: Een technische methode die voldoet aan de desiderata van eenvoud, coherentie en snelle interpretatie door concept bottlenecks, saliency lokalisatie en differentiële schetsrendering te combineren.
Empirische Validatie: Uitgebreide evaluatie over twee verschillende domeinen:
- Gezichtsuitdrukkingherkenning: Gebruikmakend van Action Units (AUs) als concepten.
- Diagnose van Huidlaesies: Gebruikmakend van ABCD-criteria (Asymmetrie, Rand, Kleur, Diameter) als concepten.

Resultaten

Modellering en Proxy-metrieken

Eenvoud: De SketchXplain-schetsen vertoonden een significant lagere visuele complexiteit (gemeten door lokale entropie en JPEG XL bestandsgrootte) vergeleken met saliency maps en "Salient Photos", terwijl ze meer informatie behielden dan eenvoudige contouren.
Coherentie: SketchXplain behaalde de hoogste afstemming met zowel de AI-voorspellingslabels als de verklarende concepten (AUs/ABCDs) vergeleken met baselines zoals CLIPasso en saliency maps. Het slaagde erin relevante cues te behouden terwijl ruis werd verminderd.

Gebruikersstudies (Gezichtsuitdrukkingen)

Kwalitatief: Deelnemers vonden SketchXplain intuïtiever dan saliency maps (die een gebrek aan semantiek hadden) en eenvoudige contouren (die een gebrek aan detail hadden). Gebruikers rapporteerden dat SketchXplain effectief "saliente lijnen" (zoals Saliency) benadrukte terwijl het herkenbare gelaatstrekken (zoals Outlines) en expressieve cues (zoals CLIPasso) behield.
Kwantitatief (Tijdsbeperkt): In snelle perceptietests (weergaveduur van 33,3 ms – 500 ms) maakte SketchXplain een significant hogere AI-afstemming (correct identificeren van de voorspelde emotie) en Concept-herinnering (identificeren van specifieke AUs) mogelijk vergeleken met Saliency maps, CLIPasso en zelfs de originele foto bij zeer korte duur. Saliency maps presteerden het slechtst, waarschijnlijk door een gebrek aan kenmerkcontext.

Gebruikersstudies (Huidlaesies)

Kwalitatief: In een studie met niet-klinische deelnemers presteerde SketchXplain beter dan andere visualisaties bij het helpen van gebruikers om ABCD-criteria te identificeren en melanoomrisico te diagnosticeren. Deelnemers merkten op dat de "onderbroken lijnen" en "benadrukte krabbels" in SketchXplain hielpen om randonregelmatigheden en asymmetrie effectiever te bevestigen dan gladde contouren of vervaagde saliency masks.
Trade-offs: Hoewel SketchXplain de interpreteerbaarheid verbeterde, introduceerde het een iets hogere cognitieve belasting dan eenvoudige contouren, hoewel gebruikers de afweging waardevol vonden voor de toegenomen coherentie met klinische concepten.

Betekenis en Claims

Het artikel claimt dat SketchXplain de interpretatiekloof aanpakt door XAI te verschuiven van puur analytische auditing naar intuïtieve interpretatie. Door gebruik te maken van het menselijk vermogen om abstracte schetsen snel te verwerken (Systeem 1-denken), ondersteunt de methode:

Snellere Interpretatie: Gebruikers kunnen relevante cues sneller assimileren en voorspellingen afleiden dan met traditionele saliency maps.
Verhoogde Coherentie: De schetsen overbruggen de kloof tussen ruimtelijke geometrie en semantische concepten, waardoor de AI-logica wordt afgestemd op menselijke observatie.
Privacybehoud: Als bijproduct kan de abstractie die inherent is aan schetsen identificeerbare informatie (bijv. identiteit, geslacht) beschermen terwijl de diagnostische bruikbaarheid behouden blijft.

De auteurs positioneren SketchXplain niet als een vervanging voor alle XAI-methoden, maar als een complementaire aanpak die gebruikmaakt van visuele abstractie om AI-beslissingen toegankelijker te maken voor leken, met name in domeinen waar snelle, intuïtieve begrip cruciaal is.