🤖 machine learning

Concept-Based Abductive and Contrastive Explanations for Behaviors of Vision Models

Dit artikel stelt een nieuw raamwerk voor voor het genereren van conceptgebaseerde abductieve en contrastieve verklaringen die minimale verzamelingen van hoogwaardige, causaal relevante concepten identificeren om zowel individuele voorspellingen als gemeenschappelijke gedragingen van visiemodellen te verklaren, waardoor de kloof tussen voor mensen begrijpelijke conceptverklaringen en formeel causaal redeneren effectief wordt overbrugd.

Oorspronkelijke auteurs: Ronaldo Canizales, Divya Gopinath, Corina Păsăreanu, Ravi Mangal

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ronaldo Canizales, Divya Gopinath, Corina Păsăreanu, Ravi Mangal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar mysterieuze robot hebt die naar afbeeldingen kijkt en raden wat ze voorstellen (zoals het onderscheiden van een kat van een hond). Je vraagt de robot: "Waarom dacht je dat deze afbeelding een kat was?"

Meestal geeft de robot een verwarrend antwoord, zoals: "Vanwege pixels 45, 102 en 89." Dat is niet behulpzaam. Je wilt weten: "Omdat het snorharen en puntige oren heeft."

Dit artikel introduceert een nieuwe manier om de robot vragen te stellen en antwoorden te krijgen in duidelijke menselijke concepten. Hieronder wordt uitgelegd hoe ze dit deden, in eenvoudige bewoordingen:

1. Het Probleem: Twee Verschillende Talen

De onderzoekers merkten op dat eerdere methoden vastzaten in twee verschillende kampen:

Kamp A (Concepten): Probeerde dingen uit te leggen met menselijke woorden (zoals "vacht" of "wielen"), maar kon niet bewijzen waarom die woorden belangrijk waren. Het was alsof je raadt dat de robot van "vacht" houdt, alleen omdat het vaak vacht op katten zag, zonder te weten of de robot de vacht eigenlijk nodig had om zijn beslissing te nemen.
Kamp B (Formele logica): Kon precies bewijzen welke kleine details (zoals specifieke pixels) een beslissing veroorzaakten, maar de antwoorden waren te technisch voor mensen om te begrijpen.

De Oplossing: Ze bouwden een brug tussen deze twee kampen. Ze creëerden een methode om de kleinste, meest essentiële set menselijke concepten (zoals "vacht" en "oren") te vinden die absoluut noodzakelijk zijn voor de robot om zijn gok te maken.

2. De Magische Truc: Concepten "Uitwissen"

Om uit te vinden waar de robot echt om geeft, gebruikten de onderzoekers een slimme truc genaamd Concept Erasure (het wissen van concepten).

Stel je voor dat het brein van de robot een soep van ideeën is.

De Test: Ze nemen een foto van een kat. Ze vragen de robot: "Wat is dit?" De robot zegt: "Kat."
Het Wissen: Ze nemen vervolgens de "kat-soep" en wissen magisch het concept "vacht" weg.
Het Resultaat:
- Als de robot plotseling zegt: "Ik weet het niet" of "Hond" raadt, dan was vacht essentieel. De robot had het idee "vacht" nodig om zeker te zijn.
- Als de robot nog steeds "Kat" zegt, dan was "vacht" voor die specifieke beslissing niet echt nodig.

Ze doen dit wiskundig binnen de computer, niet door daadwerkelijk pixels uit de foto te knippen, maar door het idee van vacht in het interne brein van de robot "uit te schakelen".

3. Twee Soorten Antwoorden

Het artikel definieert twee manieren om het gedrag van de robot uit te leggen, met een analogie van een detective:

Het "Waarom" (Abductieve verklaring):
- Vraag: "Wat is de minimale hoeveelheid bewijs die de robot nodig heeft om zeker te weten dat het een kat is?"
- Antwoord: "Het heeft Vacht en Puntige Oren nodig. Als je die wegneemt, stopt het met raden 'Kat'."
- Analogie: Dit is als een detective die zegt: "Om deze zaak op te lossen, moet ik noodzakelijkerwijs het vingerafdruk en het schoenspoor hebben. Zonder beide kan ik niet zeker zijn."
Het "Wat als" (Contrastieve verklaring):
- Vraag: "Wat is de kleinste verandering die ik kan maken om de robot te laten raden naar iets anders?"
- Antwoord: "Als je de Snorharen verwijdert, denkt de robot dat het een hond is."
- Analogie: Dit is als vragen: "Hoeveel moet ik dit handtekening veranderen om een vervalser te laten denken dat het nep is?"

4. De "Gemeenschappelijke Draad" Vinden

De onderzoekers keken niet naar slechts één afbeelding. Ze keken naar honderden afbeeldingen waarbij de robot dezelfde fout maakte of hetzelfde antwoord correct gaf.

Ze ontdekten dat de robot meestal op dezelfde paar concepten vertrouwt voor bijna al die afbeeldingen.

Voorbeeld: Als de robot denkt dat 98% van de "Vrachtwagen"-afbeeldingen eigenlijk "Auto's" zijn, is dat meestal omdat het zoekt naar "Wielen" en "Weg" maar de "Vrachtwagenbak" mist.
In plaats van duizenden kleine redenen op te sommen, ontdekten ze dat slechts 3 of 4 concepten bijna al het gedrag van de robot verklaarden. Dit maakt de verklaring zeer kort en makkelijk leesbaar voor een mens.

5. De "Magische Lens" (CLIP)

Hoe kregen ze de robot om woorden als "vacht" of "wielen" te begrijpen in de eerste plaats?
Ze gebruikten een speciaal hulpmiddel genaamd CLIP (een robot die zowel afbeeldingen als woorden begrijpt).

Ze leerden de robot om zijn interne "pixel-soep" te vertalen naar de "woord-soep" van CLIP.
Dit stelde hen in staat om de robot te vragen over "vacht", zelfs al kende de robot oorspronkelijk alleen maar pixels. Het is alsof je de robot een woordenboek geeft zodat het jouw taal kan spreken.

6. Wat Ze Vonden

Kort is Zoet: De beste verklaringen waren zeer kort. Meestal verklaarden slechts 1 of 2 concepten waarom de robot een beslissing nam. Lange, ingewikkelde lijsten van concepten waren zelden de echte reden.
Generaliseren: Deze korte verklaringen werkten voor veel afbeeldingen, niet slechts één. Als de robot "Vacht" nodig had om "Kat" te raden op één afbeelding, had het meestal "Vacht" nodig voor alle kattenafbeeldingen.
Fouten Opmerken: Ze konden gemakkelijk zien wanneer de robot vertrouwde op "valse" aanwijzingen. Bijvoorbeeld, als de robot dacht dat een afbeelding een "Schip" was alleen omdat het "Water" zag (zelfs als er geen boot was), konden ze die fout opvangen.

Samenvatting

Het artikel creëerde een nieuwe manier om met AI-visionmodellen te praten. In plaats van een verwarrende lijst met nummers te krijgen, krijg je een korte, duidelijke lijst van menselijke concepten (zoals "Vacht", "Wielen" of "Lucht") die precies uitlegt waarom de AI zijn keuze maakte. Ze bewezen dat door deze concepten één voor één te "wissen", ze de minimale, belangrijkste redenen achter de beslissingen van de AI kunnen vinden.

Technische Samenvatting: Concept-gebaseerde Abductieve en Contrastieve Verklaringen voor het Gedrag van Visiemodellen

Probleemstelling

Bestaande methoden voor het verklaren van voorspellingen van diepe neurale netwerken (DNN's) staan voor twee primaire beperkingen. Ten eerste vertrouwen concept-gebaseerde verklaringen (ConXps) doorgaans op gevoeligheidsanalyse of concept-uitwissing om de impact van hoog-niveau semantische concepten op modeluitkomsten te bepalen. Deze benaderingen falen echter vaak in het vestigen van rigoureuze causale connecties, met name door het ontbreken van het vermogen om te bepalen of een concept noodzakelijk of voldoende is voor een voorspelling, of om scenario's te hanteren waarin meerdere concepten causaal interageren. Ten tweede bieden formele abductieve en contrastieve verklaringmethoden wiskundig rigoureuze garanties van minimaliteit en causaliteit, maar zijn ze beperkt tot laag-niveau kenmerken (bijv. pixels), die ontberen menselijke interpreteerbaarheid. Bovendien worstelen deze formele methoden om te schalen naar moderne visiemodellen vanwege de rekenkosten van constraint solving.

Er is een gat in de literatuur voor verklaringen die gelijktijdig zijn:

Concept-gebaseerd: Uitgedrukt in termen van voor mensen begrijpelijke semantische concepten.
Formeel: Garanties biedend voor minimaliteit en causale relevantie (voldoende/noodzakelijk).
Schaalbaar: Toepasbaar op state-of-the-art visiemodellen en in staat om gedrag te verklaren over verzamelingen van afbeeldingen, niet slechts voor enkele instanties.

Methodologie

De auteurs stellen Concept-gebaseerde Abductieve en Contrastieve Verklaringen (ConAXps en ConCXps) voor, een raamwerk dat formele verklaringstheorie samenvoegt met concept-gebaseerde interpreteerbaarheid.

1. Conceptrepresentatie en Uitwissing

Om de kloof tussen visiemodellen en menselijke concepten te overbruggen, maken de auteurs gebruik van Vision-Language Models (VLM's), specifiek CLIP, als een semantische lens.

Conceptvectoren: Conceptvectoren worden geëxtraheerd uit de tekstencoder van CLIP met behulp van beschrijvende bijschriften. Deze vectoren worden via een geleerde lineaire transformatie gemapt naar de inbeddingsruimte van het visiemodel.
Conceptsterkte: De sterkte van een concept in een afbeeldingsinbedding wordt berekend als de cosinus-ähnelijkheid tussen de inbedding en de conceptvector.
Conceptuitwissing: Om causaliteit te vestigen, "wis" de methode concepten uit de inbedding. Het artikel evalueert drie uitwissingprocedures:
- Ortho (Voorgesteld): Een geconstrueerde optimalisatie die de inbedding projecteert om orthogonaal te zijn met de uitgeveegde conceptvectoren, terwijl de scalaire projecties van niet-uitgewiste concepten behouden blijven.
- SPLiCE: Gebruikt schaarse niet-negatieve decompositie om inbeddingen te reconstrueren zonder specifieke concepten.
- LEACE: Een gesloten-formule lineaire transformatie die lineaire correlaties met een concept verwijdert terwijl de inbedding minimaal wordt gewijzigd.

2. Formele Definities

De auteurs breiden formele definitie van verklaringen uit naar de conceptruimte:

Concept-gebaseerde Abductieve Verklaring (ConAXp): Een minimale set concepten zodat het behouden ervan (en het uitwissen van alle anderen) voldoende is om de voorspelling van het model te behouden.
Concept-gebaseerde Contrastieve Verklaring (ConCXp): Een minimale set concepten zodat het uitwissen ervan (en het behouden van alle anderen) voldoende is om de voorspelling van het model te veranderen.

Deze definities vertrouwen op een monotonie-aanneming met betrekking tot de modelkop: het toevoegen van een concept aan een representatie verandert de voorspelling niet weg van de oorspronkelijke klasse. De auteurs leveren empirisch bewijs dat deze aanneming ondersteunt.

3. Algoritmen voor Verklaringen Enumeratie

Om deze verklaringen te berekenen, presenteert het artikel drie algoritmen:

NaiveEnum: Een diepte-beperkte exhaustieve zoektocht die sets van concepten enumereert, beginnend bij enkele concepten. Het is computatief duur voor grote vocabulaires, maar garandeert het vinden van alle verklaringen binnen de dieptegrens.
XpEnum: Aangetrokken uit de literatuur over formele verklaringen, exploiteert dit algoritme de dualiteit tussen abductieve en contrastieve verklaringen (hitting sets) om beide typen gelijktijdig te enumereren. Het gebruikt een minimale hitting-setbenadering om kandidaten te genereren.
XpSatEnum: Een nieuw algoritme ontworpen om gedrag over verzamelingen van afbeeldingen te hanteren. Het neemt initiële verklaringen van een begrensde enumerator en "verzadigt" ze door te controleren of ze geldig zijn over andere afbeeldingen in de gedragsset, waarbij de overlap van verklaringen wordt gemaximaliseerd.

4. Aggregatie voor Gedrag

In plaats van enkele afbeeldingen te verklaren, aggregateert het raamwerk getekende verklaringen (concepten met positieve of negatieve activatie) over een dataset-subset (een "gedrag") om een histogram van de meest frequente verklaringen te produceren. Dit maakt identificatie mogelijk van algemene patronen die modelbeslissingen of verkeerde classificaties aandrijven.

Belangrijkste Bijdragen

Nieuw Concept: De introductie van ConAXps en ConCXps, die minimale, causaal onderbouwde verklaringen bieden in termen van hoog-niveau concepten in plaats van pixels.
Algoritmische Suite: De ontwikkeling van drie enumeratie-algoritmen (NaiveEnum, XpEnum, XpSatEnum) die rekenkundige haalbaarheid afwegen tegen de volledigheid van het ontdekken van verklaringen.
Nieuwe Uitwissingprocedure: De voorstellen van de Ortho-uitwissingmethode, die een gesloten-formule oplossing biedt voor het verwijderen van concepten die de sterkte van niet-uitgewiste concepten behoudt.
Gedragsanalyse: Een methodologie voor het aggregeren van per-afbeelding verklaringen om modelgedrag (bijv. specifieke patronen van verkeerde classificatie) te verklaren over verzamelingen van afbeeldingen, waarbij wordt aangetoond dat een kleine subset van verklaringen vaak het merendeel van de gevallen dekt.

Experimentele Resultaten

De aanpak werd geëvalueerd op drie visiemodellen (zero-shot CLIP, ResNet18, VGG19) en twee datasets (RIVAL-10, EuroSAT) over verschillende gedragingen (correcte classificaties en verkeerde classificaties).

Generaliseerbaarheid: De meest frequente verklaringen (ConXps) bleven stabiel over disjuncte subsets van hetzelfde gedrag, met hoge Intersection-over-Union (IoU)-scores. Dit geeft aan dat de verklaringen universele redenen voor modelgedrag vangen in plaats van afbeelding-specifieke ruis.
Dekking: Ondanks de potentie voor duizenden unieke verklaringen, was een zeer kleine subset (doorgaans $K \le 10$ ) voldoende om het merendeel van de afbeeldingen in een gedrag te dekken. In veel gevallen bereikte $K \le 5$ volledige dekking.
Parsimonie: Kortere verklaringen (bevatend 1 of 2 concepten) toonden consistent een hogere individuele dekking dan langere verklaringen, wat het principe van Ockhams scheermes in deze context ondersteunt.
Plausibiliteit: Met behulp van een LLM als rechter (Gemini 3 Pro) om conceptrelevantie te evalueren, vond de studie dat modellen doorgaans vertrouwen op plausibele (relevante) concepten. Echter, een significant deel van de verklaringen was "gedeeltelijk plausibel", wat aangeeft dat modellen vaak vertrouwen op een mix van relevante kenmerken en spuriële correlaties (bijv. achtergrondtexturen).
Efficiëntie: Het XpEnum-algoritme gekoppeld aan Ortho- of SPLiCE-uitwissing bleek het meest efficiënt, waarbij verklaringen voor 700 afbeeldingen in 5–10 minuten werden berekend. LEACE bleek computatief duur vanwege de noodzaak van trainingsdata om affiene transformaties voor elke uitwissing te berekenen.

Betekenis en Claims

Het artikel claimt dat de aanpak succesvol de kloof overbrugt tussen formele verificatie en semantische interpreteerbaarheid. Door minimale sets van concepten te bieden die causaal voldoende of noodzakelijk zijn, biedt de methode verklaringen die zowel wiskundig rigoureus als voor mensen begrijpelijk zijn.

De auteurs benadrukken dat hun methode analisten in staat stelt om:

Algemene, universele verklaringen voor modelgedrag te identificeren in plaats van geïsoleerde observaties.
Spuriële redenering te detecteren door gevallen te identificeren waar modelbeslissingen vertrouwen op irrelevante concepten.
Modelbeslissingen te begrijpen over verzamelingen van afbeeldingen, wat het debuggen van systematische fouten faciliteert.

Het werk concludeert dat korte, concept-gebaseerde verklaringen zeer effectief zijn voor het begrijpen van visiemodellen en dat het voorgestelde raamwerk een redelijke afweging biedt tussen schaalbaarheid en kwaliteit van verklaringen, waardoor formele causale analyse haalbaar wordt voor moderne deep learning-systemen. Toekomstig werk wordt voorgesteld om deze methoden toe te passen op Large Language Models (LLM's) en Vision-Language Models (VLM's) om sequentiële gedragingen aan te pakken.