💻 computer science

Beyond Heatmaps: Unsupervised Concept-Graph Reasoning for Interpretable Visual Explanation

Dit artikel introduceert het Graph-gebaseerde Concept Bottleneck Model (G-CBM), een ongesuperviseerd framework dat concepten ontdekt en grondt via Non-negative Matrix Factorization, deze representeert als knopen in een per-afbeelding graaf voor redeneren met Graph Attention Networks, en superieure interpreteerbaarheid en voorspellende prestaties bereikt op medische beeldvormingsbenchmarks zonder dat vooraf gedefinieerde vocabulaires of externe annotaties vereist zijn.

Oorspronkelijke auteurs: Md Mohasin Hossain (German Research Center for Artificial Intelligence, Saarland University, Saarbrücken, Germany), Anar Amirli (BEGO GmbH & Co. KG, Bremen, Germany), Robert Leist (German Research Cen

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Md Mohasin Hossain (German Research Center for Artificial Intelligence, Saarland University, Saarbrücken, Germany), Anar Amirli (BEGO GmbH & Co. KG, Bremen, Germany), Robert Leist (German Research Center for Artificial Intelligence), Md Abdul Kadir (German Research Center for Artificial Intelligence, Oldenburg University, Oldenburg, Germany), Daniel Sonntag (German Research Center for Artificial Intelligence, Oldenburg University, Oldenburg, Germany)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren om een foto van een melanoom (een vorm van huidkanker) te onderscheiden van een onschuldig moedervlekje.

Het probleem met huidige methoden
De meeste AI-modellen van vandaag zijn als "black boxes". Ze kijken naar een foto en zeggen: "Dat is kanker!", maar ze kunnen niet echt uitleggen waarom.

Oude methode (Heatmaps): Als je ze vraagt om uitleg, geven ze een wazige, rode "heatmap" over de afbeelding. Het is alsof je naar een hele menigte wijst en zegt: "Het antwoord zit ergens in die groep," zonder specifiek te weten wie de dader is.
Huidige "Concept"-modellen: Nieuwere modellen proberen slimmer te zijn. Ze zeggen: "Ik zie een donkere plek en een onregelmatige rand." Maar ze hebben twee grote gebreken:
1. Ze hebben een mens nodig die vooraf een lange lijst met regels schrijft (zoals "zoek naar donkere plekken"), wat duur en traag is.
2. Ze behandelen de hele afbeelding als één grote vlek. Ze kunnen zeggen: "Er is een donkere plek," maar ze weten niet waar deze zich bevindt of of er vijf donkere plekken verspreid liggen. Ze verliezen de ruimtelijke details.

De nieuwe oplossing: G-CBM
De auteurs stellen een nieuw systeem voor genaamd G-CBM (Graph-based Concept Bottleneck Model). Denk aan dit als een detectiebureau dat de zaak stap voor stap oplost, in plaats van alleen maar te gokken.

Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Ongesuperviseerde" Ontdekking (Het notitieboek van de detective)

Normaal gesproken heeft een detective een lijst met verdachten nodig die door een baas wordt verstrekt. G-CBM is anders. Het kijkt naar duizenden foto's en ontdekt de aanwijzingen op eigen kracht.

Hoe? Het gebruikt een wiskundige truc genaamd NMF (Non-negative Matrix Factorization). Stel je voor dat je een enorme zak Lego-steentjes hebt van veel verschillende sets. In plaats van te worden verteld "dit is een wiel" of "dit is een raam", sorteert de AI de steentjes op vorm en kleur. Het ontdekt dat bepaalde vormen (zoals "wiel-achtig" of "streep-achtig") vaak samen voorkomen.
Het resultaat: Het bouwt een Concept Library van herbruikbare visuele patronen (zoals "pigmentnetwerk", "laesierand" of "donkere plek") zonder dat iemand ooit heeft gezegd wat die woorden betekenen.

2. De "Concept Graph" (De vergadering van het team)

Zodra de AI deze patronen heeft gevonden, telt hij ze niet alleen. Hij bouwt een kaart (een graaf) voor elke individuele afbeelding.

De Nodes (Knopen): Elk ontdekt patroon (bijv. "donkere plek") is een persoon aan een vergadertafel.
De Verbindingen: De AI gebruikt een Graph Attention Network (GAT). Stel je voor dat de "Donkere Vlek"-persoon praat met de "Onregelmatige Rand"-persoon. Ze bespreken: "Hé, ik zie een donkere plek vlak naast een onregelmatige rand. Die combinatie is verdacht!"
Waarom dit belangrijk is: Dit stelt de AI in staat om relaties te begrijpen. De AI weet dat een donkere plek in het midden van een gladde cirkel anders is dan een donkere plek op een grillige rand. Het modelleert deze complexe relaties, wat eenvoudige wiskunde (lineaire classifiers) niet kan.

3. De "Filter" (De uitsmijter)

Soms ziet de AI een klein, wazig vlekje dat bijna op een aanwijzing lijkt, maar het is waarschijnlijk gewoon ruis.

G-CBM heeft een filter (drempelwaarde $\tau$ ). Denk aan dit als een uitsmijter bij een club. Als een concept (aanwijzing) niet sterk genoeg is, zegt de uitsmijter: "Je bent niet belangrijk genoeg om het besluitvormingsproces binnen te komen."
Het voordeel: Dit dwingt de AI om zich alleen te concentreren op de sterkste, meest zelfverzekerde aanwijzingen. In tests maakte dit de AI zelfs nauwkeuriger, omdat de AI niet langer werd afgeleid door zwakke, verwarrende details.

4. De Eindexplicatie (De drie antwoorden)

Wanneer G-CBM een diagnose stelt, geeft het niet alleen een score. Het geeft drie duidelijke antwoorden, als een goed detectiveverslag:

Wat? (Concept Selectie): "Ik gebruik de aanwijzingen: 'pigmentpatroon' en 'laesierand'."
Waar? (Concept Grounding): Het tekent een kader rond de exacte plek in de foto waar het het "pigmentpatroon" heeft gevonden. Geen meer wazige heatmaps!
Hoeveel? (Belang): Het geeft een percentage score: "Het 'pigmentpatroon' droeg voor 60% bij aan mijn beslissing, terwijl de 'rand' voor 40% bijdroeg."

De Resultaten

De onderzoekers testten dit op vier verschillende datasets (waaronder afbeeldingen van huidkanker en algemene objecten zoals ambulances).

Betere Nauwkeurigheid: G-CBM was daadwerkelijk beter in het voorspellen van het juiste antwoord dan standaard AI-modellen (met een verbetering in nauwkeurigheid van gemiddeld 3,7%).
Efficiëntie: Door de "uitsmijter"-filter te gebruiken, had de AI vaak slechts 2 of 3 aanwijzingen nodig uit 10 mogelijke aanwijzingen om een perfecte diagnose te stellen.
Vertrouwen: Wanneer de onderzoekers probeerden de belangrijkste aanwijzingen te "verwijderen", daalde het zelfvertrouwen van de AI aanzienlijk. Dit bewijst dat de AI daadwerkelijk naar de juiste zaken keek en niet zomaar gokte.

Samenvattend
G-CBM is een slimmere, transparantere AI. In plaats van te gokken op basis van een wazige foto, ontdekt het zijn eigen visuele aanwijzingen, bespreekt hoe die aanwijzingen met elkaar samenhangen, negeert zwakke ruis en laat je precies zien waar het de bewijzen heeft gevonden. Dit doet het allemaal zonder dat er eerst een handboek door mensen geschreven hoeft te worden.

Technische Samenvatting: Voorbij Heatmaps: Unsupervised Concept-Graph Reasoning voor Interpreteerbare Visuele Verklaring

Probleemstelling

Deep learning-modellen in computer vision zijn weliswaar zeer accuraat, maar lijden aan een opaak besluitvormingsproces dat implementatie in veiligheidskritische domeinen zoals medische diagnose belemmert. Bestaande interpretatiebenaderingen kampen met aanzienlijke beperkingen:

Post-hoc Saliency-methoden (bijv. Grad-CAM): Bieden pixel-niveau heatmaps die aangeven waar een model naar kijkt, maar falen in het identificeren van welke visuele concepten de voorspelling drijven. Ze missen vaak betrouwbaarheid en voldoen niet aan sanity checks.
Post-hoc Concept-methoden: Identificeren visuele concepten, maar integreren deze niet in de voorspellingspipeline, waardoor ze niet in staat zijn om inter-concept afhankelijkheden te modelleren.
Concept Bottleneck Models (CBMs): Integreren interpreteerbaarheid in het voorspellingsproces, maar vertrouwen doorgaans op dure, vooraf gedefinieerde concept-vocabularia of gesuperviseerde annotaties. Bovendien reduceren standaard CBM's concepten tot enkelvoudige beeld-niveau scores, waardoor ruimtelijke recurrentie (waar concepten voorkomen) verloren gaat en ze er niet in slagen om niet-lineaire afhankelijkheden tussen concepten via lineaire classifiers te modelleren. Ze missen bovendien een expliciete concept-grounding in de inputruimte.

Methodologie: Graph-gebaseerd Concept Bottleneck Model (G-CBM)

De auteurs stellen G-CBM voor, een intrinsiek interpreteerbaar framework dat classificatie en verklaring simultaan uitvoert zonder dat handmatige concept-annotaties vereist zijn. Het framework werkt in twee stadia:

Stadium I: Unsupervised Concept Basis Ontdekking

Feature Extractie: Trainingsafbeeldingen worden verdeeld in patches (regio's) en door een bevroren backbone-netwerk (bijv. ResNet-50) gestuurd om regio-niveau features te extraheren.
NMF Decompositie: Non-negative Matrix Factorization (NMF) wordt toegepast op de activatiematrix van deze patches. NMF ontdekt een set herbruikbare, niet-negatieve concept-bases ( $C$ ) die terugkerende visuele patronen vastleggen (bijv. "wiel", "streep", "pigment-patroon").
Concept Selectie: Het aantal concepten ( $r$ ) wordt geselecteerd op basis van een score-metriek die de dekking van klassen en het onderscheidend vermogen balanceert. Deze bases worden bevroren en dienen als de nodes voor de concept graph.

Stadium II: Concept Graph-gebaseerde Voorspelling en Verklaring

Projectie en Filtering: Voor een nieuwe inputafbeelding worden regio-niveau features geprojecteerd op de bevroren concept bases met behulp van Non-negative Least Squares (NNLS). Een instelbare drempelwaarde ( $\tau$ ) filtert zwakke regio-niveau features weg, wat ruis onderdrukt en de selectiviteit van de verklaring controleert.
Graph Constructie: Een per-afbeelding concept graph wordt geconstrueerd waarbij:
- Nodes: De ontdekte concept bases vertegenwoordigen. Node-features worden geïnitialiseerd door de regio-niveau features van patches die overeenkomen met het concept te aggregeren, gewogen door hun activatiescores.
- Edges: De relaties tussen alle concept nodes vertegenwoordigen.
Graph Attention Network (GAT): Een GAT verwerkt de graph om niet-lineaire inter-concept afhankelijkheden te modelleren. In tegen tegenstelling tot lineaire classifiers, stelt de GAT elke concept node in staat om naar andere te kijken (attenderen), waardoor complexe interacties worden gevangen.
Voorspelling: De graph wordt gepooled en door een classificatiekop gestuurd om de uiteindelijke voorspelling te produceren.

Interpretatie-outputs

G-CBM biedt drie onderscheidende interpretatieve signalen:

Concept Selectie (Wat): Identificeert welke concept nodes positieve gedrempelde bewijslast hebben, wat aangeeft welke concepten de voorspelling hebben beïnvloed.
Concept Grounding (Waar): Lokaliseert concepten door grounding scores toe te wijzen aan beeld patches op basis van hun activatie van de geselecteerde concepten, gevisualiseerd via bounding boxes.
Belangrijkheidsscores (Hoeveelheid): Berekent gradiënt-gebaseerde sensitiviteiten van de voorspelde klasse-waarschijnlijkheid ten opzichte van elke concept node feature om de bijdrage te kwantificeren.

Belangrijkste Bijdragen

G-CBM Framework: Een intrinsiek interpreteerbaar beeldclassificatie framework dat classificatie en verklaring gezamenlijk uitvoert. Het combineert unsupervised concept ontdekking (via NMF) met graph-gebaseerde relationele reasoning (via GAT) om concept selectie, grounding en belangrijkheidsscores te produceren in een unificerende pipeline.
Per-Afbeelding Concept-Graph Representatie: Introduceert een graph representatie waarbij nodes regio-niveau features aggregeren, ruimtelijke recurrentie behouden en edges geleerd via graph attention complexe niet-lineaire inter-concept afhankelijkheden vangen.
Instelbare Concept Filtering: Stelt een drempelwaarde ( $\tau$ ) voor die zwakke regio-niveau features onderdrukt vóór aggregatie. Dit maakt expliciete controle over de selectiviteit van de verklaring mogelijk en verbetert de concept grounding zonder nodes uit de graph te verwijderen.
Empirische Validatie: Valideert de benadering over vier datasets (ImageNet, HAM10000, PH2, Derm7pt), waarbij wordt aangetoond dat het een concurrerende prestatie levert ten opzien van gesuperviseerde methoden zonder handmatige annotaties te vereisen.

Experimentele Resultaten

Prestaties: G-CBM bereikt een gemiddelde relatieve AUC verbetering van 3,7% ten opzien van een ResNet-50 baseline over de vier datasets. Op HAM10000 presteert het beter dan de sterkste CNN baseline (0,923 vs. 0,912). Op PH2 bereikt het een AUC van 0,960 met slechts 2 van de 10 beschikbare concepten gemiddeld.
Vergelijking met Gesuperviseerde Methoden: Op dermoscopie benchmarks (Derm7pt, PH2) is G-CBM concurrerend met gesuperviseerde benaderingen (bijv. PCBM, CBE, MICA) die externe concept-annotaties vereisen, ondanks het feit dat G-CBM geen dergelijke annotaties nodig heeft.
Trouw (Faithfulness): Deletie/insertie analyses met random ablatie controles bevestigen dat de gradiënt-gerangschikte concept belangrijkheid de modelvoorspellingen getrouw reflecteert. De "Most-Relevant-First" rangschikking presteert significant beter dan random baselines in deze perturbatie tests.
Selectiviteit: De concept filtering drempelwaarde stelt het model in staat om piekprestaties te bereiken met een ijle subset van concepten (bijv. 3,8 van 9 concepten op HAM10000), wat aantoont dat hoog-vertrouwde concept bewijs voldoende is voor accurate voorspelling.

Betekenis en Claims

Het paper claimt dat G-CBM de beperkingen van bestaande methoden aanpakt door een framework te bieden dat antwoord geeft op wat concepten aanwezig zijn, waar ze verschijnen en hoeveel ze bijdragen, alles binnen het voorspellingsproces.

Unsupervised Discovery: Het elimineert de noodzaak voor kostbare gesuperviseerde concept-annotaties of de afhankelijkheid van opacere foundation modellen (LLM's/CLIP) voor concept generatie.
Niet-lineaire Reasoning: Door een GAT te gebruiken, modelleert het niet-lineaire afhankelijkheden tussen concepten, wat lineaire CBM's niet kunnen.
Ruimtelijke Grounding: Het grondt concepten expliciet in beeld regio's, waardoor ruimtelijke recurrentie behouden blijft in plaats van ze te reduceren tot enkelvoudige beeld-niveau scores.
Interpreteerbaarheid vs. Accuraatheid: De resultaten suggeren dat visuele classifiers kunnen redeneren via gelokaliseerde, herbruikbare concepten zonder dat dit ten koste gaat van de voorspellende prestaties, wat een levensvatbaar pad biedt voor interpreteerbare AI in veiligheidskritische domeinen.