A Case Study on Concept Induction for Neuron-Level Interpretability in CNN

Dit artikel presenteert een casestudy waarin een op conceptinductie gebaseerd raamwerk voor neuroninterpretatie, oorspronkelijk getest op ADE20K, succesvol wordt toegepast op de SUN2012-dataset om te aantonen dat de methode generaliseert voor het interpreteren van verborgen neuronen in CNN's.

De kern

Stel je voor dat een kunstmatige intelligentie (zoals een slimme camera) een foto bekijkt en zegt: "Ah, dit is een slaapkamer!" Maar hoe weet die computer dat eigenlijk? Voor mensen is het duidelijk: we zien een bed, een kussen en een nachtkastje. Maar voor de computer is het beeld slechts een wirwar van cijfers en getallen die door duizenden kleine "neuronalen" (net als hersencellen) worden verwerkt.

Deze neuronen zijn vaak een zwarte doos. We weten dat ze iets doen, maar niet precies wat.

Dit artikel vertelt het verhaal van een onderzoekersgroep die een manier heeft gevonden om die zwarte doos open te maken. Ze noemen dit "Concept Inductie". Hier is hoe het werkt, vertaald naar alledaags taal met een paar creatieve vergelijkingen:

1. Het Probleem: De Zwarte Doos

Stel je een gigantisch kantoor voor met 64 werknemers (de neuronen in de computer). Iedereen doet iets, maar niemand weet wat de ander precies doet. Soms reageert werknemer nummer 15 fel als er een foto van een kussen wordt getoond, maar we weten niet of hij "kussen" ziet, of "witte dingen", of "zachte dingen". Zonder die kennis is het moeilijk om te vertrouwen op de computer, vooral in belangrijke situaties zoals medische diagnoses of zelfrijdende auto's.

2. De Oplossing: De "Detective" aan het werk

De onderzoekers hebben een slimme detective-bedrijf opgezet (het Concept Inductie-systeem). Hun missie: voor elke van die 64 werknemers uitzoeken waar ze eigenlijk naar kijken.

Hoe doen ze dat?

• De Test: Ze laten de computer duizenden foto's van verschillende scènes zien (van badkamers tot besneeuwde bergen).
• De Reactie: Ze kijken welke werknemers (neuronen) "op springen" (een hoge activatie) en welke "slapen" (een lage activatie).
• De Vergelijking: Ze nemen de foto's die werknemer X wel zag en die hij niet zag, en vergelijken die met een enorme kennisbank (een soort digitale Wikipedia).

3. Het Magische Moment: De "Match"

Stel je voor dat werknemer nummer 47 plotseling heel druk wordt als er foto's van zebrapaden (crosswalks) voorbij komen, maar heel rustig blijft bij foto's van katten of auto's.

Het systeem zegt dan: "Aha! Deze werknemer is de specialist voor 'zebrapaden'!"
Ze noemen dit een semantische label. Ze geven de neuron een menselijke naam.

Om zeker te zijn, doen ze een extra check:

• Ze zoeken 100 foto's van een zebrapad op Google.
• Ze kijken of de computer die foto's herkent als "zebrapad" (de werknemer springt erop).
• Ze kijken ook of de werknemer niet springt als er foto's van iets anders worden getoond.
• Als dit klopt, is de naam "zebrapad" officieel bevestigd.

4. Wat Vonden Ze?

In een eerder onderzoek keken ze naar foto's van huishoudelijke scènes (ADE20K) en vonden ze 19 werknemers met duidelijke namen.
In dit nieuwe onderzoek keken ze naar een veel grotere verzameling foto's van de buitenwereld en steden (SUN2012).

Het resultaat? Het werkt ook hier!
Ze vonden 32 werknemers die heel duidelijk iets specifieks zagen, zoals:

• Een werknemer die alleen springt bij kussens.
• Een werknemer die alleen springt bij waskachels.
• Een werknemer die alleen springt bij besneeuwde bergen.
• Een werknemer die alleen springt bij wolkenkrabbers.

Waarom is dit belangrijk?

Vroeger was het alsof je een auto reed met een motor die je niet kon zien. Je wist dat hij liep, maar als hij stukging, wist je niet waarom.
Met deze methode krijgen we een handleiding voor de motor. We kunnen zeggen: "Oh, deze specifieke schakelaar (neuron) regelt de 'kussens'. Als die kapot is, ziet de computer geen kussens meer."

Dit maakt kunstmatige intelligentie:

1. Betrouwbaarder: We weten wat de computer ziet.
2. Verantwoordelijker: We kunnen fouten vinden en fixen.
3. Begrijpelijk: Mensen kunnen praten met de computer in hun eigen taal, niet in computercode.

Kortom: De onderzoekers hebben bewezen dat je de "gedachten" van een computer kunt vertalen naar menselijke woorden, zelfs als je kijkt naar heel verschillende soorten foto's. Het is alsof je eindelijk een vertaler hebt die de taal van de machine naar onze taal vertaalt, zodat we eindelijk weten wat die slimme computers eigenlijk zien.

Technische samenvatting

Probleemstelling

Deep Neural Networks (DNN's), en met name Convolutional Neural Networks (CNN's), hebben state-of-the-art prestaties bereikt op gebieden zoals gezondheidszorg en autonome systemen. Een fundamenteel probleem blijft echter de "black box"-aard van deze modellen: de interne semantiek van hun verborgen neuronen is slecht begrepen. Bestaande XAI-technieken (zoals saliency maps, SHAP en LIME) benadrukken weliswaar de bijdrage van invoerdata, maar vangen zelden de specifieke semantische betekenis van individuele neuronen. Er is behoefte aan methoden die neurale activaties vertalen naar menselijk begrijpelijke concepten.

Methodologie

De auteurs passen een bestaand raamwerk voor Concept Induction toe op een nieuw dataset, met als doel te verifiëren of de methode generaliseert buiten de eerder gebruikte ADE20K-dataset. De workflow omvat de volgende stappen:

1. Data Selectie en Voorbereiding:

   • Gebruik van de SUN2012-dataset, een grote benchmark voor scèneherkenning met 131.000 afbeeldingen in 908 categorieën.
   • Voor dit onderzoek zijn de 10 grootste categorieën geselecteerd (bijv. badkamer, slaapkamer, berglandschap), resulterend in 3.157 trainings/validatie-afbeeldingen en 793 testafbeeldingen.

2. Model Training:

   • Verschillende CNN-architecturen (VGG16/19, InceptionV3, ResNet50/101/152/50V2) werden fijngefineerd (fine-tuned).
   • InceptionV3 bleek de beste prestaties te leveren op SUN2012 (96,83% trainingsnauwkeurigheid, 92,71% validatienauwkeurigheid) en werd daarom geselecteerd voor de analyse.
   • Training vond plaats met de Adam-optimizer, een leerfrequentie van 0,001, en early stopping om overfitting te voorkomen.

3. Extractie van Neuronactivaties:

   • Activaties werden geëxtraheerd uit de dichte laag (dense layer) van het getrainde netwerk (64 neuronen).
   • Voor elke testafbeelding werden activatiewaarden verzameld.
   • Positieve set: Afbeeldingen met activaties $\ge$ 80% van de maximale respons.
   • Negatieve set: Afbeeldingen met activaties $\le$ 20% van de maximale respons.

4. Concept Inductie (ECII):

   • Het Efficient Concept Induction and Integration (ECII) systeem werd gebruikt om logische klasse-expressies af te leiden.
   • Er werd een minimale ontologie gebouwd op basis van geannoteerde objecten, gekoppeld aan een Wikipedia-gebaseerde concepthiërarchie.
   • De Coverage Score werd berekend om te bepalen hoe goed een geïnduceerd concept de positieve set onderscheidt van de negatieve set:
     $$coverage(E) = \frac{|Z_1| + |Z_2|}{|P \cup N|}$$
     Waarbij $Z_1$ de positieve voorbeelden zijn die door het concept worden gedekt en $Z_2$ de negatieve voorbeelden die erdoor worden uitgesloten.

5. Evaluatie:

   • Bevestiging via Google Images: Voor elke neuron werden tot 100 afbeeldingen opgehaald. Een label werd bevestigd als de Target Level Activation (TLA) $\ge$ 80% was (d.w.z. 80% van de afbeeldingen met het concept activeerde het neuron sterk).
   • Statistische Validatie: De Mann-Whitney U-test (niet-parametrisch) werd uitgevoerd op 20% van de afbeeldingen. Een significante p-waarde (< 0,05) met een negatieve z-score bevestigde dat doelgerichte afbeeldingen consistent sterkere activaties veroorzaakten dan niet-doelgerichte afbeeldingen.

Belangrijkste Bijdragen

• Generalisatie van Concept Inductie: Het paper bewijst dat het Concept Induction-framework, eerder succesvol getest op ADE20K, ook effectief werkt op de SUN2012-dataset, ondanks verschillen in dataset-samenstelling en modelarchitectuur (ResNet50V2 vs. InceptionV3).
• Robuuste Neuron-Concept Associaties: De studie toont aan dat neurale netwerken consistent semantisch coherente neuronen ontwikkelen die corresponderen met menselijke concepten (zoals "skyscraper", "toilet", "crosswalk").
• Verifieerbare Interpretatie: Het biedt een methode om neurale activaties te vertalen naar verifieerbare, menselijk leesbare labels, wat bijdraagt aan transparantie en debuggen van diepe modellen.

Resultaten

• Van de 64 geanalyseerde neuronen in de dichte laag werden 32 neuronen bevestigd met stabiele conceptassociaties (TLA $\ge$ 80%).
• Van deze 32 neuronen toonden 29 neuronen een statistisch significante scheiding tussen doel- en niet-doelactivaties (p < 0,05).
• Vergelijking met ADE20K: Waar het eerdere onderzoek op ADE20K 19 bevestigde neuronen opleverde, leverde SUN2012 er 32 op onder dezelfde evaluatieprocedures.
• Voorbeelden van geïdentificeerde concepten: De analyse resulteerde in labels zoals snowy_mountain, skyscraper, pillow, ceiling_fan, bidet, crosswalk, en dishwasher.
• Tabel 1 in het paper toont de hoge coverage scores (vaak > 0,95) en hoge TLA-percentages (vaak > 90%) voor de bevestigde neuronen, wat aantoont dat de geïnduceerde concepten nauwkeurig de activatiepatronen beschrijven.

Betekenis

De studie is van groot belang voor het veld van Explainable AI (XAI). Het bewijst dat neuron-level interpretatie niet beperkt is tot specifieke datasets of modellen, maar een robuust fenomeen is dat overdraagbaar is. Door neurale netwerken te kunnen "lezen" op het niveau van individuele neuronen en deze te koppelen aan semantische concepten, wordt de transparantie van AI-systemen vergroot. Dit draagt bij aan:

• Vertrouwen: Gebruikers kunnen beter begrijpen wat een model "ziet".
• Debugging: Ontwikkelaars kunnen fouten in het model sneller lokaliseren door te kijken naar welke neuronen verkeerde concepten activeren.
• Toepassingsbereik: De methode is toepasbaar in kritieke domeinen zoals gezondheidszorg en autonome systemen waar interpretatie essentieel is.