Select, Hypothesize and Verify: Towards Verified Neuron Concept Interpretation

Deze paper introduceert het Select-Hypothesize-Verify-framework, dat de interpretatie van neurale netwerken verbetert door het selecteren van representatieve activaties, het vormen van concepthypothese en het verifiëren van deze concepten om misleidende of redundante neuronfuncties te elimineren en zo nauwkeurigere conceptbeschrijvingen te genereren.

De kern

Stel je voor dat een kunstmatige intelligentie (zoals een AI die foto's herkent) een enorme fabriek is met miljoenen kleine werknemers. Deze werknemers zijn de neuronen in het netwerk. Elke werknemer doet iets specifieks: de één herkent misschien "haren", de ander "ogen" en weer een ander "kleur".

Het probleem is dat we vaak niet weten wat deze werknemers precies doen. De huidige methoden om dit uit te leggen, doen alsof elke werknemer een duidelijke taak heeft en dat we hun werk gewoon kunnen beschrijven. Maar in werkelijkheid zijn er ook werknemers die niets nuttigs doen, of die juist verkeerde dingen doen. Als we hen verkeerd beschrijven, denken we dat de AI iets begrijpt wat ze helemaal niet begrijpen.

De auteurs van dit paper hebben een nieuwe manier bedacht om deze werknemers te controleren. Ze noemen hun methode SIEVE (een zeef), en het werkt in drie stappen, net zoals een wetenschapper die een nieuw idee test.

Hier is hoe het werkt, vertaald in alledaags taal:

Stap 1: Selecteren (De beste werknemers kiezen)

Stel je voor dat je een groep werknemers wilt observeren. Je kijkt niet naar iedereen, maar alleen naar diegenen die echt enthousiast en actief zijn wanneer ze een specifieke foto zien.

• De analogie: Stel je een dansfeest voor. Je wilt weten wat een specifieke gast leuk vindt. Je kijkt niet naar iedereen die dansen, maar alleen naar diegenen die extreem enthousiast reageren op een bepaald soort muziek. Als iemand soms wel en soms niet reageert, is dat waarschijnlijk geen echte voorkeur. De methode filtert dus alleen de "sterke" reacties eruit om te zien wat de werknemer echt leuk vindt.

Stap 2: Hypothese (Een gok doen over de taak)

Nu je de enthousiaste reacties hebt, probeer je te raden wat ze eigenlijk doen.

• De analogie: Je ziet dat de gasten heel blij worden van foto's van honden met lange haren. Je maakt een gok (een hypothese): "Deze werknemer houdt van 'hond met lange haren'."
• In de oude methoden hielden ze hier vaak al op. Ze zeiden: "Oké, het is een hond." Maar ze checkten niet of dat echt klopt.

Stap 3: Verifiëren (De proef op de som nemen)

Dit is het belangrijkste nieuwe deel. In plaats van alleen maar te gokken, gaan ze het testen.

• De analogie: Je zegt tegen de AI: "Maak maar eens 100 nieuwe foto's van honden met lange haren." Vervolgens laat je die foto's aan de werknemer zien.
  • Succes: Als de werknemer bij 98 van de 100 nieuwe foto's weer heel enthousiast wordt, dan was je gok goed! De werknemer houdt echt van honden met lange haren.
  • Mislukking: Als de werknemer bij de nieuwe foto's juist saai blijft of verward kijkt, dan was je gok fout. Misschien hield hij eigenlijk van "rondige oren" en niet van de haren. De oude methoden zouden dit fout hebben laten staan, maar deze methode gooit die verkeerde beschrijving weg.

Waarom is dit belangrijk?

Tot nu toe dachten we dat elke werknemer in de AI een duidelijke, nuttige taak had. Dit paper laat zien dat veel werknemers eigenlijk "ruis" zijn of dat hun taak verkeerd wordt begrepen.

Door deze Selecteer-Hypothese-Verifieer methode te gebruiken:

1. Houden ze alleen de werknemers over die echt iets betekenen.
2. Zorgen ze dat de beschrijvingen die we geven (bijvoorbeeld "hond met lange haren") ook echt kloppen.
3. Krijgen we een AI die we beter begrijpen, omdat we niet meer vertrouwen op toevallige gokken, maar op bewezen feiten.

Kortom: Het is alsof je van een groep mensen die je niet kent, niet zomaar zegt "die man is een kok", maar je eerst kijkt wie er echt kookt, een gok doet over wat ze koken, en dan een proefmaaltijd laat maken om te zien of ze het echt kunnen. Alleen dan weet je zeker dat je het goed hebt.

Technische samenvatting

Probleemstelling

Het interpreteren van de functionaliteit (concepten) van neuronen in diepe neurale netwerken (DNN's) is essentieel voor het begrijpen van hun besluitvormingsmechanismen. Bestaande methoden (zoals Network Dissection, CLIP-Dissect en DnD) genereren natuurlijke taalbeschrijvingen voor neuronen, maar maken twee kritieke aannames die vaak onjuist blijken:

1. Aanname van discriminatie: Ze veronderstellen dat elk neuron een goed gedefinieerde functie heeft en discriminerende kenmerken levert. In werkelijkheid bevatten netwerken veel redundante neuronen die geen bijdrage leveren aan de beslissingen.
2. Aanname van nauwkeurigheid: Ze veronderstellen dat de gegenereerde concepten automatisch correct zijn. Echter, door dataset-bias of ruis in activaties, kunnen methoden misleidende concepten toewijzen aan neuronen die eigenlijk geen specifieke betekenis hebben.

Het gevolg is dat beschrijvingen van deze neuronen kunnen leiden tot misinterpretaties van hoe het netwerk werkt. Bestaande methoden missen een mechanisme om te verifiëren of een gegenereerd concept daadwerkelijk de neuron activeert.

Methodologie: Het SIEVE-framework

De auteurs introduceren een nieuw raamwerk genaamd SIEVE (Select–Hypothesize–Verify), geinspireerd door de wetenschappelijke methode van "Observe–Hypothesize–Verify" uit de neurowetenschap. Het proces verloopt in drie fasen:

1. Select (Selectie):

   • In plaats van alle activeringen te gebruiken, analyseert de methode de activatieverdeling van een neuron over een proefdataset.
   • Er wordt een ratio berekend tussen de 99e percentiel en de mediaan van de activatieverdeling.
   • Alleen neuronen met een hoge ratio (die duiden op consistente, sterke reacties op specifieke stimuli) worden geselecteerd. Dit filtert neuronen met willekeurige of lage discriminatievermogen eruit.
   • Voor de geselecteerde neuronen worden de top-20 hoogst activerende afbeeldingen geselecteerd.

2. Hypothesize (Hypothesevorming):

   • De geselecteerde hoog-activerende afbeeldingen worden geknipt op basis van de activatiekaart van het neuron om achtergrondruis te verwijderen.
   • Deze afbeeldingspatches worden geclusterd (via agglomeratieve clustering) om verschillende functionele patronen binnen één neuron te identificeren.
   • Voor elke cluster wordt een hypothese gevormd over het concept. Hiervoor wordt een Vision-Language model (zoals CLIP) gebruikt om de afbeeldingen te vergelijken met een vooraf gedefinieerde set concepten. De concepten met de hoogste overeenkomst worden als hypothese aangenomen.

3. Verify (Verificatie):

   • Dit is het onderscheidende kenmerk van SIEVE. De hypothese wordt getoetst via een interventie-experiment.
   • De gegenereerde concepten worden gebruikt als tekst-prompt voor een text-to-image model (bijv. Stable Diffusion) om nieuwe, synthetische afbeeldingen te genereren die specifiek het concept vertegenwoordigen.
   • Deze gegenereerde afbeeldingen worden ingevoerd in het oorspronkelijke netwerk om de Activatie Rate (AR) te meten.
   • De AR is het percentage gegenereerde afbeeldingen dat het neuron significant activeert. Als de AR laag is, wordt het concept verworpen als onjuist. Dit creëert een gesloten lus die onnauwkeurige concepten elimineert.

Belangrijkste Bijdragen

• SIEVE-framework: Een nieuw raamwerk dat de beperkingen van bestaande methoden adresseert door een gesloten-lus verificatie in te bouwen.
• Neuron Filtering: Een mechanisme om neuronen zonder goed gedefinieerde functies (redundante neuronen) te identificeren en uit te sluiten, waardoor misleidende interpretaties worden voorkomen.
• Verificatie door Interventie: In plaats van alleen observationeel te werken, gebruikt de methode constructieve interventie (genereren van input op basis van hypothesen) om de causaliteit tussen concept en neuronactivatie te verifiëren.
• Verbeterde Nauwkeurigheid: De gegenereerde concepten zijn niet alleen semantisch rijker, maar ook statistisch betrouwbaarder.

Resultaten

De auteurs hebben hun methode getest op verschillende modellen (ResNet-18, ResNet-50, ViT-B/16) en datasets (ImageNet, Places365).

• Kwantitatieve Prestaties:
  • SIEVE behaalt een gemiddelde Activatie Rate (mean AR) van ongeveer 85-86%, wat aanzienlijk hoger is dan de state-of-the-art methoden (die variëren tussen 45% en 58%).
  • Dit betekent dat de gegenereerde concepten het corresponderende neuron ongeveer 1,5 keer vaker activeren dan bij bestaande methoden.
  • De methode presteert ook beter op de CLIP- en MPNet-similariteitsmetrieken in de laatste laag.
• Kwalitatieve Resultaten:
  • SIEVE levert fijnmazigere en meer specifieke beschrijvingen (bijv. "Korte, dichte vacht" in plaats van alleen "Hond").
  • Het kan meerdere concepten per neuron identificeren, terwijl baselines vaak slechts één breed label geven.
• Robuustheid:
  • Zelfs bij domain shift (bijv. van generatieve modellen getraind op algemene data naar remote sensing data), behoudt SIEVE zijn superioriteit, hoewel alle methoden een daling in prestatie zien. De verificatiestap helpt de impact van deze verschuiving te mitigeren.

Betekenis

Dit werk is significant omdat het een fundamentele verschuiving in de interpretabiliteit van DNN's introduceert: van puur observationele beschrijvingen naar een wetenschappelijk onderbouwde, verifieerbare aanpak.

• Het erkent dat niet alle neuronen betekenisvol zijn en biedt een manier om dit te filteren.
• Het introduceert een "closed-loop" validatie die de betrouwbaarheid van XAI (Explainable AI) verhoogt, wat cruciaal is voor veilige toepassingen in kritieke domeinen.
• Het biedt een replicabele methode om de interne werking van neurale netwerken te begrijpen die dichter bij de werkelijke causaliteit ligt dan eerdere benaderingen.