Learning Concept Bottleneck Models from Mechanistic Explanations

Dit paper introduceert Mechanistic CBM (M-CBM), een nieuwe aanpak die conceptbottleneck-modellen bouwt door mechanische concepten uit zwarte-kastmodellen te extraheren met Sparse Autoencoders, waardoor ze bij gelijke sparsiteit significant beter presteren dan eerdere methoden en betere interpretaties bieden.

De kern

Stel je voor dat je een zeer slimme, maar mysterieuze robot hebt die foto's van vogels, huidaandoeningen of auto's kan herkennen. Deze robot is een "zwarte doos": hij geeft het juiste antwoord, maar niemand weet precies waarom. Hij kijkt naar een foto en zegt direct: "Dat is een zeehond," zonder te kunnen uitleggen dat hij het zag aan de vlezige vinnen of de snorharen.

In de wereld van kunstmatige intelligentie willen we vaak dat deze robots niet alleen slim zijn, maar ook eerlijk en begrijpelijk. We willen dat ze zeggen: "Ik denk dat het een zeehond is, omdat ik vlezige vinnen en een snor zie."

Dit papier introduceert een nieuwe manier om die robots begrijpelijk te maken, genaamd M-CBM. Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem met de Huidige Methode

Vroeger probeerden mensen de robot te dwingen om eerst een lijstje met "begrippen" te maken voordat hij een beslissing nam. Bijvoorbeeld: "Eerst kijken naar 'vlees', 'water' en 'vinnen'."

• Het probleem: Mensen moeten die lijstje zelf bedenken. Soms vergeten ze belangrijke dingen, of bedenken ze dingen die de robot eigenlijk niet kan zien. Het is alsof je een kok vraagt om een gerecht te maken, maar je geeft hem een lijst met ingrediënten die hij niet in de koelkast heeft. Het resultaat is vaak minder lekker dan het gerecht dat de kok zelf had bedacht.

2. De Oplossing: De "Mechanistische" Aanpak

De auteurs van dit papier zeggen: "Waarom vragen we de mens om de lijst te maken? Laten we de robot zelf vragen wat hij ziet!"

Stel je voor dat de robot een enorme bibliotheek heeft met duizenden kleine, onzichtbare notitieblokjes (neuronen). Elk blokje reageert op iets specifieks, maar we weten niet wat.

• Stap 1: De Schatgraver (SAE)
  De auteurs gebruiken een slimme tool (een 'Sparse Autoencoder') om door die bibliotheek te graven. Ze vinden de blokjes die het meest oplichten als de robot een foto van een zeehond ziet. Ze ontdekken dat blokje #456 oplicht bij "vlezige vinnen" en blokje #789 bij "grijze huid". Ze halen deze blokjes eruit. Dit zijn de echte concepten die de robot al had geleerd.

• Stap 2: De Vertaler (Multimodale LLM)
  Nu hebben ze de blokjes, maar ze hebben nog geen namen. Ze sturen een super-slimme chatbot (een AI die zowel tekst als plaatjes begrijpt) met een setje foto's waarop dat blokje oplicht.

  • De vraag aan de chatbot: "Wat zie je op deze foto's waar dit blokje zo blij van wordt?"
  • Het antwoord: "Ah, dit blokje lijkt op 'vlezige vinnen'!"
    Zo krijgen ze een lijstje met begrijpelijke namen voor de interne gedachten van de robot.

• Stap 3: De Oefening (Aanleren)
  Vervolgens laten ze de robot oefenen. Ze zeggen: "Kijk naar de foto, noem eerst of je 'vlezige vinnen' ziet, en pas daarna zeg je of het een zeehond is." Omdat de robot deze concepten al kent (uit stap 1), leert hij dit heel snel en goed.

3. Waarom is dit beter? (De "NCC" Meting)

Een groot probleem bij eerdere methoden was dat de robot soms "valstrikken" gebruikte. Hij leerde niet echt wat een zeehond is, maar hij leerde: "Als er een rood labeltje in de hoek staat, is het een zeehond." Dat is vals spelen.

De auteurs hebben een nieuwe meetlat bedacht, de NCC (Aantal Bijdragende Concepten).

• De analogie: Stel je voor dat je een jury hebt. Als de jury een beslissing neemt, wil je dat slechts een paar juryleden (bijvoorbeeld 5) het zwaarst wegen. Als 100 juryleden allemaal een stem hebben, is het onduidelijk wie de beslissing echt nam.
• De nieuwe meth zorgt ervoor dat de robot zijn beslissing baseert op een klein, krachtig groepje concepten. Dit maakt de uitleg kort en krachtig: "Het is een zeehond, puur en alleen omdat ik vinnen en grijze huid zie." Geen onnodige ruis.

Samenvatting in één zin

In plaats van dat wij mensen raden wat de robot ziet, laten we de robot zijn eigen "geheime gedachten" (die hij al heeft) vertalen naar menselijke woorden, zodat hij ons kan uitleggen waarom hij zijn beslissing nam, zonder dat hij zijn slimheid verliest.

Het resultaat: De robot is net zo slim als voorheen, maar nu kan hij ook een heldere, logische reden geven voor zijn antwoord, alsof hij een kleine leraar is die zijn werk uitlegt.

Technische samenvatting

Probleemstelling

Concept Bottleneck Models (CBM's) zijn een veelbelovende aanpak voor ante-hoc interpreteerbaarheid. Ze zijn ontworpen om eerst een set van menselijk begrijpelijke concepten te voorspellen en deze vervolgens te gebruiken voor de uiteindelijke beslissing. Echter, bestaande state-of-the-art methoden hebben twee fundamentele tekortkomingen:

1. A-priori Conceptdefinitie: Bestaande CBM's vertrouwen op concepten die vooraf worden gedefinieerd door menselijke experts, kennisgrafieken, of Large Language Models (LLM's). Deze concepten hebben vaak onvoldoende voorspellende kracht voor de specifieke taak of zijn niet leerbaar uit de beschikbare data.
2. Informatielekkage (Information Leakage): Wanneer concepten niet perfect zijn, proberen de modellen vaak "geheime" patronen in de bottleneck-laag te gebruiken om de nauwkeurigheid te verhogen. Dit leidt tot een situatie waar het model in de praktijk een "black-box" blijft, ondanks de schijnbare interpreteerbaarheid. Bestaande CBM's presteren vaak aanzienlijk slechter dan hun black-box tegenhangers als deze lekkage wordt gecontroleerd.

Methodologie: Mechanistic CBM (M-CBM)

De auteurs introduceren M-CBM, een nieuwe pijplijn die concepten niet vooraf definieert, maar direct afleidt uit de interne werking van een getrainde black-box model. De methode bestaat uit vier hoofdstappen (zie Figuur 1 in het paper):

1. Concept Extractie via Sparse Autoencoders (SAE):

   • In plaats van te gokken welke concepten relevant zijn, wordt een Sparse Autoencoder (SAE) getraind op de feature-activaties van de black-box backbone.
   • De SAE ontmaskert (disentangles) de neurale representaties in een sparsere, overcomplete dictionary van monosemantische features. Dit lost het probleem van "polysemantische" neuronen op (waar één neuron op meerdere ongerelateerde features reageert).
   • Een filtering-stap verwijdert "dode" neuronen die geen bijdrage leveren aan de voorspellende prestatie, gebaseerd op een drempel die de herstelbare cross-entropy loss niet significant beïnvloedt.

2. Concept Naming met Multimodal LLM (MLLM):

   • Voor elke overgebleven SAE-neuron worden voorbeelden van activerende en niet-activerende afbeeldingen geselecteerd.
   • Een Multimodal LLM (in dit geval GPT-4.1) wordt geprompt met deze voorbeelden en een saliency map om een menselijk begrijpelijke naam te genereren voor het concept.
   • Semantisch equivalenten worden samengevoegd (merging) om duplicaten te voorkomen.

3. Dataset Annotatie:

   • De MLLM annoteert een subset van de dataset (ongeveer 1000 samples per concept) om de aanwezigheid of afwezigheid van elk concept te bevestigen.
   • Dit creëert een ternaire vector van labels (aanwezig, afwezig, niet-geannoteerd) voor de training.

4. Training van het Concept Bottleneck Model:

   • Een CBM wordt getraind met een bevroren backbone, een Concept Bottleneck Layer (CBL) die de concepten voorspelt, en een lineaire classifier die de klasse voorspelt op basis van deze concepten.
   • De CBL wordt getraind met een gemaskerde Binary Cross-Entropy loss (alleen op geannoteerde paren).
   • De classifier gebruikt een Elastic-Net regularisatie om sparsiteit te bevorderen.

Nieuwe Metriek: Number of Contributing Concepts (NCC)

Om eerlijke vergelijkingen mogelijk te maken en lekkage te controleren, stellen de auteurs een nieuwe metriek voor: NCC.

• Bestaande metrieken zoals Number of Effective Concepts (NEC) tellen het aantal niet-nul gewichten in de classifier. Dit kan echter te rigide zijn en de effectieve woordenschat kunstmatig beperken.
• NCC meet de sparsiteit op beslissingsniveau. Het berekent hoeveel concepten nodig zijn om een bepaald percentage (bijv. 95%) van de totale bijdrage aan een voorspelling te verklaren.
• Dit zorgt voor een betere balans tussen interpretatie (korte verklaringen) en nauwkeurigheid, zonder de capaciteit van het model om complexe klassen te beschrijven onnodig te beperken.

Resultaten

De auteurs evalueren M-CBM op drie datasets: CUB (vogels), ISIC2018 (huidlaesies) en ImageNet.

• Nauwkeurigheid: M-CBM overtreft consistent bestaande CBM's (zoals LF-CBM, VLG-CBM en DN-CBM) bij gelijke sparsiteit (NCC). Bij een NCC van 5 behaalt M-CBM de hoogste nauwkeurigheid op alle datasets.
• Conceptvoorspelling: Omdat M-CBM concepten leert die inherent aan de backbone zijn, presteert het aanzienlijk beter in het voorspellen van deze concepten zelf (gemeten via ROC-AUC) dan methoden die concepten genereren via LLM's of GroundingDINO.
• Interpretatie: De modellen leveren beknopte en nauwkeurige verklaringen. Bijvoorbeeld, bij een verkeerde classificatie kan het model specifiek aangeven welk concept de fout veroorzaakte, en het "zeren" van dat concept kan de beslissing corrigeren.
• Vergelijking met Random Words: Experimenten tonen aan dat bij methoden met class-conditioned annotatie (zoals de originele VLG-CBM) zelfs willekeurige woorden hoge nauwkeurigheid kunnen bereiken (bewijs van lekkage). M-CBM met echte concepten presteert echter veel beter bij hoge sparsiteit, wat aantoont dat de geleerde concepten daadwerkelijk betekenisvol zijn.

Bijdragen en Significantie

1. Paradigmaverschuiving: Het paper beweert dat we niet hoeven te gokken welke concepten relevant zijn, maar dat we deze kunnen ontdekken uit de interne mechanica van het model zelf. Dit benut de kracht van mechanistische interpretabiliteit voor CBM's.
2. Robuustheid tegen Lekkage: Door concepten direct uit de backbone te halen en NCC te gebruiken voor controle, creëren M-CBM's modellen die zowel nauwkeurig als echt interpreteerbaar zijn, zonder de verborgen afhankelijkheden van eerdere methoden.
3. Schaalbaarheid: Hoewel de annotatie via MLLM kosten met zich meebrengt, is de aanpak schaalbaarder dan het handmatig labelen van concepten of het gebruik van methoden die de volledige dataset moeten annoteren voor elk concept (zoals VLG-CBM op ImageNet).
4. Toekomstperspectief: Het werk opent de deur voor het leren van concepten van machines die menselijke expertise overtreffen (zoals AlphaZero in het paper wordt aangehaald), waarbij interpretatie wordt gebruikt om kennis van AI-systemen te extraheren en te transfereren.

Kortom, M-CBM biedt een nieuwe, mechanistische route naar interpreteerbare AI die de kloof tussen black-box prestaties en menselijk begrip effectiever overbrugt dan eerdere benaderingen.