Graph Concept Bottleneck Models

1. Probleemstelling

Concept Bottleneck Models (CBM's) zijn een raamwerk voor interpreteerbaar diep leren dat invoergegevens afbeeldt op menselijk begrijpelijke tussenliggende concepten voordat een definitieve voorspelling wordt gedaan. Hoewel CBM's transparantie en directe interventie mogelijk maken (bijvoorbeeld het corrigeren van een voorspelling door een conceptscore aan te passen), lijden bestaande CBM's aan een kritieke beperking:

• Aanname van Onafhankelijkheid: Standaard CBM's gaan ervan uit dat concepten conditioneel onafhankelijk zijn gegeven het label.
• Realiteit van Correlatie: In de praktijk zijn concepten sterk gecorreleerd (bijvoorbeeld "vacht" en "snorharen" komen vaak samen voor met "staart"). Het negeren van deze intrinsieke afhankelijkheden leidt tot vereenvoudigde representaties, verminderde voorspellende nauwkeurigheid en zwakkere interpreteerbaarheid.
• Interventiebeperkingen: Wanneer gebruikers interveniëren op een enkel concept, slagen standaard CBM's er niet in om de logische consequenties van die verandering door te geven aan gerelateerde concepten, wat leidt tot suboptimale correcties.

2. Methodologie: Graph CBM's (G-CBM's)

De auteurs stellen Graph CBM's voor, een nieuw raamwerk dat de relationele structuur tussen concepten expliciet modelleert met behulp van een latente conceptgraf. De architectuur is ontworpen als een lichtgewicht, plug-and-play module die compatibel is met bestaande CBM-varianten (zowel label-vrij als concept-supervised).

Kerncomponenten

Het model bestaat uit drie hoofdmodules:

1. Module 1: Encoderen & Parametrisatie

   • Invoer: Afbeeldingen worden gecodeerd via een vooraf getrainde visuele encoder ($E_v$), en concepten worden gecodeerd via een vooraf getrainde taalencoder ($E_t$) (in label-vrije instellingen).
   • Grafstructuur: Een latente graf $G = (V, A)$ wordt gedefinieerd waarbij knopen $V$ concepten vertegenwoordigen en de burenmatrix $A$ de relationele sterkte tussen hen codeert.
   • Initialisatie: De graf wordt geïnitieerd (willekeurig of via embeddingsimilariteit) en gedeeld over alle data-instanties, maar de activatie van knopen is instantie-afhankelijk.

2. Module 2: GNN-berichtuitwisseling

   • Om afhankelijkheden te vangen, maakt het model gebruik van een Graph Neural Network (GNN) met meerdere lagen.
   • Dual Message Passing: Op elke laag $l$ wordt informatie geaggregeerd van naburige knopen voor zowel:
     • Embeddings ($V_{emb}$): De semantische betekenis van het concept.
     • Activaties ($V_{act}$): De mate waarin een concept geactiveerd is voor een specifieke afbeelding.
   • De updateregel combineert de burenmatrix met elementsgewijze vermenigvuldiging van activaties en embeddings, waardoor het model context kan doorgeven vanuit gerelateerde concepten (bijvoorbeeld: als "vleugels" actief is, verhoogt het model de waarschijnlijkheid van "veren").

3. Module 3: Regularisatie & Voorspelling

   • Contrastief Leren: Aangezien grondwaarheid-conceptrelaties vaak niet beschikbaar zijn, maakt het model gebruik van zelftoezichtend contrastief leren om de grafstructuur te leren.
     • Embedding-level Loss ($L_{emb}$): Aligneert de afbeelding-embedding met de graf-level embedding (gemiddeld gepoolde knopen-embeddings).
     • Activatie-level Loss ($L_{act}$): Aligneert de geprojecteerde afbeelding-embedding met het bijgewerkte concept-activatievector.
   • Verliesfunctie: De totale loss combineert de classificatie cross-entropy ($CE$), de contrastieve losses ($L_{emb}, L_{act}$), en een $L_1$-sparsiteitsregularisatieterm op de burenmatrix om overfitting te voorkomen en interpreteerbaarheid te waarborgen.
   • Voorspelling: Het definitieve label wordt voorspeld door de verfijnde conceptactivaties door een lineaire laag of MLP te leiden.

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Introductie van Graph CBM's, de eerste CBM-variant die latente conceptcorrelaties expliciet modelleert via een leerbare grafstructuur, wat zowel redenering als interpreteerbaarheid verbetert.
2. Zelftoezichtend Grafleren: Ontwikkeling van een raamwerk dat automatisch latente conceptgrafen construeert zonder grondwaarheid relationele annotaties te vereisen, met gebruikmaking van multi-level contrastief leren.
3. Plug-and-Play Integratie: De methode is orthogonaal op bestaande CBM-ontwerpen en integreert naadloos in zowel Label-Free CBM's (bijvoorbeeld LF-CBM, PCBM) als Concept-Supervised CBM's (bijvoorbeeld standaard CBM, CEM).
4. Robuste Interventie: Aangetoond dat het modelleren van conceptrelaties de effectiviteit van post-hoc interventies aanzienlijk verbetert, waardoor correcties logisch door het conceptnetwerk kunnen worden doorgegeven.

4. Experimentele Resultaten

De auteurs evalueerden Graph CBM's op meerdere real-world datasets, waaronder CUB-200-2011 (vogels), Flower102, HAM10000 (huidlaesies), CIFAR-10/100, en ChestXpert.

• Voorspellende Nauwkeurigheid:
  • Graph CBM's presteerden consistent beter dan baselines op alle datasets.
  • Label-Free Instelling: Graph-PCBM verbeterde de nauwkeurigheid met ~1,5% tot 3% ten opzichte van standaard PCBM (bijvoorbeeld 77,95% versus 74,69% op CUB).
  • Concept-Supervised Instelling: Graph-CBM en Graph-CEM kwamen overeen met of overtroffen state-of-the-art methoden (bijvoorbeeld ProbCBM, HardAR, E-CBM) terwijl ze betere interpreteerbaarheid boden.
• Interventieprestaties:
  • In interventie-experimenten (het aanpassen van conceptscores om fouten te corrigeren) toonden Graph CBM's aanzienlijk hogere robuustheid.
  • Wanneer concepten werden gemaskeerd of verstoord, herstelden Graph CBM's de prestaties beter dan baselines door signalen van verbonden buren te aggregeren.
  • Graph CBM's bereikten hoge nauwkeurigheid met interventies in één stap, terwijl energiegebaseerde modellen (zoals E-CBM) iteratieve gradiëntberekeningen vereisten.
• Ablatiestudies:
  • Het verwijderen van de GNN-berichtuitwisseling veroorzaakte een daling van de prestaties naar baselineniveaus, wat bevestigt dat de winst voortkomt uit het modelleren van interacties en niet alleen uit het verhogen van het aantal parameters.
  • Het gebruik van zowel $L_{emb}$ als $L_{act}$ was cruciaal; het gebruik van slechts één leidde tot ofwel te dichte ofwel te schaarse grafen.
• Grafinterpreteerbaarheid:
  • De geleerde grafen onthulden semantisch betekenisvolle connecties (bijvoorbeeld "luid, schor stemgeluid" verbonden met "schreeuwerig geluid") die overeenkwamen met menselijke intuïtie en zelfs LLM-gegenereerde heuristieken overtroffen in het vangen van niet-voor de hand liggende correlaties.

5. Betekenis en Impact

• Overbrugging van de Kloof: Graph CBM's overbruggen de kloof tussen de interpreteerbaarheid van CBM's en de relationele redeneercapaciteiten van Graph Neural Networks.
• Betrouwbaarheid: Door te modelleren hoe concepten elkaar beïnvloeden, biedt het model een realistischer en betrouwbaarder besluitvormingsproces, wat cruciaal is voor veiligheidskritieke domeinen zoals de gezondheidszorg (bijvoorbeeld het begrijpen hoe "pneumonie" gerelateerd is aan "pleurale effusie").
• Efficiëntie: De aanpak bereikt state-of-the-art prestaties met minimale rekenkundige overhead (slechts $O(k^2)$ parameters toevoegend voor $k$ concepten) en vereist geen hertraining van de backbone-afbeeldingencoder.
• Generalisatie: Het raamwerk is veelzijdig en werkt effectief in zowel scenario's waar conceptlabels beschikbaar zijn als waar ze automatisch moeten worden ontdekt (label-vrij).

Kortom, Graph CBM's vertegenwoordigen een aanzienlijke vooruitgang in interpreteerbaar AI, die verder gaat dan de aanname van onafhankelijke concepten om de rijke, onderling verbonden aard van menselijk redeneren te vangen, waardoor zowel de modelnauwkeurigheid als de betrouwbaarheid van menselijke interventies worden verbeterd.