Prototype-Grounded Concept Models for Verifiable Concept Alignment

Probleemstelling

Concept Bottleneck Models (CBMs) zijn een populaire aanpak binnen Explainable AI (XAI) die voorspellingen structureren via menselijk begrijpbare concepten (bijv. "heeft strepen", "is metalig"). Hoewel dit interpretatie biedt, lijden CBMs aan een fundamenteel tekort: het ontbreken van verifieerbare semantische uitlijning.

• In een standaard CBM worden concepten voorspeld als abstracte scalaire waarden door een "black-box" neurale laag.
• Er is geen garantie dat de geleerde representatie van een concept overeenkomt met de menselijke intentie. Een concept gelabeld als "strepen" zou bijvoorbeeld kunnen vertrouwen op achtergrondruis of spurious correlaties in plaats van echte strepen.
• Gebruikers hebben geen directe manier om visueel te verifiëren wat een concept betekent, wat het vertrouwen in de interpretatie ondermijnt.

Methodologie: Prototype-Grounded Concept Models (PGCMs)

De auteurs introduceren Prototype-Grounded Concept Models (PGCMs), een hybride architectuur die CBMs uitbreidt met geleerde visuele prototypes. In plaats van concepten alleen als abstracte labels te behandelen, worden deze verankerd in concrete visuele voorbeelden.

Kernarchitectuur en Werkingsprincipe:

1. Preprocessing (Segmentatie): Een invoerbeeld $x$ wordt opgesplitst in $n$ beelddelen (image parts) $\{x_i\}$ via een segmentatienetwerk.
2. Prototypes en Latente Variabelen: Voor elk beelddeel wordt een latente variabele $S_i$ geïntroduceerd die de selectie van een prototype aanduidt uit een set van $m$ geleerde prototypes.
3. Generatieve Componenten (De "Betekenis"):
   • Image Decoder: Mappt een prototype-index $S_i=j$ naar een concrete beeldrepresentatie (een gesynthetiseerd beeldgedeelte). Dit definieert wat het prototype visueel is.
   • Concept Decoder: Mappt hetzelfde prototype naar een distributie over hoog-niveau concepten. Dit definieert welke concepten bij dit prototype horen.
   • Samen vormen deze een Concept Alignment Table: een expliciete mapping tussen visuele prototypes en hun semantische labels.
4. Discriminative Componenten (De "Voorspelling"):
   • Prototype Selector: Een module $q(S_i|X_i)$ die voor elk beelddeel de meest vergelijkbare prototype kiest op basis van visuele gelijkenis (bijv. dot product tussen embeddings).
   • Concept & Task Predictor: De geselecteerde prototypes leveren de conceptvoorspellingen op, die vervolgens worden gebruikt voor de uiteindelijke taakvoorspelling (bijv. classificatie).

Training en Optimalisatie:
Het model wordt getraind om de gezamenlijke log-likelihood te maximaliseren, wat leidt tot een Evidence Lower Bound (ELBO) bestaande uit:

• Reconstructieverlies: Zorgt ervoor dat prototypes visueel representatief zijn voor de data.
• Concept-verlies: Zorgt ervoor dat prototypes correcte conceptlabels hebben.
• Regularisatie: Bevordert exploratie tijdens training.
• Interpretability Optimalisaties: De auteurs gebruiken een "prototype swapping" stap en een beperking van embeddings zodat deze geen informatie bevatten die niet zichtbaar is in de gegenereerde prototype-afbeeldingen. Dit voorkomt dat het model verborgen informatie in de embedding slaat.

Belangrijkste Bijdragen

1. Verifieerbare Semantiek: PGCMs vervangen de onzichtbare uitlijning van CBMs door een expliciete Concept Alignment Table. Gebruikers kunnen direct zien welk visueel patroon (prototype) hoort bij welk concept, waardoor uitlijning verifieerbaar wordt.
2. Nieuwe Interventiemogelijkheden:
   • Model Editing: Gebruikers kunnen foutieve prototypes verwijderen, herschrijven (labels aanpassen) of nieuwe prototypes toevoegen om uitlijning te corrigeren.
   • Gekoppelde Interventies: Omdat concepten via prototypes verbonden zijn, kan een interventie op één prototype meerdere conceptvoorspellingen tegelijk corrigeren (in tegenstelling tot onafhankelijke conceptinterventies in CBMs).
3. Dubbele Representatie: Elk concept heeft een dubbele representatie: een hoog-niveau symbool (label) en een verzameling laag-niveau visuele instanties (prototypes).

Resultaten

De auteurs testen PGCMs op datasets zoals CelebA (gezichtsattributen), ColorMNIST+ (som van cijfers) en CLEVR-Hans.

• Prestatie: PGCMs bereiken vergelijkbare voorspellingsprestaties (concept- en taaknauwkeurigheid) als state-of-the-art CBMs, ondanks de extra structurele beperkingen.
• Interpretatie en Uitlijning: Experimenten tonen aan dat gebruikers foutieve prototypes kunnen identificeren en corrigeren via de Alignment Table.
• Interventie-effectiviteit:
  • Bij het gebruik van ruisachtige labels tijdens training, leidt het verwijderen of bewerken van verkeerde prototypes (Model Editing Interventions) tot een significante stijging in nauwkeurigheid op schone testdata.
  • PGCMs tonen een betere of vergelijkbare responsiviteit op conceptinterventies dan standaard CBMs, vooral wanneer concepten afhankelijk zijn van elkaar.
• Capaciteit vs. Interpretatie: Er is een afweging (trade-off) tussen het aantal prototypes en de interpretatie. Meer prototypes verhogen de nauwkeurigheid maar verlagen de cognitieve overzichtelijkheid voor de mens.

Significantie

Dit werk is een belangrijke stap voorwaarts in het veld van betrouwbare AI. Het lost een kritieke zwakte van Concept Bottleneck Models op: de onmogelijkheid om te verifiëren of een model "begrijpt" wat het zegt.

• Van "Trust me" naar "Show me": PGCMs verschuiven de basis van vertrouwen van een onbewezen aanname (dat concepten correct zijn) naar een verifieerbaar mechanisme (visuele prototypes).
• Actieve Mens-AI Interactie: Het stelt experts in staat om niet alleen op abstracte concepten in te grijpen, maar op het fundamentele visuele bewijsmateriaal, wat leidt tot robuustere en eerlijkere modellen.
• Formele Semantiek: Het paper introduceert een vorm van formele semantiek voor neurale netwerken, waarbij de betekenis van symbolen expliciet wordt gedefinieerd door hun referentie naar concrete entiteiten in de data.

Kortom, PGCMs behouden de transparantie van CBMs maar voegen de noodzakelijke visuele grondslag toe om interpretatie daadwerkelijk verifieerbaar en corrigeerbaar te maken.