Rethinking Concept Bottleneck Models: From Pitfalls to Solutions

Dit artikel introduceert CBM-Suite, een methodologisch kader dat de fundamentele beperkingen van Concept Bottleneck Models aanpakt door een entropie-maatstaf voor conceptrelevantie, een niet-lineaire laag om het 'lineariteitsprobleem' op te lossen, en distillatie voor nauwkeurigheidsverbetering, waardoor nauwkeurigere en interpreteerbaarder modellen ontstaan.

De kern

Stel je voor dat je een zeer slimme, maar mysterieuze kunstenaar hebt die foto's kan analyseren en perfect kan zeggen wat erop te zien is. Het probleem? Je kunt niet vragen waarom hij dat zegt. Hij geeft alleen het antwoord, zonder uitleg. Dit is het probleem van veel moderne AI-modellen: ze zijn krachtig, maar "ondoorzichtig".

Om dit op te lossen, hebben wetenschappers Concept Bottleneck Models (CBM's) bedacht. Het idee is simpel: in plaats van direct een antwoord te geven, moet de AI eerst een lijstje maken van begrijpelijke kenmerken (concepten) die ze ziet, zoals "gele snavel", "zwarte vleugels" of "lang nekje". Pas daarna mag ze de vogelsoort benoemen. Zo weten mensen precies op welke basis de AI zijn keuze maakt.

Maar, zoals de auteurs van dit paper laten zien, werkt dit in de praktijk vaak niet zoals beloofd. Ze hebben een nieuwe toolbox, CBM-Suite, ontwikkeld om deze problemen op te lossen. Hier is de uitleg in simpele taal:

De 4 Grote Problemen (en de oplossingen)

1. Het "Willekeurig Geklets" Probleem

• Het probleem: Soms kiest de AI een lijstje met kenmerken die totaal niets met de foto te maken hebben (bijvoorbeeld "Romeins recht" of "willekeurige lettergrepen"). Toch geeft hij het juiste antwoord! Hoe kan dat? Omdat de AI slim genoeg is om andere, verborgen patronen te vinden die hij niet mag laten zien. Het is alsof een student die een proefwerk maakt, de antwoorden uit het hoofd leert zonder de stof te begrijpen. Hij haalt een 10, maar hij kan je niet uitleggen waarom het antwoord juist is.
• De oplossing: De auteurs hebben een nieuwe meetlat (een "entropie-maatstaf") bedacht. Dit is als een test die je voordat je begint te leren, doet. Hij kijkt of de lijst met kenmerken echt logisch is voor de foto's. Als de lijst "ruis" is (willekeurig), zegt de meetlat: "Nee, dit is geen goed lijstje." Zo voorkom je dat je tijd verspillen aan slechte concepten.

2. Het "Lineaire Valstrik" Probleem

• Het probleem: Veel moderne CBM's zijn zo simpel opgebouwd dat ze de tussenstap (het lijstje met kenmerken) eigenlijk helemaal overslaan. Het is alsof je een tolk hebt die een gesprek vertaalt, maar in plaats van te luisteren naar wat er gezegd wordt, hij gewoon het antwoord van tevoren weet en dat hardop roept. De "tussenstap" is dan alleen maar een decorstukje; de AI negeert het.
• De oplossing: Ze hebben een kink in de kabel toegevoegd. Ze maken de verbinding tussen de foto en het lijstje met kenmerken iets "niet-lineair" (een beetje complexer). Hierdoor moet de AI echt door het lijstje met kenmerken heen kijken om het antwoord te vinden. Hij kan de tussenstap niet meer omzeilen.

3. Het "Snelheid vs. Begrip" Probleem

• Het probleem: Omdat de AI nu moet stoppen bij het lijstje met kenmerken, is hij vaak iets minder goed in het voorspellen dan de "onverbeterlijke" modellen die alles direct doen. Het is alsof je een auto hebt die verplicht moet stoppen bij elke verkeersbord om te lezen wat er staat, terwijl de andere auto's gewoon doorrijden. De eerste is veiliger (begrijpelijk), maar langzamer (minder accuraat).
• De oplossing: Ze gebruiken kennisdistillatie. Stel je voor dat je een slimme, snelle leraar (de "onverbeterlijke" AI) hebt die het antwoord direct weet. Deze leraar helpt de "langzame" AI (de CBM) door haar te leren hoe ze het antwoord toch snel kan vinden, maar dan via het lijstje met kenmerken. Zo wordt de CBM net zo goed als de snelle AI, maar blijft hij wel begrijpelijk.

4. Het "Welke Motor?" Probleem

• Het probleem: Er zijn veel verschillende soorten "motoren" (visuele encoders) en "woordenboeken" (taalmodellen) die je kunt gebruiken. Maar niemand wist echt welke combinatie het beste werkt. Het was een beetje gokken.
• De oplossing: Ze hebben een grote test gedaan. Ze hebben gekeken welke combinatie van motor en woordenboek het beste werkt voor verschillende taken. Ze ontdekten dat de keuze van de "motor" (de visuele achtergrond) belangrijker is dan je denkt.

De Samenvatting in één zin

De auteurs hebben een nieuwe CBM-Suite gemaakt die ervoor zorgt dat AI-modellen niet alleen het juiste antwoord geven, maar dat ze dat antwoord ook echt kunnen uitleggen met een lijstje van zinvolle kenmerken, zonder dat ze daarvoor in kwaliteit verliezen.

Het is alsof ze een AI hebben gebouwd die niet alleen een dokter is die een diagnose stelt, maar die ook echt kan uitleggen: "Ik denk dat je koorts hebt, omdat je huid rood is en je temperatuur hoog is," in plaats van gewoon "Je bent ziek" te zeggen zonder bewijs.

Technische samenvatting

Probleemstelling

Concept Bottleneck Models (CBM's) zijn een veelbelovende benadering om de voorspellingen van diepe neurale netwerken interpreteerbaar te maken door deze te baseren op menselijk begrijpbare concepten (bijv. "rode snavel" in plaats van een directe pixel-naar-klasse mapping). Echter, zoals in dit artikel wordt aangetoond, lijden bestaande CBM-implementaties aan vier fundamentele beperkingen die hun betrouwbaarheid en bruikbaarheid in de praktijk ondermijnen:

1. Afwezigheid van een pre-evaluatiemetric voor conceptrelevantie: Er is geen methode om vooraf te bepalen of een conceptset geschikt is voor een dataset. Bestaande modellen kunnen hoge nauwkeurigheid bereiken met willekeurige of irrelevante concepten door "conceptlekken" (concept leakage), waarbij het model verborgen correlaties tussen de concepten en de labels leert in plaats van de concepten zelf te gebruiken.
2. Het Lineariteitsprobleem: Veel recente CBM's (vooral die gebaseerd op Vision-Language Models of VLM's) gebruiken een puur lineaire architectuur. Hierdoor reduceert het model wiskundig tot een enkele lineaire transformatie die het concept-bottleneck volledig omzeilt. Het model fungeert dan slechts als een lineaire probe op de beeldembeddings, waardoor de interpretatie illusoir is.
3. Nauwkeurigheidsgap: Door de beperking dat voorspellingen via een conceptlaag moeten lopen, presteren CBM's vaak aanzienlijk slechter dan "ondoorzichtige" (opaque) end-to-end modellen of directe lineaire probes. Dit maakt ze onpraktisch voor toepassingen waar nauwkeurigheid cruciaal is.
4. Gebrek aan systematisch onderzoek naar backbones: Er is geen uitgebreide vergelijking van hoe verschillende visuele backbones (encoders) en VLM's de prestaties en interpretatie van CBM's beïnvloeden. Bestaand werk focust vaak alleen op CLIP-gebaseerde modellen zonder de optimale combinaties te onderzoeken.

Methodologie: CBM-Suite

De auteurs introduceren CBM-Suite, een methodologisch raamwerk dat specifiek is ontworpen om deze vier uitdagingen aan te pakken. De kerncomponenten zijn:

1. Entropy-based "Goodness of Concepts" Metric:

   • Om conceptrelevantie voor het trainen te evalueren, converteren de auteurs de conceptactivaties (berekend via cosine similarity tussen beeld- en tekstembeddings van een VLM) naar kansverdelingen met de softmax-functie.
   • Vervolgens wordt de entropie van deze verdeling berekend. Een lage entropie duidt op een geconcentreerde, selectieve activatie (wat wenselijk is voor interpretatie), terwijl hoge entropie wijst op ruis of irrelevante signalen.
   • Deze metric wordt toegepast in twee scenario's: task-agnostic (over de hele dataset) en task-specific (geaggregeerd per klasse).

2. Oplossing voor het Lineariteitsprobleem (Non-linear Encoding):

   • Om te voorkomen dat het model omzeilt naar een lineaire probe, wordt een niet-lineaire laag (een ReLU-activatie tussen twee lineaire lagen) ingevoegd in de concept-encoder.
   • Dit dwingt het model om daadwerkelijk de conceptruimte te gebruiken voor de classificatie, waardoor de voorspellingen echt afhankelijk worden van de gekozen concepten.

3. Knowledge Distillation voor Nauwkeurigheid:

   • Om de nauwkeurigheidsgap te dichten, gebruiken de auteurs een distillatieverlies (knowledge distillation).
   • Een "teacher" model (een lineaire probe die direct op de beeldembeddings is getraind en dus zeer nauwkeurig maar ondoorzichtig is) geleidt het CBM ("student").
   • Het totale verlies bestaat uit: cross-entropy met de ground truth, elastic net regularisatie (voor sparsiteit), en de distillatieverliezen die de logits van de student aligneren met die van de teacher. Hierdoor behoudt het CBM zijn interpreteerbaarheid maar haalt het de prestaties van de teacher bijna in.

4. Systematische Evaluatie:

   • De auteurs testen diverse combinaties van visuele backbones (o.a. ResNet50, DINOv2, Perception Encoder, Franca) en VLM's (CLIP, SigLIP, SAIL, FLAIR) om de optimale architectuur te bepalen.

Belangrijkste Resultaten

De extensive evaluaties op datasets zoals ImageNet100, Places365, CUB200 en CIFAR100 tonen het volgende:

• Validatie van de Entropiemetric: Relevante conceptsets (gegenereerd door LLM's of handmatig) vertonen consistent lagere entropie dan irrelevante sets (zoals Romeins rechtsterminologie of willekeurige strings). Dit bevestigt dat de metric effectief irrelevante concepten kan identificeren voordat training begint.
• Oplossing Lineariteitsprobleem: Lineaire CBM's behalen hoge nauwkeurigheid (bijv. >85% op ImageNet100) zelfs met willekeurige concepten, wat aantoont dat ze het bottleneck negeren. Niet-lineaire CBM's daarentegen dalen drastisch in nauwkeurigheid (met ~25%) bij gebruik van irrelevante concepten, wat bewijst dat ze echt afhankelijk zijn van de concepten.
• Sluiten van de Nauwkeurigheidsgap: Door knowledge distillation te gebruiken, verbetert de "Distilled CBM" de nauwkeurigheid aanzienlijk ten opzichte van een "Vanilla CBM" en komt deze dicht in de buurt van de Oracle (de directe lineaire probe). Bijvoorbeeld op ImageNet100: Vanilla CBM (82,27%) vs. Distilled CBM (85,47%) vs. Oracle (91,30%).
• Invloed van Encoders: De keuze van de visuele backbone heeft een grotere impact op de prestaties dan de keuze van de VLM. De Perception Encoder in combinatie met SigLIP leverde de beste resultaten op ImageNet100 (tot 96,56% voor de lineaire probe, en zeer hoge scores voor het CBM).
• Vergelijking met SOTA: CBM-Suite presteert beter dan state-of-the-art methoden zoals LaBo en LFCBM op CUB200, CIFAR100 en Places365, en blijft concurrerend op ImageNet.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Pre-training Evaluatie: Een nieuwe, principieel onderbouwde entropiemetric om de kwaliteit van conceptsets te beoordelen voordat training begint, waardoor verspilde rekencapaciteit op irrelevante sets wordt voorkomen.
2. Architecturale Correctie: Het identificeren en oplossen van het lineaire degeneratieprobleem door het invoegen van niet-lineariteit, wat essentieel is voor echte interpretatie.
3. Prestatieverbetering: Een effectieve strategie (knowledge distillation) om het compromis tussen interpreteerbaarheid en nauwkeurigheid te doorbreken.
4. Empirisch Inzicht: De eerste systematische studie die laat zien hoe de keuze van visuele encoders en VLM's samenwerken om de uiteindelijke prestaties te bepalen.

Conclusie:
Dit artikel biedt een kritische herbezinning op Concept Bottleneck Models. Het stelt dat eerdere evaluaties vaak de interpretatie als illusoir hebben behandeld vanwege architecturale tekortkomingen. Met CBM-Suite bieden de auteurs een robuust raamwerk dat CBM's omvormt van theoretisch interessante maar praktisch beperkte modellen naar betrouwbare, nauwkeurige en echt interpreteerbare systemen die inzetbaar zijn in real-world scenario's.