Technische Samenvatting: Concept Flow Models (CFMs)

Probleemstelling

Concept Bottleneck Models (CBMs) beogen de interpreteerbaarheid van diepe neurale netwerken te verbeteren door geleerde kenmerken te projecteren naar een voor mensen begrijpelijke conceptruimte voordat de uiteindelijke voorspellingen worden gedaan. Hoewel recente post-hoc CBM's gebruikmaken van Vision-Language Models (VLMs) om de noodzaak van handmatige conceptannotatie te elimineren, lijden zij aan een kritieke beperking die bekend staat als informatielekkage (information leakage).

Wanneer het aantal concept-embeddings de dimensionaliteit van de feature-embeddingruimte nadert, kan het model gebruikmaken van spuria de of semantisch irrelevante correlaties om een hoge nauwkeurigheid te bereiken. In dit scenario kan het model vertrouwen op willekeurige of taakirrelevante concepten (bijv. "carrosseriekleur van een voertuig" voor het classificeren van katten) in plaats van de beoogde semantische inhoud. Dit ondermijnt de interpreteerbaarheid van het model, aangezien een hoge nauwkeurigheid niet langer garandeert dat de redenering geworteld is in betekenisvolle concepten. Bestaande mitigatiestrategieën, zoals het afdwingen van sparsiteit via regularisatie of het selecteren van compacte conceptensets, falen vaak bij toenemende taakcomplexiteit of voorkomen het misbruik van irrelevante concepten niet structureel.

Methodologie: Concept Flow Models (CFMs)

De auteurs stellen Concept Flow Models (CFMs) voor, een hiërarchische architectuur die de platte bottleneck-laag van traditionele CBM's vervangt door een hiërarchische, conceptgestuurde beslissingsboom. Deze structurele wijziging dwingt "structurele sparsiteit" af, wat ervoor zorgt dat elke klassevoorspelling alleen steunt op een gelokaliseerde subset van concepten langs een specifiek beslissingspad.

Het CFM-framework werkt via drie primaire fasen:

1. Extractie van de hiërarchische boom en semantische annotatie:

   • Het framework maakt gebruik van een vooraf getrainde VLM (specifiek CLIP) om klasse-niveau beeld-embeddings te genereren.
   • Agglomeratieve clustering (Ward's linkage) wordt toegepast op deze embeddings om een semantische boomhiërarchie te construeren.
   • Interne knopen worden gepruned op basis van merge-afstanden om te voorkomen dat er te diepe bomen met zwak gescheiden knopen ontstaan.
   • Large Language Models (LLMs) worden gebruikt om beschrijvende labels te genereren voor interne knopen op basis van de bladklassen in hun subbomen, waardoor een mens-gealigneerde semantische hiërarchie ontstaat.

2. Conceptselectie & Distributie:

   • LLM's genereren kandidaat-concepten voor elke bladklasse, waarbij rekening wordt gehouden met beeldvoorbeelden en hiërarchische context.
   • Concepten worden geaggregeerd naar interne knopen. Redundante concepten en concepten die klassenamen bevatten, worden gefilterd.
   • Een Lasso-geregulariseerde multi-class logistische regressie wordt ingezet om de meest discriminerende concepten voor elke interne knoop te selecteren. Het aantal concepten dat aan een knoop wordt toegewezen, wordt bepaald door een hybride strategie die de balans houdt tussen het aantal sub-knopen van de node en een globaal conceptbudget.

3. Differentiabele Concept Flow Training:

   • Het model wordt end-to-end getraind. Elke interne knoop $v$ wordt geparametriseerd door een conceptmatrix $C_v$ (vooraf geselecteerde embeddings) en een trainbare gewichtsmatrix $W_v$.
   • Transitieprobabiliteiten: Voor een beeld-embedding $\tilde{z}$ berekent het model concept-activaties, projecteert deze via $W_v$, en past een temperatuur-geschaalde softmax toe om de waarschijnlijkheid te bepalen van de transitie naar sub-knopen.
   • Padaggregatie: De waarschijnlijkheid om een bladnode (eindklasse) te bereiken, is het product van de transitieprobabiliteiten langs het unieke pad van de wortel naar het blad, gekalibreerd door een leerbare bias-term.
   • Doelstelling: Het model minimaliseert de negatieve log-likelihood van het grondwaarheid klassepad.

Belangrijkste Bijdragen

• Architecturale Innovatie: De introductie van CFMs, die classificatie deelt in een reeks gelokaliseerde, conceptgestuurde subproblemen via een hiërarchische bottleneck. Dit ontwerp isoleert ongerelateerde concepten structureel van het beslissingspad van een specifieke klasse.
• Theoretische Analyse: De auteurs leveren theoretische bewijzen die aantonen dat hiërarchische bottlenecks een hogere barrière vormen voor informatielekkage. Specifiek vereist het bereiken van globale scheidbaarheid met willekeurige concepten in een CFM een totaal conceptbudget dat proportioneel is aan $O(md)$ (waarbij $m$ het aantal interne knopen is), terwijl een platte CBM slechts $O(d)$ vereist. Dit impliceert dat CFMs aanzienlijk resistenter zijn tegen nauwkeurigheidswinst door willekeurige, taakirrelevante concepten.
• Semantische Efficiëntie: Het framework demonstreert dat CFMs een nauwkeurigheid kunnen bereiken die vergelijkbaar is met platte CBM's (zoals PCBM) terwijl ze een aanzienlijk lager aantal Effectieve Concepten (NEC) per voorspelling gebruiken. Het aantal concepten dat per voorspelling wordt gebruikt, wordt verminderd van $O(R)$ in platte modellen naar $O(\frac{R}{m} \log_b m)$ in CFMs.
• End-to-End Pipeline: Er is een volledig proces ontwikkeld dat beslissingshiërarchieën construeert uit visuele embeddings, discriminerende concepten selecteert zonder handmatige annotatie, en het model traint met probabilistische boomdoorloop.

Experimentele Resultaten

Experimenten werden uitgevoerd op vijf benchmarks: CIFAR-10, CIFAR-100, UCF-101, CUB-200 en TinyImageNet.

• Resistentie tegen Willekeurige Concepten: In scenario's met willekeurige (niet-semantische) concepten vertoonden CFMs een significant lagere nauwkeurigheid vergeleken met platte CBM's naarmate het conceptbudget toenam. Op CIFAR-10 bijvoorbeeld, terwijl de CBM-nauwkeurigheid de linear probe baseline benaderde met 64 willekeurige concepten, bleef de CFM-nauwkeurigheid substantieel lager (75% vs. 90%), wat de structurele barrière tegen informatielekkage bevestigt.
• Prestaties met Semantische Concepten: Wanneer gebruik wordt gemaakt van gecureerde semantische concepten, evenaarden of overtroffen CFMs de nauwkeurigheid van state-of-the-art platte CBM's (PCBM en Labo) terwijl ze veel minder effectieve concepten gebruikten.
  • Op CIFAR-10 bereikte CFM een nauwkeurigheid van 91,59% met slechts 6,9 effectieve concepten, vergeleken met ~57 voor PCBM en Labo.
  • Op TinyImageNet bereikte CFM 70,79% nauwkeurigheid met 92 effectieve concepten, waarmee het Labo (69,86%) versloeg en overeenkwam met PCBM (71,07%), dat meer dan 360 concepten gebruikte.
• Semantic Improvement Ratio (SIR): CFMs vertoonden aanzienlijk hogere SIR-scores, wat duidt op een sterkere afhankelijkheid van betekenisvolle semantische concepten in plaats van spuria de correlaties. Bijvoorbeeld, op CIFAR-10 was de SIR van CFM 19,78%, vergeleken met 1,94% voor Labo.
• Ablatie-studies: De studie bevestigde dat de door CLIP geïnduceerde hiërarchie beter presteert dan willekeurige of op gewichten gebaseerde hiërarchieën. Het benadrukte ook dat het prunen van de boom om het aantal interne knopen te controleren cruciaal is voor het balanceren van interpreteerbaarheid (sparcere paden) en nauwkeurigheid (voldoende conceptcapaciteit per knoop).

Betekenis en Claims

Het artikel claimt dat CFMs een veelbelovende richting bieden voor het verbeteren van interpreteerbaarheid zonder verlies van voorspellende prestaties. Door beslissingen te verankeren in mens-gealigneerde, hiërarchische structuren, bieden CFMs traceerbare, stap-voor-stap redeneerpaden die controleerbaar en transparant zijn.

De auteurs benadrukken dat hun aanpak de fundamentele trade-off in concept-gebaseerde modellen aanpakt: het risico dat een hoge nauwkeurigheid wordt behaald door informatielekkage in plaats van semantische verankering. Door de beschikbare conceptruimte voor elke beslissingsstap structureel te beperken, dwingen CFMs het model om te vertrouwen op relevante, gelokaliseerde concepten. Deze structurele isolatie vult bestaande regularisatietechnieken aan en biedt een robuust mechanisme om informatielekkage te verminderen, met name bij complexe, fijnmazige classificatietaken. Het werk suggereert dat hiërarchische bottlenecks menselijke cognitieve redeneerpatronen kunnen nabootsen, waardoor modelbeslissingen beter in lijn zijn met menselijke verwachtingen in veiligheidskritische toepassingen.

Erkende Beperkingen:
De auteurs merken op dat de interpreteerbaarheid afhankelijk blijft van de kwaliteit van de visuele-linguïstische uitlijning van de VLM en de conceptgeneratie door de LLM. Problemen zoals concepten die niet getrouw verankerd zijn in specifieke beeldregio's (hallucinaties) blijven bestaan, met name in gespecialiseerde domeinen. Daarnaast gaat de afhankelijkheid van een vaste boomhiërarchie ervan uit dat de relaties tussen klassen inherent hiërarchisch zijn, wat niet voor alle taken geldt. Toekomstig werk wordt gesuggereerd om adaptieve structuren en verbeterde visuele verankering te verkennen.