Hierarchical Concept-based Interpretable Models

Deze paper introduceert HiCEMs, een nieuw model dat hiërarchische conceptrelaties expliciet modelleert en via een methode genaamd Concept Splitting automatisch fijnkorrelige subconcepten ontdekt zonder extra annotaties, waardoor interpreteerbare en nauwkeurige voorspellingen mogelijk worden op verschillende niveaus van detail.

De kern

Stel je voor dat je een zeer slimme, maar mysterieuze kok hebt. Deze kok kan de perfecte maaltijd bereiden (een taak uitvoeren) en doet dit met ongelooflijke precisie. Maar als je vraagt: "Waarom heb je precies deze ingrediënten gebruikt?", antwoordt de kok alleen maar met een raadselachtige code: "Omdat de latentie-vector 42,5 en 19,2 aangeeft dat het de juiste keuze is."

Dat is precies het probleem met moderne kunstmatige intelligentie (AI). Ze zijn slim, maar we begrijpen niet waarom ze bepaalde beslissingen nemen.

Deze paper introduceert een nieuwe manier om deze koks (AI-modellen) niet alleen slim, maar ook begrijpelijk te maken. Ze noemen hun oplossing HiCEM (Hierarchical Concept Embedding Models). Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het oude probleem: De "Losse" Ingrediënten

Vroeger hadden we modellen die wel konden uitleggen wat ze zagen, maar ze zagen het als losse, ongerelateerde feiten.

• Voorbeeld: Een model zegt: "Ik zie een groente" en "Ik zie een rood object".
• Het probleem: Het model snapt niet dat "rode paprika" een soort groente is. Het behandelt "groente" en "rood" als twee totaal losse dingen. Alsof de kok denkt dat "groente" en "rood" twee verschillende gerechten zijn, in plaats van dat het een onderdeel van één gerecht is.

2. De nieuwe oplossing: De "Ladder" van Concepten

De auteurs introduceren HiCEM. Denk hierbij aan een ladder of een stamboom.

• Bovenaan heb je een breed concept: "Groente".
• Daaronder hangen de specifieke takken: "Uien", "Wortels", "Paprika's".

In plaats van dat het model alleen "Groente" ziet, leert het nu ook de onderliggende takken. Als het model zegt "Dit is een groente", weten we nu ook welke groente het precies is. Dit maakt de uitleg veel rijker en menselijker.

3. De Magische Truc: "Concept Splitting" (Het Splitsen van Concepten)

Hier wordt het echt slim. Normaal gesproken moet je een kok (AI) van tevoren alles leren. Als je wilt dat hij "Uien" herkent, moet je hem duizenden foto's van uien laten zien met het label "Uien". Dat is duur en tijdrovend.

De auteurs bedachten een methode genaamd Concept Splitting.

• De Analogie: Stel je voor dat je een kok hebt die al heel goed "Groente" herkent, maar hij heeft nooit geleerd wat een "Ui" is.
• De Truc: De onderzoekers kijken naar de "hersenen" (de interne code) van deze kok. Ze zien dat er binnen het concept "Groente" een klein, verborgen hoekje zit dat altijd oplicht als er een ui in de soep zit, en een ander hoekje dat oplicht bij wortels.
• Het Resultaat: Ze kunnen deze verborgen hoekjes "ontdekken" en er nieuwe labels aan plakgen, zonder dat ze ooit een foto van een ui hebben getoond! Ze hebben de "Groente"-code gewoon opengesneden om de onderdelen te vinden.

Dit noemen ze Concept Splitting: het automatisch vinden van de kleine onderdelen in een groot concept.

4. Waarom is dit geweldig? (De Voordelen)

1. Minder werk: Je hoeft niet alles handmatig te labelen. Je geeft het model alleen de grote lijnen (bijv. "Groente"), en het model vindt zelf de kleine details (Uien, Wortels) op basis van zijn eigen ervaring.
2. Beter corrigeren: Stel dat de kok per ongeluk denkt dat er een "Ui" in de soep zit, terwijl het eigenlijk een "Knoflook" is. Omdat het model nu de ladder kent, kun je als mens ingrijpen: "Nee, dat is geen ui, dat is knoflook." Omdat het model de structuur begrijpt, past het zijn hele beslissing hierop aan en wordt de maaltijd (het eindresultaat) beter.
3. Betrouwbare uitleg: In plaats van een raadselachtige code, krijg je een duidelijke uitleg: "Ik heb dit gerecht gekozen omdat er groenten in zitten, en specifiek omdat ik ui en wortel heb herkend."

Samenvattend

Deze paper zegt eigenlijk: "Laten we AI-modellen niet behandelen als zwarte dozen, maar als lerende koks die een hiërarchie van kennis hebben."

Ze hebben een manier gevonden om die koks te laten ontdekken dat "Groente" niet één ding is, maar een familie van specifieke groenten. En het beste van alles? Ze hoeven niet alles van tevoren te leren; ze kunnen de kennis zelf uit hun eigen ervaring halen. Dit maakt AI niet alleen slimmer, maar ook eerlijker en makkelijker te vertrouwen.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Hierarchical Concept-Based Interpretable Models" (HiCEMs), gepubliceerd bij ICLR 2026, in het Nederlands.

Probleemstelling

Moderne diepe neurale netwerken (DNN's) bereiken hoge nauwkeurigheid, maar blijven een "black box" vanwege de ondoorzichtigheid van hun latente representaties. Dit bemoeilijkt het begrijpen, debuggen en debiasen van modellen.

• Concept Embedding Models (CEM's): Deze modellen lossen dit deels op door invoer te mappen naar menselijk interpreteerbare concepten (bijv. "grootte" of "kleur") die als tussenlaag dienen voor de taakvoorspelling. Echter, CEM's behandelen concepten als onafhankelijke entiteiten en modelleren geen relaties tussen concepten. In de realiteit zijn concepten vaak hiërarchisch gerelateerd (bijv. "bevat groenten" omvat sub-concepten als "bevat uien" en "bevat wortelen").
• Aanvullende beperking: CEM's vereisen uitgebreide, handmatige annotaties van concepten tijdens het trainen, wat kostbaar en tijdrovend is. Bestaande methoden voor conceptontdekking negeren vaak deze hiërarchische relaties en bieden geen mechanismen voor menselijke interventie op verschillende niveaus van granulariteit.

Methodologie

De auteurs introduceren twee kerninnovaties om deze beperkingen op te lossen: Concept Splitting en Hierarchical Concept Embedding Models (HiCEMs).

1. Concept Splitting (Ontdekking van Sub-concepten)

Deze methode ontdekt automatisch fijnmazige sub-concepten uit de embedding-ruimte van een reeds getrainde CEM, zonder extra annotaties te vereisen.

• Werking:
  1. Een CEM wordt getraind op een dataset met hoog-niveau conceptlabels (bijv. "bevat groenten").
  2. De concept-embeddings worden geëxtraheerd en gesplitst in twee groepen: waar het concept actief is (positief) en waar het inactief is (negatief).
  3. Er worden Sparse Autoencoders (SAE's) getraind op deze gesplitste embeddings. SAE's leren een woordenboek van features door een sparsiteitsbeperking op te leggen.
  4. De geactiveerde features van de SAE worden gebruikt om nieuwe, fijnmazige labels te genereren (bijv. "bevat uien" als sub-concept van "bevat groenten").
  5. Deze nieuwe labels worden gebruikt om een HiCEM te trainen.
• Alternatief: Het paper beschrijft ook een clustering-gebaseerde variant (gebruikmakend van het TURTLE-framework) als alternatief voor SAE's, maar concludeert dat SAE's computatie-efficiënter zijn.

2. HiCEM Architectuur

HiCEM is een model dat expliciet hiërarchische relaties tussen concepten en sub-concepten modelleert.

• Structuur: Voor elk hoog-niveau concept leert het model twee embeddings (actief en inactief). In tegenstelling tot standaard CEM's, worden deze embeddings niet direct gebruikt, maar doorlopen ze een sub-concept module.
• Sub-concept Modules: Deze modules genereren embeddings voor de specifieke sub-concepten. De uiteindelijke embedding van het ouderconcept is een gewogen som van de sub-concept embeddings, waarbij de gewichten worden bepaald door de voorspelde waarschijnlijkheid van elk sub-concept.
• Interventies: Het model ondersteunt interventies op zowel het hoog-niveau (ouderconcept) als het sub-niveau. Als een expert een sub-concept corrigeert (bijv. "dit bevat geen uien"), wordt de embedding van het ouderconcept automatisch bijgewerkt, wat leidt tot een aangepaste taakvoorspelling.

Belangrijkste Bijdragen

1. Concept Splitting: Een methode om menselijk interpreteerbare sub-concepten te ontdekken uit de embedding-ruimte van een CEM zonder extra ground-truth annotaties.
2. HiCEM: Een nieuw modeltype dat hiërarchische conceptrelaties expliciet modelleert, waardoor fijnmazige verklaringen en multi-level interventies mogelijk zijn.
3. PseudoKitchens Dataset: Een nieuwe, synthetische dataset van fotorealistische 3D keuken-renderings met perfecte ground-truth annotaties en ruimtelijke localisatie, ontworpen om concept-based modellen rigoureus te evalueren.
4. Empirisch Bewijs: Uitgebreide experimenten op zes datasets (waaronder MNIST-ADD, CUB, AwA2, ImageNet en PseudoKitchens) en een gebruikersstudie.

Resultaten

De evaluatie bevestigt de drie onderzoeksvragen van het paper:

• RQ1 (Interpreteerbaarheid): Concept Splitting ontdekt menselijk interpreteerbare sub-concepten die niet tijdens het trainen aanwezig waren. In een gebruikersstudie met ImageNet bevestigden gebruikers dat de automatisch gegenereerde sub-conceptnamen semantisch coherent waren met hun ouderconcepten (67,9% overeenkomst vs. 4% bij een controlegroep).
• RQ2 (Nauwkeurigheid): HiCEMs presteren qua taaknauwkeurigheid en voorspelling van de oorspronkelijke (hoog-niveau) concepten even goed als standaard CEM's en andere baselines (zoals CBM en LF-CBM). Het toevoegen van hiërarchie kost geen nauwkeurigheid.
• RQ3 (Interventies): Interventies op de ontdekte sub-concepten leiden tot verbeteringen in de taaknauwkeurigheid. Interessant genoeg zijn interventies op sub-concepten in HiCEMs effectiever dan in standaard CEM's, vooral op datasets zoals CUB en PseudoKitchens. Dit toont aan dat het modelleren van hiërarchie de robuustheid van interventies verhoogt.

Betekenis en Conclusie

Dit werk vormt een belangrijke stap in de interpretabele AI (XAI) door de kloof te overbruggen tussen de vereiste van menselijke interpreteerbaarheid en de complexiteit van real-world conceptrelaties.

• Efficiëntie: Het reduceert de afhankelijkheid van dure, handmatige conceptannotaties door automatisch sub-concepten te ontdekken.
• Flexibiliteit: Het stelt experts in staat om modellen te corrigeren op verschillende niveaus van abstractie (van "bevat groenten" tot "bevat uien"), wat dichter bij menselijk redeneren ligt.
• Toekomst: Hoewel de huidige methode zich richt op twee niveaus van hiërarchie en SAE's soms geen betekenisvolle concepten vindt, opent dit onderzoek de weg voor diepere hiërarchische modellen en verdere integratie van menselijke feedback in het leerproces.

Samenvattend tonen HiCEMs en Concept Splitting aan dat het mogelijk is om nauwkeurige, interpreteerbare modellen te bouwen die de complexe, hiërarchische structuur van concepten in de echte wereld respecteren, zonder de prestaties te offeren.