Digging Deeper: Learning Multi-Level Concept Hierarchies

Dit paper introduceert Multi-Level Concept Splitting (MLCS) en Deep-HiCEMs om diepe, mensinterpreteerbare concepthiërarchieën te ontdekken uit slechts top-niveau supervisie, waardoor modellen zowel nauwkeuriger worden als beter interpreteerbaar en manipuleerbaar op verschillende abstractieniveaus.

De kern

Stel je voor dat je een kunstwerk bekijkt en vraagt: "Waarom vind jij dit een mooi schilderij?" Een slimme computer zou kunnen antwoorden: "Omdat er een blauwe lucht is en een groene boom." Dit is wat concept-based AI doet: het probeert zijn beslissingen uit te leggen met woorden die mensen begrijpen, in plaats van met onbegrijpelijke wiskunde.

Maar tot nu toe hadden deze systemen een groot probleem: ze zagen de wereld als een platte lijst. Voor hen was een "rode appel" en een "groene appel" gewoon twee losse, ongerelateerde dingen. Ze wisten niet dat ze allebei "appels" zijn, en dat appels weer een soort "fruit" zijn. De menselijke geest werkt echter met hiërarchieën (ladders van begrippen), en computers misten die structuur.

Deze paper introduceert een nieuwe manier om AI te leren denken in lagen, zonder dat we duizenden handgeschreven labels nodig hebben. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Platte" Lijst

Stel je voor dat je een kind leert over dieren. Als je zegt: "Dit is een hond," en "Dit is een kat," leert het kind twee losse feiten. Maar als je zegt: "Dit is een hond, en honden zijn een soort zoogdier," en "Deze hond is een Golden Retriever," krijgt het kind een boomstructuur in zijn hoofd.

Oude AI-modellen hadden alleen de top van de boom (bijv. "hond"). Ze zagen de takken (soorten honden) en de bladeren (de specifieke vacht van deze ene hond) niet. Om dit te leren, moesten mensen vaak duizenden voorbeelden handmatig labelen, wat extreem veel werk is.

2. De Oplossing: De "Matrioska" van Concepten

De auteurs van dit paper (Oscar, Mateo en Mateja) hebben twee nieuwe tools bedacht om dit op te lossen: MLCS en Deep-HiCEM.

De Ontdekker: MLCS (Multi-Level Concept Splitting)

Stel je voor dat je een grote, onontgonnen mijn hebt (de AI die al iets weet, maar niet alles). Je hebt alleen een ruwe kaart met de naam van de mijn ("Goud").

• De oude methode: Je graaft één laag diep en vindt wat goudklompjes.
• De nieuwe methode (MLCS): Dit werkt als een matrioska-pop of een verfijnde vergrootglas. De AI begint met het grote concept ("Goud"). Vervolgens kijkt de AI zelf naar de details en zegt: "Oh, wacht eens, dit goud is niet allemaal hetzelfde. Dit stukje is 'ruw goud', en dat stukje is 'gezuiverd goud'." En zelfs diep onder dat 'gezuiverde goud' ziet de AI nog subtiere verschillen, zoals "goud met een blauwe glans".

Het mooie is: de AI doet dit zelf. Mensen hoefden alleen maar het grote woord ("Goud") te geven. De AI ontdekte de sub-categorieën ("ruw", "gezuiverd", "blauw") helemaal alleen door naar de patronen te kijken.

De Bouwer: Deep-HiCEM (De Diepe Hiërarchische Boom)

Nu we deze nieuwe, diepe lagen van begrippen hebben ontdekt, moeten we ze in een model bouwen.

• De oude modellen waren als een eendimensionale ladder: je kon alleen omhoog of omlaag op één trede.
• De nieuwe modellen (Deep-HiCEM) zijn als een gigantische, complexe boom of een organisch netwerk. Je kunt nu ingrijpen op elk niveau.

3. Waarom is dit zo cool? (De "Knoppen")

Het echte toverwerk zit in het ingrijpen (intervening).

Stel je voor dat de AI denkt: "Dit is een hond." Maar jij, als mens, kijkt erop en zegt: "Nee, wacht, kijk goed. Dat is geen hond, dat is een wolf."

• In een oud model zou de AI misschien verwarren raken of je moeten vertrouwen op een heel ander niveau.
• In dit nieuwe model (Deep-HiCEM) kun je op de knop "Wolf" drukken. Omdat het model een boomstructuur heeft, weet het automatisch: "Als dit een wolf is, dan is het ook een 'hondachtige', maar geen 'hond'." De AI past zijn hele redenering direct aan op basis van jouw correctie.

Dit werkt op elk niveau:

1. Je kunt zeggen: "Dat is geen fruit." (Hoog niveau)
2. Je kunt zeggen: "Dat is geen appel." (Midden niveau)
3. Je kunt zeggen: "Dat is geen rode appel, maar een groene." (Diep niveau)

De AI begrijpt de relaties tussen deze niveaus en past zijn eindoordeel (bijv. "Is dit een gezond ontbijt?") direct aan.

4. Wat zeggen de resultaten?

De auteurs hebben dit getest op verschillende dingen, van het herkennen van vogels tot het analyseren van keukeningrediënten (waar ze "appels" onderscheidden in "rode appels" en "groene appels").

• Het werkt: De AI ontdekte deze sub-categorieën die de mensen niet eens hadden opgegeven.
• Het is slim: De AI bleef net zo goed presteren in zijn oorspronkelijke taak (bijv. een vogel herkennen) als de oudere modellen.
• Het is bruikbaar: Als mensen ingrepen op deze nieuwe, diepe concepten, werd de AI vaak nog slimmer en nauwkeuriger.

Samenvatting in één zin

Deze paper leert AI om niet alleen te kijken naar de "hoofdzaak" (zoals "fruit"), maar om zelf de "takken en bladeren" (zoals "rode appel") te ontdekken en te begrijpen, zodat we met de AI kunnen praten op elk niveau van detail en haar redenering kunnen sturen alsof we samen aan een boom werken in plaats van een lijst afvinken.

Het is een stap in de richting van AI die niet alleen slim is, maar ook begrijpelijk en aanpasbaar voor mensen.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Digging Deeper: Learning Multi-Level Concept Hierarchies" (ICLR 2026 Workshop), geschreven in het Nederlands.

Probleemstelling

Concept-based modellen (zoals Concept Bottleneck Models en Concept Embedding Models) zijn ontworpen om neurale netwerken interpreteerbaar te maken door voorspellingen te verklaren aan de hand van menselijk begrijpelijke concepten (bijv. "rood", "groot"). Echter, de bestaande methoden hebben twee fundamentele beperkingen:

1. Vlakke structuur: Ze behandelen concepten als onafhankelijke en vlakke entiteiten, terwijl real-world concepten vaak hiërarchisch en onderling gerelateerd zijn (bijv. een "rode appel" is een sub-concept van "appel", wat op zijn beurt een sub-concept is van "fruit").
2. Aanvraag voor exhaustieve annotatie: Traditionele modellen vereisen uitgebreide annotaties voor elk concept, wat kostbaar en tijdrovend is.

Recent werk introduceerde Hierarchical Concept Embedding Models (HiCEMs) en Concept Splitting om hiërarchieën te modelleren en sub-concepten te ontdekken met slechts grove (top-level) annotaties. Deze methoden zijn echter beperkt tot platte hiërarchieën (slechts één laag sub-concepten onder het hoofdconcept). Ze kunnen geen diepere structuren (sub-sub-concepten) ontdekken of interventions op meerdere abstractieniveaus toelaten.

Methodologie

De auteurs stellen twee nieuwe componenten voor om deze beperkingen te overwinnen: Multi-Level Concept Splitting (MLCS) en Deep-HiCEM.

1. Multi-Level Concept Splitting (MLCS)

MLCS is een methode om multi-level concept-hiërarchieën te ontdekken uit alleen top-level supervisie.

• HiSAE (Hierarchical Sparse AutoEncoder): In plaats van een enkele Sparse Autoencoder (SAE) te gebruiken (zoals bij eerdere Concept Splitting), gebruikt MLCS een HiSAE.
  • De HiSAE leert gestructureerde, schaarse features op meerdere niveaus tegelijkertijd.
  • Top-level: Identificeert kandidaat-sub-concepten (bijv. "appel").
  • Sub-level: Is "gegate" door het top-level; voor elke geactiveerde top-latent leert een sub-encoder fijnere verfijningen (bijv. "rode appel").
• Dit proces kan in theorie recursief worden uitgebreid, maar in dit werk wordt het beperkt tot twee ontdekte niveaus (sub-concepten en sub-sub-concepten) om evaluatie te vereenvoudigen.
• Ontdekte concepten worden geïnterpreteerd via prototypes (trainingsvoorbeelden die het concept sterk activeren), zodat experts semantiek kunnen toekennen.

2. Deep-HiCEM Architectuur

Deep-HiCEM is een modelarchitectuur die ontworpen is om de door MLCS ontdekte hiërarchieën te vertegenwoordigen en te benutten.

• Boomstructuur: Concepten zijn georganiseerd in een boom. Elke knoop (concept) heeft positieve en negatieve sub-concepten. Een sub-concept kan alleen aanwezig zijn als het ouderconcept aanwezig is.
• Embedding Generatie:
  • Voor elk top-level concept leert het model twee embedding-variabelen: een voor de actieve staat ($\hat{c}^+$) en een voor de inactieve staat ($\hat{c}^-$).
  • Deze embeddingen worden doorgegeven aan sub-concept modules (positief en negatief). Deze modules voegen informatie toe over de sub-concepten en hun nakomelingen aan de embedding.
  • De uiteindelijke concept-embedding is een gewogen mix van de actieve en inactieve embeddingen, gebaseerd op de voorspelde waarschijnlijkheid van het concept.
• Interventie: Het model ondersteunt interventies op elk niveau van de hiërarchie. Als een mens een sub-concept corrigeert, wordt dit propagatie naar het ouderconcept (bijv. als "rode appel" aanwezig is, moet "appel" ook aanwezig zijn).

Belangrijkste Bijdragen

1. MLCS: Een methode om multi-level concept-hiërarchieën te ontdekken zonder extra annotaties, uitsluitend gebaseerd op top-level supervisie.
2. Deep-HiCEM: Een architectuur die willekeurig diepe concept-hiërarchieën kan modelleren en menselijke interventies toelaat op elk niveau van abstractie.
3. Validatie: Het aantonen dat deze methode interpreteerbare concepten kan ontdekken die tijdens het trainen niet aanwezig waren, zonder in te boeten aan taakprestaties, en dat interventies op deze concepten de prestaties kunnen verbeteren.

Resultaten

De auteurs evalueerden hun aanpak op vijf datasets, waaronder MNIST-ADD, CUB (vogels), AwA2 (dieren) en een aangepaste synthetische dataset PseudoKitchens-2 (specifiek ontworpen voor hiërarchische ontdekking).

• Interpreteerbaarheid (RQ1): MLCS slaagt erin menselijk interpreteerbare hiërarchieën te ontdekken. De ROC-AUC scores voor de ontdekte concepten (zowel sub- als sub-sub-concepten) waren consistent hoog en lagen slechts enkele procentpunten onder die van HiCEMs met enkelvoudige Concept Splitting.
• Taaknauwkeurigheid (RQ2): Deep-HiCEMs behaalden vergelijkbare taaknauwkeurigheden als standaard HiCEMs en andere state-of-the-art baselines (zoals CBM en CEM). Het ontdekken van diepere hiërarchieën leidde niet tot een daling in prestaties.
• Interventie (RQ3): Interventies op ontdekte concepten konden de taaknauwkeurigheid verbeteren. Hoewel sommige interventies geen effect hadden of de prestaties licht verlaagden (vooral op PseudoKitchens-2, mogelijk door bias in de ontdekte labels), toonden de resultaten aan dat veel ontdekte concepten "actionable" zijn. Interventies op de oorspronkelijke top-level concepten werkten even goed in Deep-HiCEMs als in HiCEMs.

Betekenis en Conclusie

Dit werk is een belangrijke stap richting betrouwbare en expressieve AI-interpreteerbaarheid.

• Het doorbreekt de beperking van vlakke conceptmodellen door hiërarchische relaties expliciet te modelleren.
• Het verlaagt de kosten voor annotatie aanzienlijk, omdat het alleen top-labels vereist om complexe, multi-level conceptstructuren te leren.
• Het biedt meer granulaire controle over modelredenering via interventies op verschillende abstractieniveaus.

Hoewel er nog uitdagingen zijn (zoals de consistentie van interventies en de garantie dat SAE's altijd betekenisvolle concepten vinden), biedt de combinatie van MLCS en Deep-HiCEM een robuust raamwerk voor het bouwen van modellen die zowel nauwkeurig als diep interpreteerbaar zijn.