🤖 machine learning

CI-CBM: Class-Incremental Concept Bottleneck Model for Interpretable Continual Learning

Het artikel introduceert CI-CBM, een interpreteerbaar model voor continu leren dat door middel van conceptregularisatie en pseudo-conceptgeneratie catastrofale vergeting in klassen-incrementeel leren aanpakt zonder in te leveren op de nauwkeurigheid.

Oorspronkelijke auteurs: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De CI-CBM: Een Slimme, Begrijpelijke Leerling die nooit Vergeet

Stel je voor dat je een student hebt die elke dag een nieuw vak moet leren. Vandaag leert hij over vogels, morgen over auto's, en overmorgen over planten. Het probleem met de meeste slimme computerprogramma's (AI) is dat ze vaak "catastrofaal vergeten" (catastrophic forgetting). Zodra ze het vak "auto's" leren, vergeten ze alles wat ze over "vogels" wisten. Alsof je hersenen worden overschreven door de nieuwe informatie.

Bovendien zijn deze slimme programma's vaak een "zwarte doos". Ze geven het juiste antwoord, maar niemand weet waarom. Ze zeggen: "Dit is een auto," maar kunnen niet uitleggen: "Omdat ik wielen, een stuur en een motor zag."

De auteurs van dit paper hebben een oplossing bedacht genaamd CI-CBM. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. De "Concepten" als Legpuzzelstukjes

In plaats van dat de computer gewoon naar een plaatje kijkt en raadt, leert CI-CBM eerst concepten.

De Analogie: Stel je voor dat je een enorme legpuzzel hebt. In plaats van dat de computer het hele plaatje in één keer ziet, leert hij eerst wat de losse stukjes zijn: "een blauwe kop", "een gevorkte staart", "gele poten".
Hoe het werkt: De computer leert niet alleen wat een vogel is, maar welke eigenschappen een vogel heeft. Als hij een plaatje ziet met een "blauwe kop" en "gele poten", weet hij: "Aha, dit is een vogel!" Dit maakt het proces doorzichtig (interpreteerbaar). We kunnen precies zien welke stukjes (concepten) de computer gebruikt om tot een conclusie te komen.

2. Het Probleem: De Nieuwe Leraar

Nu komt het lastige deel: Continue Leer (Continual Learning).
Stel je voor dat je student elke maand een nieuwe leraar krijgt. De eerste leraar leerde over vogels. De tweede leraar komt en wil over vissen leren.

Het oude probleem: De nieuwe leraar schreeuwt zo hard over vissen, dat de student de regels voor vogels vergeet. Of, als we proberen de oude kennis te bewaren, wordt de student zo verward dat hij geen van beide goed meer kan.
De oplossing van CI-CBM: De auteurs hebben twee slimme trucjes bedacht om dit op te lossen.

Truc 1: De "Concepten-Regel" (Concept Regularization)

Stel je voor dat de student een notitieboekje heeft met de regels voor vogels. De nieuwe leraar (die over vissen leert) mag wel nieuwe regels toevoegen, maar hij mag niet de oude regels voor vogels veranderen.

In het kort: De computer zorgt ervoor dat de betekenis van de oude concepten (zoals "blauwe kop") hetzelfde blijft, zelfs als hij nieuwe concepten leert. Hij "regelt" dat de oude kennis niet wegdrijft.

Truc 2: De "Pseudo-Concepten" (De Fictieve Oefeningen)

Dit is de meest creatieve oplossing. Omdat de computer geen oude plaatjes van vogels meer mag bewaren (omdat dat veel ruimte kost en privacyproblemen kan geven), moet hij op een andere manier oefenen.

De Analogie: Stel je voor dat de student alleen nog maar plaatjes van vissen heeft. Hij wil niet vergeten hoe vogels eruitzien. Wat doet hij? Hij neemt een plaatje van een vis, en hij "schuift" het een beetje op in zijn hoofd. Hij zegt: "Oké, deze vis heeft een staart. Als ik die staart een beetje anders maak, lijkt hij op een vogel."
Hoe het werkt: De computer neemt de kenmerken van de nieuwe dingen (vissen) en verplaatst ze in zijn denkbeeldige ruimte naar de plek waar de oude dingen (vogels) zaten. Hij creëert fictieve oefeningen (pseudo-concepten).
Het resultaat: Hij kan nu oefenen met deze "fictieve vogels" om zijn kennis over vogels scherp te houden, zonder dat hij ooit een echt oud plaatje van een vogel heeft gezien.

Waarom is dit zo belangrijk?

Het is eerlijk: De computer vergeet bijna niets. In tests scoorde deze methode 36% beter dan andere methoden die probeerbaar te zijn.
Het is transparant: Je kunt altijd vragen: "Waarom denk je dat dit een vogel is?" en de computer kan antwoorden: "Omdat ik een blauwe kop en een gevorkte staart zag, en geen oranje poten."
Het werkt overal: Of je nu een superkrachtige computer hebt die al alles weet (voorgeladen), of een computer die vanaf nul begint, deze methode werkt in beide gevallen.

Conclusie

De CI-CBM is als een zeer slimme student die:

Altijd zijn notitieboekje bijhoudt (geen vergeten kennis).
Altijd kan uitleggen waarom hij een antwoord geeft (geen zwarte doos).
Slimme oefeningen maakt met wat hij nu heeft om te herinneren wat hij vroeger leerde (geen ruimte nodig voor oude foto's).

Dit is een grote stap voorwaarts voor AI die we kunnen vertrouwen en begrijpen, terwijl hij blijft leren zonder ooit te vergeten wat hij al wist.

Titel: CI-CBM: Class-Incremental Concept Bottleneck Model voor Interpretable Continual Learning

Publicatie: Transactions on Machine Learning Research (04/2026)
Auteurs: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng (UC San Diego)

1. Het Probleem

Continu Leren (Continual Learning) is een paradigma waarbij modellen geleidelijk nieuwe taken of klassen moeten leren zonder het eerder verworven kennis te vergeten. Een specifiek en uitdagend scenario hierin is Class Incremental Learning (CIL), waarbij het model in opeenvolgende fasen nieuwe sets van klassen leert die disjunct zijn van de eerder gezien klassen, zonder toegang te hebben tot de data van de vorige fasen tijdens het trainen van nieuwe fasen.

De twee hoofduitdagingen die in dit paper worden aangepakt zijn:

Catastrophic Forgetting: Het fenomeen waarbij het aanleren van nieuwe informatie leidt tot een drastische daling van de prestaties op eerder geleerde taken.
Het Trade-off tussen Interpretatie en Prestatie: Bestaande methoden om vergeten te voorkomen (zoals Exemplar-Free methoden) zijn vaak "black-box" modellen die moeilijk te interpreteren zijn. Bestaande interpretabele modellen (zoals Concept Bottleneck Models) presteren vaak slecht in CIL-scenario's of vereisen zware pre-training (bijv. op ImageNet), wat de essentie van het leren van nieuwe kennis beperkt.

Het doel is een model te ontwikkelen dat zowel interpretabel is (beslissingen zijn gebaseerd op menselijk begrijpelijke concepten) als robust in CIL-scenario's, zonder dat er voorbeelden (exemplars) van vorige klassen bewaard hoeven te worden.

2. Methodologie: CI-CBM

De auteurs introduceren CI-CBM (Class-Incremental Concept Bottleneck Model), een uitbreiding van het Label-free Concept Bottleneck Model (LF-CBM) dat specifiek is ontworpen voor Exemplar-Free Class Incremental Learning (EFCIL).

Het model bestaat uit drie kernmodules die samenwerken om concept-drift te voorkomen en bias in de classifier te verminderen:

A. Module I: Incrementele Uitbreiding van het Conceptenset

Bij elke nieuwe fase worden nieuwe concepten gegenereerd voor de nieuwe klassen met behulp van een Large Language Model (LLM, zoals GPT-3).
Deze concepten worden gefilterd op redundantie (vergelijking met bestaande concepten en klassenamen) en lengte.
Het conceptenset ( $C_t$ ) wordt dynamisch uitgebreid, maar alleen met unieke concepten om de modelgrootte beheersbaar te houden.

B. Module II: Voorkomen van Concept-Drift via Distillatie

In traditionele CIL wordt de feature-extractor vaak bevroren of aangepast, wat leidt tot het verlies van de betekenis van eerder geleerde concepten.
CI-CBM gebruikt een distillatie-verliesfunctie tijdens het trainen van de Concept Bottleneck Layer ( $W_C$ ).
De huidige output van het conceptnetwerk op de nieuwe data wordt vergeleken met de output van het vorige model (opgeslagen als "pseudo-outputs").
Dit zorgt ervoor dat de betekenis van de oude concepten behouden blijft terwijl het model zich aanpast aan nieuwe concepten.

C. Module III: Dynamische Adaptatie en Pseudo-Concept Generatie

Dit is de meest innovatieve component om het probleem van het ontbreken van data van oude klassen op te lossen:

Pseudo-Feature Generatie: Omdat er geen data is van oude klassen, worden "pseudo-features" gegenereerd. Dit gebeurt door de verdeling van de features van de nieuwste klas te verschuiven naar het centroid van een oude klas (gebaseerd op cosine-sequentie tussen centroids in de feature-ruimte).
- Formule: $\hat{f}(c_p) = f(c_n) - \mu(c_n) + \mu(c_p)$ , waarbij $c_p$ een oude klas is en $c_n$ de dichtstbijzijnde nieuwe klas.
Pseudo-Concepten: Deze gegenereerde pseudo-features worden geprojecteerd door de huidige concept-bottleneck ( $W_C$ ) om pseudo-concepten te creëren voor de oude klassen.
Training van de Sparse Predictor: De finale classifier ( $W_F$ $W_{F}$ ) wordt getraind met:
- Echte concepten voor de nieuwe klassen.
- Pseudo-concepten voor de oude klassen.
- Hierdoor kan het model de scheidslijnen tussen oude en nieuwe klassen onderhouden zonder ooit de originele data van de oude klassen te zien.

3. Belangrijkste Bijdragen

Eerste Robuuste Interpretabele CIL-model: CI-CBM is het eerste model dat zowel in pre-trained als non-pretrained (vanaf nul getraind) scenario's effectief werkt, zonder afhankelijk te zijn van zware pre-training op grote datasets zoals ImageNet.
Significante Prestatieverbetering: Het model overtreft bestaande interpretabele methoden aanzienlijk, met een gemiddelde nauwkeurigheidsstijging van 36% ten opzichte van eerdere interpretabele benaderingen in CIL.
Technische Innovaties:
- Introductie van concept regularisatie om de functionaliteit van oude concepten te behouden.
- Ontwikkeling van pseudo-concept generatie om de classifier te trainen op oude klassen zonder data-opslag.
Transparantie: Het model biedt zowel globale regels (welke concepten zijn belangrijk voor welke klas) als lokale uitleg (waarom werd dit specifieke beeld zo geclassificeerd) gedurende het hele leerproces.

4. Resultaten

De auteurs hebben CI-CBM uitgebreid geëvalueerd op zeven datasets: CIFAR-10, CIFAR-100, CUB (Birds), TinyImageNet, Places365, ImageNet-Subset en ImageNet.

Vergelijking met Interpretabele Baselines: CI-CBM presteert aanzienlijk beter dan state-of-the-art interpretabele modellen zoals ICICLE, IN2, CONCIL en CLG-CBM.
- Op CIFAR-100 en TinyImageNet werd een verbetering van respectievelijk ~35-40% en ~26% geboekt.
- Op CUB (een fijnmazig dataset) werd een verbetering van 43% geboekt.
Vergelijking met "Black-Box" Modellen:
- In niet-voorgeprogrammeerde scenario's (zonder ImageNet pre-training) bereikt CI-CBM prestaties die zeer dicht bij de beste "black-box" EFCIL-methoden liggen (binnen 7,5% verschil), wat de praktische bruikbaarheid aantoont.
- Het model presteert zelfs beter dan sommige prompt-based methoden (zoals L2P en DualPrompt) wanneer deze vanaf nul worden getraind.
Ablatie Studies:
- Zonder pseudo-concepten daalt de nauwkeurigheid van oude klassen naar nul.
- Concept regularisatie alleen is niet voldoende; de combinatie van beide is cruciaal.
- Het gebruik van SigLIP (in plaats van CLIP) voor het berekenen van concept-activaties levert betere resultaten op.

5. Betekenis en Conclusie

Dit paper is significant omdat het de barrière doorbreekt tussen interpretatie en prestatie in continu leren. Tot nu toe moesten onderzoekers vaak kiezen tussen een model dat goed presteerde maar onbegrijpelijk was, of een model dat interpreteerbaar was maar slecht presteerde in dynamische omgevingen.

CI-CBM bewijst dat het mogelijk is om menselijk begrijpelijke concepten te behouden en uit te breiden terwijl het model nieuwe kennis verwent, zonder dat er data van vorige taken hoeft te worden opgeslagen (privacyvriendelijk). Dit maakt het model zeer geschikt voor toepassingen waar transparantie en betrouwbaarheid cruciaal zijn, zoals in de gezondheidszorg, robotica en beveiliging, terwijl het tegelijkertijd schaalbaar blijft voor grote datasets. De code is open-source beschikbaar gesteld, wat de adoptie en verdere research in dit domein zal stimuleren.