From Isolation to Integration: Building an Adaptive Expert Forest for Pre-Trained Model-based Class-Incremental Learning

Dit paper introduceert SAEF, een nieuwe methode die pre-getrainde modellen en adapters structureert in een semantisch geleide 'expert-forest' om klassen-incrementeel leren te verbeteren door kennis te delen tussen gerelateerde taken en vergeten te voorkomen.

De kern

Van Losse Spullen naar een Slimme Bibliotheek: Hoe een AI niet meer vergeet

Stel je voor dat je een enorme, super slimme robot hebt die alles over de wereld kan leren. Maar er is een groot probleem: als je de robot iets nieuws leert (bijvoorbeeld hoe je een 'fiets' herkent), vergeet hij vaak alles wat hij eerder wist (zoals hoe je een 'hond' herkent). Dit heet in de AI-wereld "catastrofaal vergeten".

Om dit op te lossen, hebben onderzoekers een slimme truc bedacht: ze laten de robot de basis kennis alvast in zijn hoofd houden (een "voorgeprogrammeerde" robot) en bouwen voor elk nieuw onderwerp een klein, lichtgewicht hulpje (een zogenaamde "adapter") bij.

Maar tot nu toe was dit een beetje als een rommelige berg met losse spullen. Als je de robot iets vraagt, moest hij alle hulpjes één voor één controleren om te zien welk één het beste werkte. Dat is traag en inefficiënt, alsof je in een enorme, ongeordende berg boeken moet zoeken om één specifiek verhaal te vinden.

De auteurs van dit paper hebben een nieuwe oplossing bedacht: SAEF. Laten we dit uitleggen met een paar leuke metaforen.

1. De Oude Manier: De Rommelige Berg (De "Losse Adapter Pool")

Stel je voor dat je een verzameling hebt van duizenden kleine, slimme assistenten. Elke assistent is gespecialiseerd in één ding: één weet alles over honden, één over auto's, één over bloemen.

• Het probleem: Als je de robot een foto van een hond laat zien, moet hij iedereen in de kamer roepen om te kijken of ze iets weten. Hij vraagt het aan de auto-expert, de bloemen-expert, de hond-expert... allemaal tegelijk. Dat kost veel tijd en energie, en het is verwarrend omdat de auto-expert misschien een verkeerd advies geeft.

2. De Nieuwe Manier: De Slimme Bibliotheek (SAEF)

De nieuwe methode, SAEF, pakt deze rommelige berg en bouwt er een georganiseerde bibliotheek van.

Stap 1: De Thema's Groeperen (Conceptuele Clustering)
In plaats van alle boeken willekeurig neer te zetten, groepeert SAEF ze eerst op thema.

• Alle boeken over dieren komen in de "Dieren-hoek".
• Alle boeken over voertuigen komen in de "Auto-hoek".
• Alle boeken over voedsel komen in de "Keuken-hoek".
  Dit gebeurt automatisch door te kijken naar de betekenis van de woorden (semantiek). Een "hond" en een "kat" horen bij elkaar, een "fiets" en een "vrachtwagen" ook.

Stap 2: De Boomstructuur Bouwen (Hiërarchische Constructie)
Nu wordt het nog slimmer. In elke hoek (bijvoorbeeld de Dieren-hoek) bouwt SAEF een boom.

• Aan de onderkant (de bladeren) staan de specifieke experts: de "Hond-expert" en de "Kat-expert".
• De robot maakt nu een nieuwe, iets bredere expert: de "Vierpotige-dier-expert". Deze is een samenvoeging van de hond- en kat-expert.
• Boven die staat nog een bredere: de "Dier-expert".
  Zo heb je een piramide van kennis. Van heel specifiek (onderaan) naar heel algemeen (bovenaan).

Stap 3: De Slimme Zoektocht (Adaptieve Inference)
Wanneer de robot nu een foto krijgt van een hond, hoeft hij niet meer iedereen te vragen.

1. Hij kijkt eerst naar de Hoofd-expert (de Global Expert) bovenaan de piramide. Die zegt: "Dit lijkt op een dier."
2. De robot gaat dan alleen de "Dieren-hoek" in.
3. Daar kijkt hij naar de "Vierpotige-dier-expert". Die zegt: "Ja, dit is een viervoeter."
4. Hij gaat verder naar beneden naar de "Hond-expert". Die zegt: "Ja, dit is zeker een hond!"
5. De robot combineert het advies van de Hoofd-expert, de Dier-expert en de Hond-expert. Omdat de Hond-expert het zekerst is, krijgt zijn antwoord het meeste gewicht.

Waarom is dit zo goed?

• Snelheid: De robot hoeft niet naar de "Auto-hoek" of de "Bloemen-hoek" te gaan. Hij zoekt alleen in de juiste tak van de boom. Dit is als het verschil tussen door een hele stad lopen om een adres te vinden, versus gewoon de juiste straat in te slaan.
• Geen Verwarring: Omdat de robot alleen luistert naar experts die bij het onderwerp horen, krijgt hij geen gekke adviezen van de verkeerde experts (zoals een auto-expert die denkt dat een hond een auto is).
• Geen Vergeten: Omdat elke expert zijn eigen kennis behoudt en ze slim worden samengevoegd, vergeet de robot nooit wat hij eerder leerde.

Conclusie

Kortom: SAEF verandert een rommelige berg met losse kennisstukjes in een georganiseerd, hiërarchisch bos van experts.

In plaats van blindelings alles te proberen, leert de robot om slim te zoeken. Hij kijkt eerst naar de grote lijnen en gaat dan pas dieper in op de details. Hierdoor is hij sneller, nauwkeuriger en vergeet hij niets meer, zelfs niet als hij duizenden nieuwe dingen leert. Het is alsof je van een stapel losse papiertjes bent gegaan naar een perfect georganiseerde, slimme bibliotheek waar je altijd het juiste boek op de juiste plek vindt.

Technische samenvatting

1. Het Probleem

Class-Incremental Learning (CIL) vereist dat modellen nieuwe klassen leren zonder de kennis van eerder geleerde klassen te vergeten (catastrofaal vergeten). Een populaire aanpak is het gebruik van Pre-trained Models (PTM's) waarbij de achterliggende backbone wordt bevroren en er voor elke nieuwe taak een lichtgewicht adapter wordt getraind.

De huidige beperkingen van deze methode zijn:

• Ongestructureerde kennis: Bestaande methoden behandelen de verzameling van adapters als een platte, ongeorganiseerde "pool".
• Gebrek aan semantische relatie: Er wordt geen gebruik gemaakt van de semantische relaties tussen taken (bijv. de gelijkenis tussen een "hond" en een "kat").
• Inefficiëntie: Tijdens inferentie moeten vaak alle adapters worden geënsembleerd of gezocht, wat leidt tot hoge rekentijd en suboptimale voorspellingen door ruis van irrelevante kennis.

2. Methodologie: Semantic-guided Adaptive Expert Forest (SAEF)

De auteurs stellen SAEF voor, een methode die geïsoleerde adapters organiseert in een gestructureerde, semantische hiërarchie (een "bos" van expertbomen). Het proces bestaat uit drie fasen:

A. Conceptuele Clustering (Semantische Groepering)

In plaats van alle taken willekeurig te behandelen, worden taken eerst gegroepeerd op basis van hun semantische verwantschap.

• Prototypes: Voor elke taak worden twee prototypes gegenereerd:
  • Semantisch prototype: Afgeleid van tekstuele beschrijvingen van de klassen (bijv. "een foto van een [KLASSE]") via een ingebouwde CLIP-text encoder.
  • Visueel prototype: De gemiddelde feature-vector van de trainingsdata, verwerkt door de PTM en de eerste adapter.
• Clustering: Met behulp van K-Means op de semantische prototypes worden taken gegroepeerd in conceptuele clusters (bijv. "Dieren", "Voertuigen"). Dit vormt de basis van het "bos".

B. Hiërarchische Constructie (Expert Bomen)

Binnen elke cluster wordt een gebalanceerde expert-baam (binary tree) opgebouwd via een bottom-up proces:

• Mergen: De twee meest visueel vergelijkbare adapters (gebaseerd op cosine-相似iteit van hun prototypes) worden samengevoegd tot een nieuwe "ouder"-expert.
• Parameter Mergen: De parameters van de nieuwe expert worden berekend door de parameters van de kinderen te combineren met een vectoroperatie die het dominante signaal behoudt (sign(θi + θj) ⊙ max(|θi|, |θj|)).
• Globale Expert: De wortels van alle bomen worden uiteindelijk samengevoegd tot één Globale Expert, die dient als startpunt voor inferentie.

C. Adaptieve Inferentie

Tijdens het voorspellen van een nieuwe invoer:

• Parallell Search: SAEF zoekt parallel door elke boom in het bos.
• Entropie-gestuurde Navigatie: Het pad door de boom wordt bepaald door te kiezen voor het kind dat de laagste voorspellingsentropie (hoogste zekerheid) heeft voor de huidige invoer.
• Fusie: De uiteindelijke voorspelling is een gewogen gemiddelde van de outputs van alle geactiveerde experts (de globale expert + de experts op de gevonden paden). De gewichten zijn gebaseerd op de betrouwbaarheid (negatieve entropie) van elke expert.

3. Belangrijkste Bijdragen

1. SAEF Architectuur: Een nieuwe methode die automatisch een semantische expert-hiërarchie bouwt uit geïsoleerde adapters, waardoor gestructureerde kennishergebruik mogelijk wordt.
2. Dynamische Inferentiestrategie: Een adaptieve zoekstrategie die gebruikmaakt van multi-path search en entropie-gestuurde fusie om alleen de meest relevante kennis te activeren, wat robuustheid garandeert.
3. State-of-the-Art (SOTA) Resultaten: Uitgebreide experimenten tonen aan dat SAEF consistent beter presteert dan bestaande methoden, met verbeteringen tot 1,34% in nauwkeurigheid.

4. Resultaten

De methode is getest op vier uitdagende benchmarks: CIFAR-100, ImageNet-R, ImageNet-A en ObjectNet.

• Nauwkeurigheid: SAEF behaalde de hoogste gemiddelde nauwkeurigheid ($\bar{A}$) en finale taaknauwkeurigheid ($A_T$) op alle datasets. Op ImageNet-R overtrof het de sterkste concurrent (SSIAT) met 1,34%.
• Vergelijking met Rehearsal: Zelfs zonder voorbeelden uit het verleden te bewaren (exemplar-free), presteerde SAEF beter dan sterke methoden die wel voorbeelden gebruiken (rehearsal-based), zoals FOSTER en iCaRL.
• Efficiëntie: Door de hiërarchische structuur en de vroege exit-mechanismen (via entropiedrempels), is de inferentie-tijd aanzienlijk sneller dan bij methoden die alle adapters moeten doorzoeken (tot wel 5,5x sneller dan full-ensemble methoden zoals EASE), terwijl de nauwkeurigheid behouden blijft.

5. Betekenis en Impact

Dit onderzoek markeert een verschuiving in het denken over CIL met PTM's:

• Van Isolation naar Integration: Het gaat van het behandelen van adapters als losse entiteiten naar het integreren van ze in een betekenisvolle structuur.
• Schalbaarheid: De methode biedt een schaalbare oplossing voor lange reeksen taken, waarbij kennishergebruik selectief en contextueel gebeurt in plaats van globaal en ruisgevoelig.
• Praktische Toepasbaarheid: De combinatie van hoge nauwkeurigheid, lage trainingskosten (door PEFT) en snelle inferentie maakt SAEF zeer geschikt voor resource-beperkte omgevingen zoals mobiele apparaten en robots.

Kortom, SAEF lost het probleem van "catastrofaal vergeten" en "inefficiënt zoeken" op door een semantisch gestructureerde expert-forest te bouwen die slimme kennisoverdracht mogelijk maakt tussen gerelateerde taken.