Technische Samenvatting: Schalen van Continue Lering naar 300+ Taken met Bi-Level Routing Mixture-of-Experts (CaRE)

1. Probleemstelling

Continue lering, met name Class-Incremental Learning (CIL), heeft als doel modellen in staat te stellen nieuwe taken sequentieel te leren zonder eerdere kennis te vergeten. Hoewel recente benaderingen die gebruikmaken van voorgeprogrammeerde modellen (Pre-trained Models, PTM's) en parameter-efficiënte fijnafstelling (Parameter-Efficient Fine-Tuning, PEFT) veelbelovend zijn, staan ze voor aanzienlijke uitdagingen bij schaling naar zeer lange taaksequenties (bijvoorbeeld honderden taken).

De geïdentificeerde kernmoeilijkheden zijn:

• Balans tussen Discriminerende en Compleet Representaties: Bestaande methoden hebben vaak moeite om representaties te genereren die zowel sterk discriminerend zijn voor specifieke klassen als voldoende compleet om complementaire kennis van semantisch gerelateerde historische taken te benutten. Grofkorrelige strategieën (bijvoorbeeld globale prompts) slagen er niet in om fijnkorrelige complementaire aanwijzingen effectief te benutten.
• Multi-level Lokale Beslissingen: Visuele modellen bezitten verschillende niveaus van abstractie over verschillende netwerkdieptes heen. Een statische routingstrategie faalt in het nemen van optimale lokale beslissingen op elke tussenliggende laag om selectief historische kennis op te nemen.
• Gebrek aan Schaalbare Benchmarks: De meeste bestaande CIL-benchmarks (bijvoorbeeld CIFAR-100, standaard ImageNet-subsets) zijn beperkt tot een klein aantal klassen (vaak <100), waardoor ze ongeschikt zijn voor het evalueren van prestaties op lange sequenties (100–300+ taken). Hierdoor blijft de schaalbaarheid van huidige methoden naar real-world, onbeperkte taakstromen grotendeels onontgonnen terrein.

2. Methodologie: CaRE en BR-MoE

De auteurs stellen CaRE (Continual Learner with efficient Bi-Level Routing Mixture-of-Experts) voor, gebouwd op een bevroren Vision Transformer (ViT)-ruggengraat. De kerninnovatie is de Bi-Level Routing Mixture-of-Experts (BR-MoE)-module, die in elke ViT-bouwsteen is geïntegreerd.

2.1 Architectuur Overzicht

Voor elke incrementele taak $t$ leert CaRE een triplet van parameter-efficiënte componenten binnen elke BR-MoE-module:

1. Class Perceptron ($C_t$): Extrahert class-niveau discriminerende informatie.
2. Router Network ($R_t$): Genereert gating-coëfficiënten voor expert-selectie.
3. Expert/Adapter ($E_t$): Een taak-specifieke adapter voor feature-transformatie.
   Daarnaast wordt een Shared Expert ($\bar{E}$) onderhouden, bijgewerkt via Exponential Moving Average (EMA) over alle taken om geconsolideerde cross-taak kennis te coderen.

2.2 Het Bi-Level Routing Mechanisme

Het routingproces vindt plaats in twee dynamische fasen voor elke input-feature $z_a$ op elke laag:

Fase 1: Dynamische Router Selectie

• De [CLS]-token van de input-feature wordt ingevoerd in alle geleerde class perceptrons $\{C_t\}$.
• Elke perceptron produceert een waarschijnlijkheidsverdeling over de klassen van zijn taak.
• De entropie van deze verdelingen wordt berekend. Lagere entropie geeft een hoger vertrouwen aan dat de input tot die taak behoort.
• Het systeem selecteert de Top-M router-netwerken die geassocieerd zijn met de laagste entropiewaarden (meest waarschijnlijke taken). Dit zorgt ervoor dat het model kennis ophaalt uit de semantisch meest relevante historische taken.

Fase 2: Dynamische Expert Routing

• Elke van de geselecteerde $M$ routers genereert gating-scores voor zijn geassocieerde set taak-specifieke experts (adapters).
• Voor elke router worden de Top-K experts met de hoogste gating-scores geactiveerd en geaggregeerd.
• De Shared Expert ($\bar{E}$) wordt altijd geactiveerd om de representatie te verrijken met algemene cross-taak kennis.
• De uiteindelijke output is de som van de geaggregeerde taak-specifieke features en de output van de shared expert.

2.3 Trainingsdoelen

• Classificatieverlies: Standaard angular penalty loss wordt toegepast op de laatste laag.
• Class Perceptron Supervisie: Om robuuste semantische begeleiding op tussenliggende lagen te waarborgen, wordt de class perceptron op elke laag $\ell$ niet alleen gesuperviseerd door zijn eigen classificatieverlies, maar ook door een KL-divergentie-verlies tegenover de softmax-waarschijnlijkheden van de laatste laag. Dit dwingt tussenliggende lagen om hoge-niveau semantische abstracties na te bootsen, waardoor effectieve lokale besluitvorming mogelijk wordt.

3. Belangrijkste Bijdragen

3.1 Het CaRE Framework

CaRE is de eerste continue leraar die is ontworpen om effectief te schalen naar zeer lange taaksequenties (100 tot 300+ niet-overlappende taken). Door een bi-level routingmechanisme te gebruiken, injecteert het dynamisch zowel discriminerende als complete representaties in elke tussenliggende netwerklaag, wat mogelijk maakt om op verschillende abstractieniveaus aangepaste kennisopvraging te realiseren.

3.2 OmniBenchmark-1K

Om het gebrek aan geschikte evaluatieprotocollen voor lange sequenties aan te pakken, introduceren de auteurs OmniBenchmark-1K. Deze dataset, gecureerd uit OmniBenchmark-V2, bevat 1.000 klassen over 21 visuele domeinen met ongeveer 190.000 afbeeldingen. Het is specifiek ontworpen om schaalbare CIL-evaluaties met honderden taken te faciliteren, en overwint de beperkingen van bestaande benchmarks zoals CIFAR-100.

3.3 Empirische Validatie

Uitgebreide experimenten tonen aan dat CaRE state-of-the-art PTM-gebaseerde CIL-methoden (zoals L2P, DualPrompt, TUNA, MOS, MIN) overtreft in diverse settings:

• Lange Sequenties: Op OmniBenchmark-1K behaalt CaRE aanzienlijke winsten in laatste nauwkeur ($A_B$) ten opzichte van baselines over 100, 151, 200 en 301 taaksettings. Bijvoorbeeld, het presteert beter dan TUNA met 8,23% en dan MIN met 8,68% in $A_B$ op respectievelijk 100 en 151 taken.
• Korte Sequenties: CaRE behoudt ook superieure prestaties op klassieke benchmarks (CIFAR-100, ImageNet-R, ImageNet-A, VTAB) met 5–20 taken, wat robuustheid over taaksequentielengtes aantoont.
• Efficiëntie: CaRE bereikt een gunstige afweging tussen prestaties en rekenkosten, met aanzienlijk minder trainbare parameters en lagere inferentielatentie dan methoden zoals MOS en TUNA, terwijl het hogere nauwkeurigheid levert.

4. Betekenis en Claims

Het artikel beweert dat CaRE een significante stap voorwaarts is in het praktisch maken van continue lering voor real-world scenario's waar datastromen niet-stationair zijn en taaksequenties potentieel onbeperkt zijn.

• Schaalbaarheid: Het werk wordt gepresenteerd als het eerste dat CIL succesvol schaalt naar meer dan 300 niet-overlappende taken terwijl het een duidelijke prestatiesuperioriteit behoudt.
• Validiteit van het Mechanisme: De auteurs betogen dat het bi-level routingmechanisme effectief het "stabiliteit-plasticiteit"-dilemma aanpakt door het model in staat te stellen dynamisch relevante historische kennis op te halen (via routerselectie) en complementaire features te aggregeren (via expertrouting) op elke laag.
• Impact op de Gemeenschap: Door zowel de CaRE-code als het OmniBenchmark-1K-dataset vrij te geven, hopen de auteurs verdere research te inspireren naar extreem lange taaksequenties, een domein dat eerder werd gehinderd door een gebrek aan geschikte benchmarks en schaalbare methoden.

Het artikel sluit af met een bescheiden erkenning dat hoewel CaRE schaalt naar 300+ taken, de modelcomplexiteit nog steeds lineair groeit met het aantal taken (door het toevoegen van nieuwe modules), en dat toekomstig werk zich mogelijk zal richten op verdere architecturale vereenvoudiging en het uitbreiden van deze protocollen naar vision-language modellen.