💻 computer science

Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning

Het artikel stelt Miles voor, een methode voor class-incremental learning die gebruikmaakt van pre-trained modellen door leerbare modules te ontkoppelen en een uitbreidbare subruimte met metric learning te benutten om effectief een balans te vinden tussen prestaties en computationele kosten, terwijl catastrofale vergetelheid wordt verminderd.

Oorspronkelijke auteurs: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren om nieuwe dingen te herkennen, zoals een nieuw type vogel of een zeldzame bloem, zonder dat hij alles wat hij al weet over honden en katten vergeet. Dit is de wereld van Class Incremental Learning (CIL). In het verleden, als je een robot een nieuw concept wilde leren, moest je vaak zijn hele brein vanaf nul opnieuw trainen, wat traag was en gevoelig voor "catastrofale vergetelheid" — waarbij de robot plotseling hoe hij een hond moest herkennen vergat, alleen maar omdat hij net over een nieuwe bloem had geleerd.

Om dit op te lossen, begonnen wetenschappers Pre-Trained Models (PTMs) te gebruiken. Denk aan deze robots als wezens die al jarenlang elk boek in de bibliotheek hebben gelezen en elke natuurdocumentaire hebben bekeken. Ze kennen de basis van de wereld al. De uitdaging nu is hoe je deze "expert"-robots nieuwe, specifieke vaardigheden leert zonder hun bestaande kennis te verstoren of ze te zwaar en traag te maken tijdens het draaien. De grote vraag is: hoe voegen we efficiënt nieuwe vaardigheden toe aan het brein van een expert, terwijl we de oude vaardigheden scherp houden terwijl we de nieuwe leren, zonder dat we een enorme bibliotheek aan oude foto's hoeven te herzien?

Maak kennis met MILES (Metric Learning with Expandable Subspace), een nieuwe methode voorgesteld door het onderzoeksteam van Kai Jiang en hun collega's. Zij merkten op dat, hoewel deze vooraf getrainde robots slim zijn, ze soms in de war raken wanneer ze nieuwe categorieën proberen te leren omdat de "mentale ruimte" waar ze ideeën opslaan, rommelig wordt. De oude ideeën en de nieuwe ideeën beginnen te overlappen, alsof je een nieuwe auto probeert te parkeren in een garage die al vol staat met oude auto's.

Om dit op te lossen, gebruikt MILES een slimme tweeledige strategie. Eerst creëert het een Subspace Prototype Projection (SPP). Stel je voor dat de robot een enorme, rommelige garage heeft (de feature space). MILES bouwt een reeks kleine, gespecialiseerde "mini-garages" of subruimtes voor elke nieuwe taak. Wanneer een nieuwe categorie arriveert, projecteert de robot zijn kenmerken in deze nieuwe mini-garage, waar hij de nieuwe items netjes naast een "prototype" (een perfect voorbeeld) van dat item kan organiseren, waardoor ze ver weg blijven van de andere, ongerelateerde items. Dit is als het hebben van een speciale plank voor je nieuwe postzegelcollectie, zodat deze niet door elkaar loopt met je oude muntencollectie.

Echter, alleen een plank bouwen is niet genoeg als de ogen van de robot (het vooraf getrainde model) de details van de nieuwe taak niet duidelijk genoeg zien. Daarom voegt MILES een Subspace Representation Extension (SRE) toe. Dit is alsof je de robot een speciale, lichtgewicht bril geeft voor elke nieuwe taak. Deze brillen vervangen de hoofdzicht van de robot niet; ze voegen slechts een beetje extra zoom en helderheid toe aan de tussenstappen van het zien, waardoor de robot de nieuwe taak veel beter kan leren zonder zijn hele brein te hoeven herbouwen.

Ten slotte merkten de onderzoekers een probleem op: soms wordt de robot te goed in de nieuwe taak en begint hij de oude te negeren, of wordt de "afstand" tussen items vreemd inconsistent. Om dit te stoppen, introduceerden zij Distance Regularization (DR). Denk hierbij aan een strikte bibliothecaris die ervoor zorgt dat de afstand tussen twee boeken op de plank altijd eerlijk en consistent is, ongeacht in welk gedeelte van de bibliotheek je je bevindt. Dit voorkomt dat de robot te geobsedeerd raakt door de nieuwe zaken en de balans van de hele bibliotheek vergeet.

Het team testte MILES op zes verschillende datasets, variërend van eenvoudige afbeeldingen zoals CIFAR-100 tot complexe real-world foto's zoals ImageNet-R. De resultaten waren indrukwekkend: MILES behaalde de hoogste nauwkeurigheid in de meeste settings en versloeg andere topmethoden. Zo bereikte het op de CIFAR-100 dataset met 10 taken een nauwkeurigheid van 93,93%, wat bijna 1% beter is dan de op één na beste methode, terwijl het zeer weinig vergat van wat het eerder had geleerd. De methode bleek ook efficiënt te zijn, waarbij het veel minder extra computerbronnen en geheugen gebruikte in vergelijking met andere benaderingen.

Kortom, MILES suggereert dat door de kracht van vooraf getrainde kennis te combineren met slimme, lichtgewicht toevoegingen die nieuwe informatie in toegewijde ruimtes organiseren en alles in balans houden, we AI kunnen leren continu te leren zonder te vergeten. Het is een stap naar het creëren van AI die kan groeien en zich kan aanpassen zoals een mens, door elke dag nieuwe dingen te leren zonder het verleden te verliezen.

Technische Samenvatting: MILES (Metric Learning with Expandable Subspace)

Probleemstelling
Class-Incremental Learning (CIL) heeft als doel om nieuwe concepten sequentieel te leren uit een datastroom zonder eerder geleerde categorieën te vergeten. Hoewel traditionele CIL-methoden vaak modellen vanaf nul trainen — wat leidt tot lange trainingstijden en slechte generalisatie — bieden Pre-trained Model (PTM)-gebaseerde benaderingen een veelbelovend alternatief door gebruik te maken van voorkennis. Bestaande PTM-gebaseerde CIL-methoden kampen echter met een kritieke afweging tussen prestaties en computationele efficiëntie. Methoden die dezelfde parameterruimte delen, lijden vaak aan catastrofaal vergeten, terwijl methoden die voor elke taak een nieuwe tak uitbreiden, aanzienlijke computationele kosten met zich meebrengen door meerdere forward propagaties of een lineaire toename in inferentietijd met het aantal taken. Bovsamen leiden het direct finetunen van PTM's over meerdere downstream-taken nog steeds tot ernstig vergeten, en bestaande methoden hebben vaak moeite om de balans te vinden tussen modelplasticiteit (het leren van nieuwe taken) en stabiliteit (het behouden van oude kennis) zonder de bevroren backbone te wijzigen of te overfitten op nieuwe taken.

Methodologie
De voorgestelde methode, MILES (Metric Learning with Expandable Subspace), pakt deze uitdagingen aan door leerbare modules te ontkoppelen van de pre-trained backbone en een efficiënte expansie van de parameterruimte te orkestreren via geleide optimalisatie. De architectuur bestaat uit een bevroren pre-trained backbone (bijv. Vision Transformer) en drie kerncomponenten:

Subspace Prototype Projection (SPP):
- Motivatie: Observaties wijzen uit dat ongeziene categorieën in PTM-kenmerksruimtes een clustering vertonen in plaats van dispersie. MILES maakt hier gebruik van door class-prototypes voor nieuwe categorieën te berekenen zonder training.
- Mechanisme: Voor elke nieuwe taak $t$ wordt een lichtgewicht, leerbare adapter ( $A_t$ ) na de backbone geplaatst. Deze adapter projecteert de originele kenmerken naar een taakspecifieke subspace.
- Structuur: De adapter maakt gebruik van een residueel ontwerp bestaande uit een full-dimensional MLP-tak en een progressieve down/up-projectietak (vergelijkbaar met een 1D U-Net opererend op kanaaldimensies). Deze structuur comprimeert kenmerken in een laag-dimensionale bottleneck en herstelt ze, wat taakspecifieke kenmerk-reparameterisatie mogelijk maakt terwijl de compatibiliteit met de bevroren backbone behouden blijft.
- Optimalisatie: Een center loss minimaliseert de afstand tussen intra-taak kenmerken en hun bijbehorende prototypes. Om overfitting op nieuwe taken te voorkomen, wordt een stability loss geïntroduceerd, die de afstand tussen pseudo-kenmerken van oude categorieën (gemodelleerd via Gaussische distributies) en de nieuwe taakprototypes maximaliseert.
Subspace Representation Extension (SRE):
- Motivatie: Het uitsluitend vertrouwen op de bevroren backbone beperkt het vermogen van het model om hoog-dimensionale semantiek van nieuwe data te leren, aangezien de backbone zich niet kan aanpassen aan nieuwe taakdistributies.
- Mechanisme: Een low-rank sub-netwerk ( $S_t$ ) wordt voor elke taak uitgebreid om intermediaire kenmerken van het pre-trained model te leren.
- Structuur: Het SRE sub-netwerk bootst de architectuur van de transformer-blocks van de backbone na met behulp van twee low-rank MLP-modules per block. De ene benadert de attention module, en de andere benadert het Feed-Forward Network (FFN).
- Integratie: De output van het SRE sub-netwerk wordt geconcateneerd met de originele backbone-kenmerken voordat deze naar de SPP-adapter worden gevoerd. Dit versterkt het representatievermogen van het model zonder de pre-trained gewichten te wijzigen of meerdere forward passes tijdens inferentie te vereisen (er is slechts één forward pass door de backbone nodig, gevolgd door parallelle verwerking van SRE-takken).
Distance Regularization (DR):
- Motivatie: Zonder verenigde restricties kan het model overfitten op specifieke taasklassen, wat resulteert in aanzienlijk kleinere afstanden voor nieuwe taken vergeleken met vorige taken, wat leidt tot bias.
- Mechanisme: Er worden twee regularisatietermen toegevoegd aan de loss-functie:
  - Task Average Distance Constraint: Zorgt ervoor dat de gemiddelde afstand van kenmerkvectoren tot irrelevante taakprototypes consistent blijft over de taken heen.
  - Class Average Distance Constraint: Handhaaft een consistente gemiddelde afstand tussen intra-taak kenmerken en hun prototypes over alle taasklassen heen.
- Doel: Deze termen balanceren het metriek-evenwicht over de taken, wat overfitting mitigeert en een consistente classificatiecriteria waarborgt.

Belangrijkste Bijdragen

Integratie van Metric Learning en PTMs: Het artikel integreert metric learning met pre-trained modellen in een CIL-setting, waarbij SPP wordt voorgesteld om de afstand tussen huidige taakkenmerken en bijbehorende prototypes binnen een nieuwe taasklasse te optimaliseren.
Subspace Representation Extension (SRE): Een nieuw low-rank sub-netwerk wordt geïntroduceerd om intermediaire kenmerken van de PTM te leren. Dit versterkt het representatievermogen van het model met minimale wijzigingen aan het pre-trained netwerk en vermijdt de lineaire toename in inferentietijd die geassocieerd wordt met multi-branch architecturen.
Distance Regularization (DR): Een regularisatiestrategie wordt voorgesteld om een consistente gemiddelde afstand voor elke taak te handhaven, wat effectief het overfitting-probleem oplost dat vaak wordt waargenomen in nieuwe taasklassen.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op zes benchmark-datasets: CIFAR-100, CUB-200, Omnibenchmark, ImageNet-A, ImageNet-R en FOOD-101. De evaluatie besloeg zowel korte ( $T=10$ ) als lange ( $T=50$ ) taaksequenties.

Prestaties: MILES behaalde state-of-the-art (SOTA) prestaties in diverse CIL-settings. Zo behaalde het op CIFAR-100 ( $T=10$ ) een gemiddelde nauwkeurigheid van 93,93% met een forgetting rate van 3,12%, waarmee het de runner-up (DGR) versloeg met 0,88% in nauwkeurigheid en 1,73% in forgetting rate. Vergelijkbare superieure resultaten werden waargenomen op CUB, Omnibenchmark en ImageNet-varianten.
Efficiëntie: De methode behoudt een lage computationele overhead. Het vereist slechts één forward pass door de bevroren backbone tijdens inferentie. Het aantal trainbare parameters is vergelijkbaar met de kleinste concurrerende methoden (bijv. FeCAM), en de Multiply-Accumulate Operations (MACs) zijn minimaal vergeleken met methoden die meerdere forward passes vereisen (zoals EASE) of uitgebreide parameter-updates.
Ablatie-studies: Experimenten bevestigden de effectiviteit van elke component. Het toevoegen van SPP verbeterde de prestaties ten opzichte van een baseline; het toevoegen van SRE versterkte het representatievermogen verder; en het toevoegen van DR verminderde consistent de forgetting rate en stabiliseerde de prestaties over verschillende hyperparameter-instellingen.
Robuustheid: De methode toonde robuustheid tegen verschillende leerordes en hyperparametercombinaties.

Betekenis en Claims
Het artikel claimt dat MILES succesvol een efficiënte expansie van de parameterruimte orkestreert door gebruik te maken van voorkennis binnen pre-trained kennis. Door leerbare modules te ontkoppelen en geleide optimalisatie via metric learning toe te passen, bereikt MILES een superieur evenwicht tussen prestaties en computationele uitgaven vergeleken met bestaande PTM-gebaseerde CIL-methoden. Het werk valideert dat het benutten van de clustering-aard van kenmerken in PTM-ruimtes, gecombineerd met lichtgewicht subspace-extensies en afstand-regularisatie, effectief continu leren mogelijk maakt zonder catastrofaal vergeten of excessieve computationele kosten.

Beperkingen en Toekomstig Werk
De auteurs erkennen dat de huidige studie zich richt op standaard class-incremental settings waarbij de pre-trained backbone overdraagbare representaties biedt en downstream-data binnen de doelgerichte semantische scope blijven. De robuustheid van de methode onder Out-of-Distribution (OOD) verschuivingen (in stijl, acquisitiecondities of semantische inhoud) is niet systematisch onderzocht. Toekomstig werk beoogt MILES uit te breiden naar OOD-bewuste CIL door het integreren van uncertainty-aware modellering en test-time shift correctie.

Technische Samenvatting: MILES (Metric Learning with Expandable Subspace)

Meer zoals dit