Technische Samenvatting: Prototype Latent World Model Replay voor Class-Incremental Learning

1. Probleemstelling

Class-Incremental Learning (CIL) vereist dat een model nieuwe categorieën leert over de tijd heen zonder toegang te hebben tot de ruwe data van eerdere taken. De primaire uitdaging is catastrofale vergetelheid (catastrophic forgetting), waarbij het leren van nieuwe klassen de beslissingsregio's en feature-representaties van oude klassen overschrijft. Bestaande oplossingen kampen met specifieke beperkingen:

• Regularisatie-gebaseerde methoden beperken veranderingen in parameters, maar bewaren niet expliciet de feature-distributies van oude klassen.
• Rehearsal-gebaseerde methoden slaan ruwe exemplaren op, wat vaak wordt beperkt door opslaglimieten, privacy of scenario's waarin oude data niet bewaard mag worden.
• Generatieve replay-methoden proberen oude afbeeldingen te synthetiseren, maar kunnen computationeel kostbaar en instabiel zijn, waarbij ze vaak artefacten produceren die de classifier-training schaden.

Het artikel stelt een centrale vraag: Kan een model oude klassen onthouden zonder oude afbeeldingen op te slaan of te regenereren? De auteurs argumenteren dat, hoewel ruwe afbeeldingen niet beschikbaar zijn, oude klassen nog steeds gerepresenteerd kunnen worden door hun semantische toestanden binnen een stabiele latente ruimte.

2. Methodologie: Prototype Latent World Model Replay

Het voorgestelde framework, Prototype Latent World Model Replay, ontkoppelt het leersysteem in twee afzonderlijke ruimtes om oude kennis te behouden terwijl er wordt aangepast aan nieuwe taken.

2.1 Kernarchitectuur

1. Stabiele Latente Toestandsruimte ($\mathcal{H}$):
   • Een bevroren, op ImageNet voorgetrainde encoder ($E$) brengt invoerafbeeldingen in kaart naar een latente toestandsruimte $\mathcal{H}$.
   • De encoder is bevroren tijdens het incrementele leren om ervoor te zorgen dat het coördinatensysteem vast blijft. Dit voorkomt dat de semantische betekenis van opgeslagen prototypen verschuift terwijl nieuwe taken worden geleerd.
2. Adaptieve Classificatieruimte ($\mathcal{Z}$):
   • Een lichtgewicht, trainbare adapter ($A$) brengt de stabiele latente toestanden $h \in \mathcal{H}$ in kaart naar een taak-adaptieve feature-ruimte $z \in \mathcal{Z}$.
   • Een classifier ($G$) opereert op $z$ om logits te produceren voor alle geobserveerde klassen.
   • Alleen de adapter en de classifier worden bijgewerkt tijdens het incrementele trainen, wat plasticiteit biedt voor nieuwe klassen terwijl de onderliggende "wereldgeheugen" stabiel blijft.

2.2 Prototype Latente Wereldgeheugen

In plaats van ruwe afbeeldingen op te slaan, slaat de methode oude klassen op als distributies over latente toestanden.

• Multi-Prototype Representatie: Voor elke klasse $c$ worden de latente toestanden $\{h_i\}$ geclusterd in $K$ groepen om intra-klasse variaties te vangen (bijv. verschillende poses of achtergronden).
• Distributie Modellering: Elk cluster $k$ wordt samengevat door een gemiddelde $\mu_{c,k}$ en een diagonale variantie $\sigma^2_{c,k}$.
• Geheugenstructuur: Het geheugen voor een klasse is een mengeling van deze prototype-gecentreerde distributies:
  $$p(h | c) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(h; \mu_{c,k}, \text{diag}(\sigma^2_{c,k}))$$
  Dit vormt een "latent wereldmodel" dat mogelijke semantische toestanden voor een klasse beschrijft zonder pixels te reconstrueren.

2.3 Trainingsprocedure

Wanneer een nieuwe taak $t$ arriveert:

1. Latent Replay: Voor elke oude klasse samplet het model synthetische latente toestanden $\tilde{h}_{old}$ uit de opgeslagen prototype-distributies. Deze toestanden worden direct in de adapter en classifier gevoerd (waarbij de bevroren encoder wordt omzeild).
2. Leren van Nieuwe Klassen: Realistische afbeeldingen van de huidige taak worden verwerkt door de bevroren encoder en de adapter.
3. Doelfunctie: De totale loss combineert drie termen:
   • $L_{new}$: Standaard cross-entropy voor nieuwe klassen.
   • $L_{replay}$: Cross-entropy voor de gesamplede oude latente toestanden, wat ervoor zorgt dat de classifier oude klasse-signalen behoudt.
   • $L_{con}$: Een supervised contrastive loss toegepast in de adapter-ruimte $\mathcal{Z}$. Deze term trekt features van dezelfde klasse (zowel echte nieuwe als gereplayde oude) naar elkaar toe en duwt features van verschillende klassen uit elkaar, wat expliciet de geometrische scheiding tussen oude en nieuwe klassen afdwingt.

3. Belangrijkste Bijdragen

1. Latent World Model Framework: Een geheugen-vrij CIL-framework dat oude klassen behoudt als distributies over stabiele voorgetrainde latente toestanden in plaats van ruwe data.
2. Prototype-gebaseerd Klassegeheugen: Een mechanisme dat elke klasse representeert met meerdere latente prototypen en varianties, wat multi-modale intra-klasse variatie vangt, gecombineerd met latente replay en supervised contrastieve scheiding.
3. Empirische Validatie: Uitgebreide evaluatie op Split CIFAR-100 die aantoont dat stabiele latente-toestand replay de primaire drijfveer is voor prestatiewinsten, waarbij contrastieve scheiding de beslissingsgeometrie verfijnt.

4. Experimentele Resultaten

De methode werd geëvalueerd op Split CIFAR-100 onder drie incrementele protocollen: Inc5 (5 nieuwe klassen per fase), Inc10, en Inc20.

• Prestaties vs. Fine-Tuning: Het volledige model (Ours-LWM+Con) presteert aanzienlijk beter dan standaard fine-tuning zonder het opslaan van ruwe exemplaren.
  • Inc5: Laatste nauwkeurigheid verbeterd van 4,55% (Fine-tuning) naar 31,64%.
  • Inc10: Laatste nauwkeurigheid verbeterd van 9,06% naar 37,06%.
  • Inc20: Laatste nauwkeurigheid verbeterd van 16,96% naar 43,10%.
• Vergelijking met Baselines:
  • De methode presteert beter dan geheugen-vrije baselines (bijv. LwF, FeTrIL, SimpleCIL) en is competitief met sterke exemplar-gebaseerde methoden (bijv. DER, iCaRL), ondanks het opslaan van nul ruwe afbeeldingen.
  • Het bereikt Gemiddelde Nauwkeurigheden (AvgAcc) van 45,86%, 52,19%, en 56,18% voor respectievelijk Inc5, Inc10 en Inc20.
• Ablatie-studies:
  • Stabiele H-ruimte: De meest significante winst komt voort uit de stabiele latente toestandsruimte. Het verwijderen hiervan (terugkeren naar standaard fine-tuning) zorgt ervoor dat de Laatste Nauwkeurigheid daalt naar enkel cijfers.
  • Contrastive Loss: Het toevoegen van de supervised contrastive term zorgt voor een marginale maar consistente verbetering in het scheiden van oude en nieuwe beslissingsgrenzen (bijv. +0,12% in Inc10 Laatste Nauwkeurigheid), wat de geometrie verfijnt in plaats van de primaire winst te drijven.

5. Betekenis en Claims

Het artikel claimt dat catastrofale vergetelheid kan worden verminderd door klasse-distributies te bewaren in een stabiele latente ruimte in plaats van alleen te vertrouwen op veranderlijke gewichten of het opslaan van ruwe data.

• Verschuiving in het Geheugenparadigma: Het werk suggereert een verschuiving van "exemplar-gebaseerd" continual learning (het opslaan van een subset van eerdere observaties) naar "state-distribution-gebaseerd" continual learning (het opslaan van een compact model van waar een klasse zich in de semantische ruimte bevindt).
• Gedragsevidens: Interpretatie-analyses (t-SNE visualisaties en taak-retentie heatmaps) laten zien dat, terwijl fine-tuning de nauwkeurigheid van oude taken doet instorten naar bijna nul, de voorgestelde methode een niet-nul nauwkeurigheid op oude taken behoudt. Dit geeft aan dat de opgeslagen latente distributies ook na het leren van vele nieuwe taken nog steeds querybaar en betekenisvol blijven.
• Bescheiden Omvang: De auteurs erkennen dat de methode afhankelijk is van de kwaliteit van de bevroren voorgetrainde encoder. Als de encoder er niet in slaagt om semantisch gelijkaardige klassen te scheiden, kunnen de latente distributies overlappen, wat de prestaties beperkt. De huidige implementatie gebruikt eenvoudige Gaussische sampling, wat ruimte laat voor toekomstige exploratie met expressievere dichtheidsestimators of zelf-gesuperviseerde objectives.

Concluderend toont het artikel aan dat een Prototype Latent World Model kan dienen als een compact, herbruikbaar geheugen voor continue herkenning, waarbij effectief een brug wordt geslagen tussen voorgetraind representatie-leren, latente replay en class-incremental recognition zonder de noodzaak van ruwe exemplar-opslag.