Technische Samenvatting: Neural Subspace Reallocation (NSR)

1. Probleemstelling

Continual learning (CL) staat voor de structurele uitdaging van catastrofale vergetelheid (catastrophic forgetting), waarbij gradiënt-updates voor nieuwe taken de parameters die eerdere kennis coderen, overschrijven. Bestaande oplossingen lijden aan specifieke beperkingen:

• Regularisatiemethoden (bijv. EWC, SI) accumuleren restricties en verzadigen uiteindelijk.
• Replay-methoden vereisen groeiende geheugenbuffers van ruwe data.
• Architectuurmethoden groeien ofwel onbegrensd, of blokkeren permanent de capaciteit.
• Recente LoRA-gebaseerde benaderingen (bijv. O-LoRA, PEARL, PLAN) alloceren low-rank subspaces per taak, maar hanteren doorgaans geheugenloze allocatieregels. Deze regels kunnen niet herkennen wanneer een taak terugkeert, noch kunnen ze eerder succesvolle configuraties hergebruiken, waardoor het model gedwongen wordt om vanuit het niets te "herontdekken".

Het kernprobleem is het gebrek aan een historie-bewust mechanisme dat een vast parameterbudget beheert als een raadpleegbaar geheugen, in plaats van als een monolithische bron.

2. Methodologie: Neural Subspace Reallocation (NSR)

NSR herformuleert continual learning als retrieval-gebaseerd subspace-geheugenbeheer over een bevroren backbone. De trainbare componenten zijn Low-Rank Adaptation (LoRA) modules georganiseerd in groepen. De methode werkt volgens een terugkerende vierstapscyclus:

1. Comprimeren (Synaptische Consolidatie): Na het trainen van een taak worden actieve LoRA-modules ($\Delta W = BA$) gecomprimeerd via Singular Value Decomposition (SVD). De rang wordt verminderd tot $\lceil \rho r \rceil$, waarbij de dominante singuliere richtingen behouden blijven terwijl capaciteit vrijkomt. Dit bootst synaptische pruning na.
2. Reserveren (Selectieve Dormantie): De gecomprimeerde LoRAs, hun allocatiemaskers, taak-embeddings, classifier heads en soft targets worden opgeslagen in een TaskKnowledgeBank.
3. Herinneren (Reactivatie & Transfer): Voor een nieuwe of terugkerende taak berekent het systeem een taak-embedding en haalt de top-$K$ meest gelijkaardige taken uit het verleden op uit de Bank via cosine similarity.
   • Exact Herstel: Als een taak terugkeert, wordt de specifieke opgeslagen LoRA en het masker opgehaald.
   • Gewogen Transfer: Als een taak gerelateerd maar nieuw is, worden LoRAs via similarity-weighted averaging een 'warm start' gegeven.
4. Heralloceren (Subspace Selectie): Het actieve subspace-masker wordt ingesteld op basis van de opgehaalde informatie. Het systeem is controller-agnostisch: het kan een eenvoudige similarity-gebaseerde regel gebruiken (het kopiëren van het masker van de meest gelijkaardige taak) of een geleerde reinforcement learning (RL) controller. De aanbevolen standaard is de parameter-vrije similarity-regel.

Distillatie: Tijdens het trainen beschermt een knowledge distillation loss ($L_{KD}$) eerdere taken door gebruik te maken van soft targets uit de Bank.

3. Theoretische Analyse

Het artikel biedt een theoretisch bewijs (Theorem 1) met betrekking tot cyclische taakomgevingen (waar taken zich herhalen over $M$ cycli).

• Claim: Elke geheugenloze policy ($\pi_{mem}$) veroorzaakt een cumulatief regret van $\Omega(T(M-1)\Delta_{switch})$ ten opzichte van een historie-bewuste policy ($\pi_{hist}$) ondersteund door de Bank.
• Mechanisme: Een geheugenloze policy kan een terugkerende taak niet identificeren en moet een cold-start ondergaan (wat $\Omega(1/\epsilon^2)$ stappen vereist). Een historie-bewuste policy identificeert de taak via retrieval en biedt een warm-start (wat $O(1)$ stappen vereist).
• Implicatie: Het prestatieverschil groeit lineair met het aantal cycli en het aantal taken, wat bewijst dat geheugen (de Bank) structureel noodzakelijk is voor efficiëntie in cyclische settings.

4. Belangrijkste Bijdragen

1. Herformulering: Het herdefiniëren van CL als geheugenbeheer waarbij LoRA-modules compressibare, doorzoekbare eenheden zijn in plaats van wegwerpbare adapters.
2. TaskKnowledgeBank: Een mechanisme voor SVD-gecomprimeerde LoRA-opslag met similarity-gebaseerde retrieval, wat exact herstel mogelijk maakt voor terugkerende taken en gewogen transfer voor gerelateerde taken.
3. Controller-Agnostisch Ontwerp: De allocatiestap accepteert elke regel (heuristiek, gradiënt-gebaseerd of geleerd). Cruciaal is dat het artikel aantoont dat een eenvoudige similarity-gebaseerde regel de geleerde RL-controller evenaart of overtreft.
4. Theoretische Regret Bound: Het bewijzen dat geheugenloze policies suboptimaal zijn in cyclische omgevingen.
5. Isolatie van het Mechanisme: Een gecontroleerde studie die de bron van de prestatiewinst isoleert, waarbij wordt vastgesteld dat het geheugenmechanisme (compressie + retrieval) de primaire drijfveer is, en niet de complexiteit van de allocatiepolicy.

5. Experimentele Resultaten

Experimenten werden uitgevoerd op Split-CIFAR-100 (sequentiële en cyclische settings) en de 5-Datasets benchmark (heterogene domeinen: CIFAR-10, MNIST, SVHN, FashionMNIST, KMNIST).

• Prestaties op Split-CIFAR-100:
  • NSR behaalde de laagste vergetelheid (Backward Transfer, BWT = $-0.068$) onder de learning-based policies.
  • Cyclische Herstel: NSR herstelde terugkerende taken in 3,33 stappen, vergeleken met 14+ stappen voor geheugenloze baselines (Gradient, EWC, PEARL).
  • Bank Ablatie: Het verwijderen van de Bank verhoogde de hersteltijd van 1,27 stappen naar 13,33 stappen (een 10$\times$ degradatie), wat bevestigt dat de Bank de dominante factor is.
• Vergelijking van Allocatieregels:
  • Met de Bank vastgezet, herstelde een parameter-vrije similarity-regel (NSR-Sim) terugkerende taken in 0 stappen met nul vergetelheid.
  • De geleerde RL-controller vereiste 1,8 stappen en vertoonde een negatieve BWT ($-0,056$).
  • NSR-Sim behaalde een hogere gemiddelde nauwkeurigheid (0,437) dan de RL-controller (0,393).
• Heterogene Domeinen (5-Datasets):
  • NSR behaalde de hoogste nauwkeurigheid (0,665) en de minste vergetelheid (BWT = $-0,024$), wat 9$\times$ dichter bij nul was dan de gradient en EWC heuristieken.
• Geheugensvoetafdruk:
  • De gecomprimeerde Bank vereist slechts 0,29 MB aan parametergeheugen per taak (exclusief optionele distillatie-exemplaren).
  • Een top-$K$ retentiecap begrenst de totale voetafdruk lineair terwijl snel herstel voor behouden taken behouden blijft.

6. Betekenis en Claims

De centrale, "eerlijke" bevinding van het artikel is dat het geheugenmechanisme de prestaties van continual learning onder een vaste capaciteit drijft, en niet een geavanceerde geleerde allocatiepolicy.

• Bescheiden Claims: De auteurs stellen expliciet dat het voordeel van NSR afneemt wanneer de bevroren backbone al krachtig genoeg is om taken gemakkelijk op te lossen (bijv. ViT-B/16), aangezien de kosten van het opnieuw leren laag zijn.
• Eenvoud: De aanbevolen methode (NSR-Sim) vereist geen training van een controller, wat het eenvoudiger, sneller en reproduceerbaarder maakt dan RL-gebaseerde benaderingen.
• Generalisatie: De aanpak is niet gebonden aan één specifieke datasetstructuur; het gaat effectief om met heterogene domeinverschuivingen waar catastrofale vergetelheid het meest ernstig is.
• Beperkingen: Het artikel erkent dat het huidige framework zich richt op visuele taken en dat het samenvoegen van gelijkaardige taken (in plaats van verwijderen) een potentiële toekomstige verfijning is. Er wordt ook opgemerkt dat in settings met slechts gedeeltelijke taak-gelijkenis (geen exacte match in de Bank), het nut van een geleerde controller een openstaande vraag is.

Samenvattend demonstreert NSR dat historie-bewustzijn via retrieval de cruciale component is voor efficiënte continual learning, waardoor complexe policy-learning overbodig wordt wanneer een robuuste geheugenbank van gecomprimeerde subspaces wordt onderhouden.