The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning

Technische Samenvatting: Het Stabiele Herstel-Manifold (Stable Recovery Manifold)

Probleemstelling
Continual learning heeft als doel modellen in staat te stellen nieuwe kennis sequentieel te verwerven zonder eerder geleerde informatie te wissen. De primaire hindernis is catastrofale vergetelheid (catastrophic forgetting), die traditioneel wordt beschouwd als de permanente vernietiging van gecodeerde representaties. Hoewel eerdere mitigatiestrategieën (regularisatie, replay, architecturale isolatie) uitgaan van de aanname dat informatie verloren gaat, daagden recente werken van de auteurs [1] dit uit door aan te tonen dat "vergeten" kennis vaak nog steeds toegankelijk is via representatieve probing. Dit fenomeen, getiteld toegankelijkheidsinstorting (accessibility collapse), suggereert dat het netwerk de toegang tot informatie verliest via zijn actieve classifier, in plaats van dat de informatie zelf verloren gaat. Echter, de geometrische structuur en de temporele dynamiek van deze herstelbare kennis bleven onkarakteriseerd.

Methodologie
De auteurs onderzoeken de geometrische structuur van herstelbaarheid met behulp van een ResNet-18 backbone, getraind op Split CIFAR-100 (tien taken, tien klassen per taak) in een sequentiële volgorde zonder replay buffers, exemplar memory of regularisatie. De studie gebruikt zes experimenten om het volgende te meten:

1. Herstelbaarheid ($R_t$): De nauwkeurigheid van een willekeurig geinitialiseerde lineaire classifier, getraind op bevroren features van taak $t$, om Taak 0 te voorspellen.
2. Geometrische Drift: Gemeten via Principal-Angle Drift ($D_t$) (rotatie van subruimten) en Projection Energy ($PE_t$) (variantie-uitlijning met de oorspronkelijke Taak 0-subruimte).
3. Subruimte-dimensionaliteit ($k_t$): De minimale rang van de lineaire probe gewichtsmatrix die nodig is om 90% van de volledige probe-nauwkeurigheid te behouden.
4. Representatieve Gelijkenis: Gebruikmakend van Centered Kernel Alignment (CKA) en Participation Ratio (PR) om laag-specifieke structurele veranderingen te analyseren.

De studie test een initiële hypothese van Herstelbaarheid-Diffusie (het idee dat de dimensionaliteit van de herstel-subruimte monotoon groeit naarmate er meer taken worden geleerd) tegenover de voorgestelde Stable Recovery Manifold (SRM) hypothese.

Belangrijkste Bijdragen en Resultaten

1. Falsificatie van Herstelbaarheid-Diffusie:
   In tegenstelling tot de initiële hypothese, groeit de dimensionaliteit van de herstel-subruimte ($k_t$) niet. Deze blijft opvallend constant op ongeveer 8 hoofdrichtingen uit een totaal van 512 dimensies over alle tien de taken heen (Gemiddelde $k_t = 8,0$, $\sigma = 0,82$). Dit geeft aan dat het netwerk geen steeds complexere subruimten nodig heeft om oude kennis te herstellen; de capaciteit voor herstel is compact en stabiel.

2. De Stable Recovery Manifold (SRM) Hypothese:
   Het artikel stelt dat catastrofale vergetelheid primair een geometrische toegankelijkheidsfout is in plaats van een representatieve vernietiging. Vergeten kennis blijft bewaard binnen een compact, stabiel, laag-dimensionaal manifold. Hoewel de representatieve subruimte aanzienlijk roteert (gemiddelde principal angle drift bereikt 65°) en diepe lagen zich reorganiseren, blijft de informatie herstelbaar via een lineaire readout.

3. Geometrische Voorspelbaarheid van Herstelbaarheid:
   Een lineair regressiemodel met drie geometrische variabelen — Linear Probe nauwkeurigheid ($LP_t$), Projection Energy ($PE_t$) en Principal-Angle Drift ($D_t$) — verklaart 82% van de variantie in herstelbaarheid ($R^2 = 0,82$).

   • Principal-Angle Drift ($D_t$) is de dominante voorspeller (Pearson $r = -0,862$), wat aangeeft dat herstelbaarheid wordt beheerst door de oriëntatie van de subruimte ten opzichte van de oorspronkelijke taak, en niet door het volume aan behouden informatie.
   • Het netwerk verliest de toegang tot informatie (classifier-uitlijning) lang voordat het de informatie zelf verliest.

4. Diepte-stratificatie Mechanisme:
   Analyse van de Participation Ratio onthult een nieuw diepte-stratificatie effect:

   • Vroege Lagen (L1, L2): Worden meer gedistribueerd (algemene features), waarbij L1 een bijna perfecte retentie vertoont (100,02%) over alle taken heen.
   • Diepe Lagen (L3, L4): Worden meer geconcentreerd (taak-specifieke compressie) en ondergaan een significante structurele reorganisatie.
     Deze stratificatie biedt de mechanistische basis voor waarom vroege lagen universele features behouden terwijl diepe lagen de toegankelijkheidsinstorting drijven.

Significantie en Claims
Het artikel herformuleert catastrofale vergetelheid van een probleem van informatieverlies naar een probleem van subruimte-oriëntatiebehoud. De auteurs stellen dat:

• Vergetelheid een systematische misuitlijning is tussen een stabiele representatieve structuur en een dynamisch aanpassende classifier.
• De "Herstelbaarheid-Diffusie" hypothese onjuist is; de herstel-subruimte is stabiel, niet diffuus.
• Toekomstige mitigatiestrategieën zich moeten richten op manifold-oriëntatiebehoud (het voorkomen van de rotatie van de top-8 singuliere richtingen) in plaats van algemeen parameterdrift of informatievolumebehoud.
• De bevindingen suggereren dat gerichte interventies die slechts ~8 dimensies behouden, bijna volledige herstelbaarheid kunnen handhaven, wat een zeer efficiënt alternatief biedt voor volledige checkpoint-opslag of grote replay buffers.

De auteurs blijven bescheiden over de universaliteit van de $k_t \approx 8$ bevinding, waarbij zij opmerken dat dit momenteel alleen is vastgesteld voor ResNet-18 op Split CIFAR-100 en validatie vereist op niet-residuele architecturen en langere taaksequenties.