Catastrophic Forgetting as Accessibility Collapse: A Three-Level Framework for Knowledge Persistence in Continual Learning

Dit artikel stelt een drielaags kader voor dat onderscheid maakt tussen kennisopslag, representatie en toegankelijkheid om aan te tonen dat catastrofale vergetelheid in continual learning primair een falen van toegankelijkheid is in plaats van volledige representatieve uitwissing, zoals blijkt uit het voortbestaan van taakinformatie in neurale representaties die kan worden hersteld door middel van eenvoudige classifier-retraining.

De kern

Het Grote Idee: Het is Niet Kwijt, Het Zit Alleen Op Slot

Stel je voor dat je een briljante bibliothecaris hebt (de AI) die duizenden boeken uit haar hoofd heeft geleerd. Op een dag vraag je haar om een nieuwe taal te leren. Terwijl ze deze nieuwe taal bestudeert, vergeet ze plotseling hoe ze haar oorspronkelijke taal spreekt. In de wereld van AI wordt dit Catastrofale Vergetelheid genoemd.

Meestal gaan wetenschappers ervan uit dat wanneer de AI iets "vergeet", de informatie daadwerkelijk verwijderd is uit haar brein, zoals het wissen van een harde schijf.

Dit artikel betoogt dat de informatie helemaal niet verwijderd is. In plaats daarvan heeft de AI de kennis nog wel, maar is ze de sleutel kwijt om er toegang toe te krijgen. De auteurs noemen dit "Accessibility Collapse" (Toegankelijkheidsinstorting).

De Drie Niveaus van Kennis

Om dit te bewijzen, hebben de auteurs het brein van de AI onderverdeeld in drie niveaus, als een gebouw met drie verdiepingen:

1. Niveau 1: De Opslag (De Kelder): De ruwe gegevens en oplossingen liggen nog steeds veilig en wel in de kelder. Als je teruggaat naar het exacte moment dat de AI klaar was met het leren van de eerste taak, is het antwoord er nog steeds.
2. Niveau 2: De Representatie (De Middenverdiepingen): De interne "gedachten" of kenmerken van de AI over de eerste taak zijn nog intact. Hoewel de AI niet meer vragen over de eerste taak kan beantwoorden, is de informatie als je in haar interne aantekeningen kijkt nog steeds duidelijk genoteerd.
3. Niveau 3: De Toegankelijkheid (De Voordeur): Dit is het deel dat kapot gaat. De "voordeur" (de uiteindelijke besluitvormingslaag) raakt geblokkeerd. De AI weet het antwoord diep van binnen, maar kan het niet naar de buitenwereld brengen.

Het Experiment: De "Schone Lei" Test

De onderzoekers zetten een strikte test op om dit te bewijzen. Ze gebruikten een standaard AI-model (ResNet-18) en leerden het 10 verschillende taken, één na de andere.

• Geen trucjes: Ze gebruikten geen speciale methoden om de AI te helpen onthouden.
• Niet terugkijken: Ze lieten de AI niet opnieuw de oude data lezen.
• Het Resultaat: Na het leren van Taak 10 was de score van de AI op Taak 1 gedaald naar 0%. Het leek op een totaal falen.

De "Magische Truk": De Deur Ontsluiten

Hier wordt het artikel interessant. De onderzoekers probeerden een simpele oplossing:

1. Ze namen de "kapotte" AI (degene met een score van 0%).
2. Ze bevroren het brein (de diepe lagen) zodat het niet kon veranderen.
3. Ze vervingen alleen de "voordeur" (de uiteindelijke classifier) door een gloednieuwe.
4. Ze leerden deze nieuwe deur hoe hij de oude data moest gebruiken.

Het Resultaat: De AI herinnerde zich plotseling 75,7% van de oorspronkelijke taak!

De Analogie: Stel je voor dat je bent vergeten hoe je in je oude auto moet rijden omdat je hebt geleerd hoe je in een nieuw, verwarrend model moet rijden. Het artikel laat zien dat als je het stuur en de pedalen (de "voordeur") van de oude auto vervangt, je er weer perfect in kunt rijden. De motor en het chassis (de diepe lagen) waren de hele tijd al prima; je had alleen de verkeerde bediening eraan bevestigd.

Waar Viel de Schade?

De auteurs keken laag voor laag naar de AI om te zien waar het vergeten gebeurde.

• Vroege Lagen (Het Fundament): Deze lagen werden zelfs beter in het onthouden van de oude taak na het leren van nieuwe taken. Ze zijn als de wortels van een boom; ze bleven sterk en groeiden zelfs sterker.
• Late Lagen (De Top): De schade was bijna volledig geconcentreerd aan de bovenkant, in de laatste laag die de beslissing neemt.

Het is alsof de wortels van de boom gezond zijn, maar de bovenste tak is afgebroken. De vruchten (de kennis) groeien nog steeds op de lagere takken, maar je kunt er niet bij omdat de top kapot is.

De "Accessibility Gap"

De auteurs creëerden een nieuwe manier om dit probleem te meten, genaamd de Accessibility Gap.

• De Kloof: Het is het verschil tussen wat de AI weet (wat hoog is) en wat de AI zegt (wat nul is).
• De Bevinding: Een grote kloof betekent dat de AI niet dom is; ze zit alleen buitengesloten van haar eigen kennis.

Wat Werkte Niet?

De onderzoekers probeerden ook een "geometrische" oplossing. Ze dachten: "Misschien als we de AI gewoon weer richting waar ze was vóór de verandering duwen, zal ze het onthouden." Ze probeerden de instellingen van de AI terug te bewegen naar de oude instellingen.

• Het Resultaat: Het werkte niet. Het artikel is eerlijk over dit "negatieve resultaat". Het lijkt erop dat je het brein niet simpelweg kunt terugduwen; je moet de "deur" (de readout-laag) repareren in plaats daarvan.

De Kern van het Verhaal

Dit artikel verandert de manier waarop we naar AI-vergetelheid kijken.

• Oude Visie: "De AI is alles vergeten. We moeten voorkomen dat het brein verandert."
• Nieuwe Visie: "De AI is niets vergeten; ze is alleen de mogelijkheid kwijtgeraakt om de info te ontsluiten. We hoeven het leren van nieuwe dingen niet te stoppen. In plaats daarvan moeten we betere 'sleutels' of 'deuren' bouwen om de AI te helpen de kennis te ontsluiten die ze al bezit."

De auteurs suggereren dat we ons in de toekomst moeten richten op het repareren van de toegangspunten in plaats van te proberen te voorkomen dat het brein verandert.

Technische samenvatting

Technische Samenvatting: Catastrofale Vergetenheid als Toegankelijkheidsinstorting

Probleemstelling

Het artikel behandelt catastrofale vergetenheid (catastrophic forgetting) in diepe neurale netwerken, een fenomeen waarbij de prestaties op eerder geleerde taken snel instorten terwijl nieuwe taken sequentieel worden geleerd. De heersende aanname in het vakgebied is dat deze instorting de onomkeerbare vernietiging of uitwissing van geleerde kennisrepresentaties vertegenwoordigt. De auteurs dagen deze interpretatie uit en stellen voor dat de geobserveerde nauwkeurigheidsinstorting mogelijk niet de het verlies van de onderliggende kennis zelf weerspiegelt, maar eerder een falen in het toegang krijgen tot die kennis. De centrale onderzoeksvraag is of catastrofale vergetenheid impliceert dat het netwerk de kennis zelf heeft verloren, of slechts het vermogen om deze te benutten via zijn huidige beslissingspad.

Methodologie

De auteurs hanteren een "pure forgetting" experimentele opzet om een zuivere benchmark te creëren voor het analyseren van kennispersistentie zonder de interferentie van continual learning (CL) mitigatiestrategieën.

• Dataset & Protocol: Experimenten maken gebruik van Split CIFAR-100, gepartitioneerd in 10 sequentiële taken van elk 10 klassen.
• Architectuur: Een ResNet-18 model wordt getraind vanaf een willekeurige initialisatie.
• Trainingscondities: Het model wordt sequentieel getraind met standaard cross-entropy loss en SGD. Cruciaal is dat geen replay, geen regularisatie en geen CL-methoden worden toegepast. Dit zorgt ervoor dat eventuele retentie van kennis inherent is aan de dynamiek van het netwerk in plaats van afgedwongen door externe beperkingen.
• Evaluatiekader: De auteurs introduceren een Drielagen-kader om onderscheid te maken tussen:
  1. Kennisopslag (Knowledge Storage): De geldigheid van opgeslagen checkpoints.
  2. Kennisrepresentatie (Knowledge Representation): Informatie gecodeerd in bevroren intermediaire features.
  3. Kennisbereikbaarheid (Knowledge Accessibility): Functionele output-nauwkeurigheid.
• Diagnostische Metrieken:
  • Toegankelijkheidsgat (Accessibility Gap, AG): Gedefinieerd als $AG = LP_{final} - ACC_{final}$, wat de discrepantie kwantificeert tussen de lineaire probe-nauwkeurigheid (representatieve kennis) en de taaknauwkeurigheid (functionele prestatie).
  • Projectie-energie (Projection Energy, PE): Een geometrische metriek die het deel van de resterende energie van de uiteindelijke representatie binnen de oorspronkelijke taaksubruimte meet.
  • Hoofdangeling-analyse (Principal Angle Analysis): Gebruikt om de geometrische drift tussen het checkpoint en de uiteindelijke model-subruimtes te meten.
• Kernexperimenten:
  • Lineaire Probing: Het trainen van lineaire classificators op bevroren features van verschillende lagen om de behouden informatie te meten.
  • Classifier Reset: Het bevriezen van de gehele backbone van het "vergeten" model en het trainen van een nieuwe lineaire kop op de oorspronkelijke taakdata om de herstelbaarheid te testen.
  • Laag-gewijze Analyse: Het onderzoeken van retentie en herstelbaarheid bij elk residu-blok (Lagen 1–4).
  • Parameter-ruimte Herstel: Testen of het bewegen van gewichten richting een opgeslagen checkpoint de nauwkeurigheid kan herstellen.

Belangrijkste Resultaten

1. Volledige Nauwkeurigheidsinstorting vs. Representatiebehoud

Na sequentiële training op 10 taken, stort de output-nauwkeurigheid van Taak 0 volledig in naar 0.000. Echter, de interne staat van het netwerk behoudt significante informatie:

• Lineaire Probe Retentie: Een lineaire probe getraind op de Layer 4 features van het uiteindelijke model bereikt een nauwkeurigheid van 0.468, wat 76% is van de probe-nauwkeurigheid op checkpoint-niveau (0.616).
• Toegankelijkheidsgat: De AG voor Taak 0 is 0.468, wat een enorme divergentie aantoont tussen de functionele prestatie en de interne representatieve kwaliteit.

2. Laag-gewijze Asymmetrie

Vergetenheid is niet uniform over het netwerk verdeeld:

• Vroege Lagen (1 & 2): Deze lagen vertonen respectievelijk een retentie van 103% en 104% van hun oorspronkelijke probe-nauwkeurigheid. In sommige gevallen lijkt de training van opeenvolgende taken de laag-niveau features te verfijnen, waardoor hun onderscheidend vermogen voor eerdere taken wordt verbeteren.
• Late Lagen (4 & Classifier): Degradatie is bijna volledig geconcentreerd in Laag 4 (76% retentie) en de uiteindelijke classifier-laag (0% retentie).

3. Herstelbaarheid via Classifier Reset

Wanneer de backbone van het "vergeten" model wordt bevroren en een nieuwe lineaire kop wordt getraind op Taak 0 data:

• Herstelt het model een nauwkeurigheid van 0.415.
• Dit vertegenwoordigt 75,7% van de oorspronkelijke Taak 0 prestatie (0,548), wat bewijst dat het merendeel van de taak-relevante informatie gecodeerd blijft en herstelbaar is zonder de backbone aan te passen.
• Laag-gewijze Herstelbaarheid Hiërarchie: De herstelbare nauwkeurigheid neemt monotoon af van Laag 1 (122% van origineel) naar Laag 4 (85%) naar de volledige backbone reset (75,7%), wat aangeeft dat informatieverlies zich naar voren toe accumuleert tijdens de propagatie.

4. Geometrische Bevindingen

• Gedistribueerde Encodering: De analyse van Projectie-energie laat zien dat de behouden informatie niet geconcentreerd is in een kleine set dominante hoofdrichtingen. In plaats daarvan is het gedistribueerd over hoog-dimensionale subruimtes.
• Subruimte Rotatie: De hoofdangeling-analyse laat een gemiddelde hoek zien van 79° tussen de checkpoint- en de uiteindelijke model-subruimtes (naderend aan orthogonaliteit). Ondanks deze ernstige geometrische rotatie, blijft de lineaire probe-retentie hoog, wat suggereert dat representatieve preservatie een hoog-dimensionaal fenomeen is dat niet wordt gevangen door laag-rang subruimte overlap.
• Negatief Resultaat: Geometrisch herstel in de parameter-ruimte (het bewegen van gewichten naar een opgeslagen checkpoint) bleek ineffectief onder deze experimentele condities.

Betekenis en Claims

Het artikel stelt de Accessibility Collapse Hypothesis voor, die catastrofale vergetenheid herformuleert, niet als de structurele vernietiging van representaties, maar als een gelokaliseerde breuk in functionele toegankelijkheid die geconcentreerd is bij de finale readout-laag.

• Paradigmaverschuiving: De auteurs betogen dat het vakgebied moet verschuiven van een preventie-georiënteerd paradigma (het beperken van updates om parameters te behouden) naar een reparatie-georiënteerd paradigma. Omdat representaties van nature persistent blijven in een gedistribueerde, hoog-dimensionale vorm, zouden interventies zich moeten richten op adaptieve, context-afhankelijke readout-mechanismen of lichtgewicht taak-specifieke routing heads, in plaats op rigide regularisatie.
• Diagnostisch Nut: De introductie van het Toegankelijkheidsgat en Projectie-energie biedt formele instrumenten om onderscheid te maken tussen representatieve uitwissing en toegankelijkheidsfalen, wat een genuanceerder beeld geeft van kennispersistentie.
• Empirisch Fundament: Door aan te tonen dat 75,7% van de taakprestatie hersteld kan worden door simpelweg de lineaire kop te hertrainen, vestigt dit werk dat substantiële taak-relevante informatie overleeft tijdens sequentiële training, zelfs in afwezigheid van enige continual learning waarborgen.

Het artikel concludeert dat catastrofale vergetenheid primair een alignment-fout is tussen de interne representaties van het netwerk en zijn output-pad, in plaats van een verlies van de representaties zelf.