Technische Samenvatting: Catastrofale Vergetenheid is Low-Rank

Probleemstelling

Continue adaptatie—het fine-tunen van grote voorgetrainde modellen op nieuwe taken terwijl de prestaties op oude taken behouden blijven—wordt gehinderd door catastrofale vergetenheid (catastrophic forgetting). Hoewel bestaande mitigatiestrategieën variëren van parameterregularisatie (EWC, SI), replay, distillatie en gradiëntprojectie, ontbreekt het het vakgebied aan een mechanistische verklaring voor welke richtingen in de outputruimte kwetsbaar zijn voor drift. Eerdere theoretische werken (bijv. Doan et al., 2021; Bennani et al., 2020) hebben scalaire grenzen vastgesteld voor de omvang van vergetenheid op basis van taakalignering, maar falen in het identificeren van de specifieke eigenruimte-structuur van de vergetenheidsvector of het verklaren waarom bepaalde outputrichtingen wel driften en andere stabiel blijven.

Methodologie: Functieruimte-theorie in het NTK-regime

Het artikel herformuleert catastrofale vergetenheid als low-rank interferentie in de functieruimte binnen het Neural Tangent Kernel (NTK) regime. Het kern theoretische kader berust op het analyseren van de verschuiving in voorspellingen voor een vorige taak (Taak A) die wordt geïnduceerd door het trainen op een nieuwe taak (Taak B).

1. De Vergetenheidsvoorspeller

De auteurs leiden een gesloten vorm voorspeller af voor de vergetenheidsvector $\Delta f_A$ (de verschuiving in de voorspellingen van Taak A) voordat er een nieuwe taak-gradiëntstap wordt genomen. Onder NTK-linearisatie rond de parameters $\theta_A$ van de oude taak, en uitgaande van het scenario dat de training van Taak B convergeert naar een minimizer van een geregulariseerde MSE-loss, wordt de vergetenheidsvector gegeven door:

$$\Delta f_A = -K_{AB} (K_{BB} + \lambda I)^{-1} r_B$$

Waar:

• $K_{AB} = J_A J_B^\top$ is de cross-task kernel (interactie tussen de Jacobians van Taak A en Taak B).
• $K_{BB} = J_B J_B^\top$ is de Taak B kernel.
• $r_B = f_B(\theta_A) - y_B$ is de Taak B residu aan het begin van de training.
• De voorspeller is exact (tot op numerieke precisie) in het regime van een bevroren backbone met een trainbare lineaire head (lineair in parameters). Voor niet-lineaire adapters of volledige fine-tuning dient het als een lokale NTK-benadering.

2. Structurele Karakterisering

De voorspeller onthult dat vergetenheid niet uniform is, maar concentreert in een low-rank subruimte van de outputruimte:

• Low-Rank Concentratie: De vergetenheidsvector ligt in de afbeelding van de Taak A Jacobian ($Im(J_A)$). Wanneer deze wordt geëxpandeerd in de eigenbasis van de Taak A kernel ($K_{AA}$), concentreert de energie van de vergetenheidsvector zich in een klein aantal top-eigenmodi (1–6 modi dragen 50–90% van de energie op standaard benchmarks).
• Kronecker Schalingsregel: Voor een bevroren feature map $\phi(x)$ en een trainbare lineaire head $W \in \mathbb{R}^{C \times F}$, laat de kernel $K_{AA}$ een exacte Kronecker-factorisatie toe: $K_{AA} = I_C \otimes G$, waarbij $G$ de feature Gram-matrix is. Dit impliceert dat de dimensie van de kwetsbare subruimte schaalt als:
  $$k^\star \approx C \cdot k_G$$
  waarbij $C$ het aantal outputklassen is en $k_G$ de effectieve rang van de feature Gram-matrix is.

3. Voorgestelde Oplossing: Spectrale Regularisatie

Op basis van de theorie dat vergetenheid geconcentreerd is in een specifieke laag-dimensionale subruimte, stellen de auteurs Spectrale Regularisatie voor. In plaats van drift over alle parameters of alle outputrichtingen te bestraffen (zoals bij EWC of LwF), bestraft deze methode expliciet alleen de drift langs de top-$k$ eigenvectoren van de oude-taak kernel $K_{AA}$. Dit verleent volledige plasticiteit aan de complementaire subruimte terwijl de kwetsbare richtingen worden beschermd.

Belangrijkste Bijdragen

1. Gesloten Vorm Vergetenheidsvoorspeller: Een formule (Propositie 1) die de richting en omvang van de vergetenheidsvector voorspelt met enkel pre-training grootheden. Empirische validatie toont een cosinus-gelijkenis > 0.99 met de gerealiseerde verschuivingen op transformer-backbones en ResNets onder frozen-head adaptatie.
2. Structurele Karakterisering van Kwetsbaarheid: De identificatie dat vergetenheid concentreert in een handvol NTK-eigenmodi. Het artikel biedt een exacte Kronecker-factorisatie voor frozen-backbone lineaire heads, waarmee een schalingsregel ($k^\star \approx C \cdot k_G$) wordt vastgesteld die het aantal outputs en de feature-rang koppelt aan de dimensie van de kwetsbare subruimte.
3. Diagnostisch Kader voor Methode-ontwerp: De theorie verklaart waarom parameter-ruimte regulariseerders (zoals EWC) falen op shared-head benchmarks: ze beperken de parameter-drift, maar sluiten niet aan bij de specifieke output-ruimte eigenmodes waar interferentie optreedt. Omgekeerd verklaart het waarom brede functieruimte-methoden (zoals LwF) succesvol zijn, maar mogelijk inefficiënt, omdat ze ook niet-kwetsbare richtingen bestraffen.

Experimentele Resultaten

Het artikel evalueert de theorie en de voorgestelde Spectrale Regularisatie op Split-MNIST, Split-CIFAR-10 en Split-CIFAR-100 (frozen backbone linear-head regime).

• Falen van Parameter-ruimte Methoden: Op shared-head benchmarks presteren parameter-ruimte methoden (EWC, SI) niet beter dan geen regularisatie, wat bevestigt dat de kwetsbaarheid in de output-ruimte ligt, en niet in de parameter-ruimte.
• Doelgerichte vs. Brede Bescherming:
  • Split-MNIST: Spectrale regularisatie bereikt een drift-ratio (Overig/Kwetsbaar) van 75:1, wat betekent dat het kwetsbare drift bijna volledig onderdrukt terwijl andere drift onbeperkt blijft. In contrast vertonen baselines zoals EWC en LwF ratio's nabij 0.5:1 tot 0.8:1, wat duidt op uniforme onderdrukking of een gebrek aan targeting.
  • Split-CIFAR-100: Wanneer het aantal outputs $C$ groot is (100), groeit de dimensie van de kwetsbare subruimte $k^\star$. Onder deze omstandigheden overlapt de "brede" straf van LwF van nature aanzienlijk met de kwetsbare subruimte, waardoor Spectrale Regularisatie en LwF convergeren in prestatie (ca. 40% nauwkeurigheid).
• Precisie: De voorspeller bereikt machine-precisie nauwkeurigheid ($1 - \cos \text{sim} \approx 10^{-6}$) op ViT en DINOv2 backbones met frozen linear heads.

Betekenis en Claims

Het artikel claimt een mechanistische verklaring te bieden voor catastrofale vergetenheid, waarbij het verder gaat dan scalaire grenzen naar een structureel begrip van de vergetenheidsvector.

• Herformulering: Vergetenheid wordt geïdentificeerd als low-rank interferentie in de functieruimte, gedreven door de cross-task kernel die werkt op de nieuwe-taak residu.
• Verklaring van Falen: Het werk verheldert waarom parameter-ruimte regulariseerders falen op shared-head taken: ze kunnen de specifieke output-ruimte eigenmodes niet selectief beschermen waar de interferentie geconcentreerd is.
• Ontwerpheuristiek: De afgeleide schalingsregel ($k^\star \approx C \cdot k_G$) biedt een geprincipeerde manier om spectrale regulariseerders af te stemmen. Het verklaart de convergentie van doelgerichte en brede methoden naarmate de output-dimensie toeneemt.
• Scope: De auteurs zijn bescheiden over de toepasbaarheid en merken op dat de voorspeller exact is voor lineaire heads op frozen backbones en een lokale benadering is voor niet-lineaire adapters. Ze erkennen beperkingen met betrekking tot volledige fine-tuning van diepe backbones, cross-entropy losses (die strikte blok-ontkoppeling doorbreken) en lange sequenties van taken waarbij fouten cumulatief optreden.

Het artikel concludeert dat hoewel het geen nieuwe PEFT-architectuur voorstelt, het een theoretische fundering en een diagnostisch instrument (Spectrale Regularisatie) biedt dat de regularisatie afstemt op de werkelijke geometrie van vergetenheid.