Preserving Plasticity in Continual Learning via Dynamical Isometry

Technische Samenvatting: Behoud van Plasticiteit in Continual Learning via Dynamische Isometrie

1. Probleemstelling

Continual learning in diepe neurale netwerken onder niet-stationaire condities lijdt vaak aan een progressief verlies van plasticiteit. Dit fenomeen uit zich als een afnemend vermogen van een netwerk om zich aan te passen aan nieuwe taken, wat leidt tot een verslechterde prestatie op opeenvolgende datadistributies. Hoewel specifieke faalmodi goed gedocumenteerd zijn—zoals "stervende ReLU's", primacy bias in reinforcement learning (RL), en de groei van gewichtsnormen die scherpe verlieslandschappen veroorzaken—worden deze vaak geïsoleerd bestudeerd. De auteurs stellen dat de gemene deler van deze faalmodi een verslechtering is van de efficiëntie van gradiëntafdaling om het netwerk in alle relevante output-ruimte richtingen bij te werken. Dit wordt wiskundig uitgedrukt als een toename in de anisotropie (conditienummer) van de empirische Neural Tangent Kernel (NTK).

2. Theoretisch Kader

Het artikel stelt een functionele definitie van plasticiteit vast en koppelt deze aan de geometrie van de parameter-functie kaart:

• Definitie van Plasticiteit: Plasticiteit wordt niet enkel gedefinieerd als het vermogen om verlies te minimaliseren, maar als de efficiëntie waarmee het "excessieve bereikbare verlies" (het gat tussen de huidige prestatie en het optimale verlies voor de functieklasse) kan worden geëlimineerd binnen een vastgesteld middelenbudget (bijv. optimalisatiestappen).
• NTK en Anisotropie: Onder first-order gradiëntafdaling wordt de lokale voortgang bepaand door de Rayleigh-coëfficiënt van de empirische NTK. Taak-agnostische plasticiteit vereist dat de NTK isotroop is (evenredig met de identiteitsmatrix), zodat gradiëntafdaling vergelijkbare vooruitgang kan boeken in alle output-ruimte richtingen.
• Dynamische Isometrie als Surrogaat: Exacte NTK-isotropie is onbereikbaar voor eindige netwerken. De auteurs stellen echter dynamische isometrie voor als een hanteerbaar, taak-agnostisch surrogaat. Een netwerk is dynamisch isometrisch als de singuliere waarden van de laag-specifieke input-output Jacobiaan geconcentreerd blijven rond één. Dit zorgt ervoor dat perturbaties door het netwerk propageren zonder systematische expansie of contractie, waardoor het NTK-spectrum in verwachting goed geconditioneerd blijft over een isotrope input-prior.

3. Methodologie

De auteurs stellen een veelzijdige aanpak voor om dynamische isometrie en daarmee de plasticiteit te behouden:

• Architecturale Bestaanbewijs: Het artikel herbekijkt GroupSort-netwerken (specifiek MaxMin activaties) in combinatie met orthonormale lineaire lagen. Deze netwerken zijn bewezen bijna-overal (a.e.) isometrisch. Ondanks dat ze isometrisch zijn, blijven ze universele Lipschitz-functie benaderers, wat aantoont dat strikte isometrie-restricties compatibel zijn met expressieve niet-lineaire representaties.
• Regularisatie voor Algemene Architecturen: Voor standaard netwerken die elementwijze activaties gebruiken (bijv. ReLU), waarbij exacte isometrie onmogelijk is, introduceren de auteurs een efficiënte isometrie-bevorderende regularisator. Deze straf drijft de singuliere waarden van gewichtsmatrices naar één door de Frobenius-norm afwijking van de Gram-matrix ($W^\top W - I$ of $WW^\top - I$) te minimaliseren.
• ReLU Revival Mechanisme: Een nieuwe bijdrage is de identificatie van een mechanisme waarbij deze regularisator "dode" ReLU-units heractiveert. Omdat de regularisator de rijen van gewichtsmatrices koppelt om orthogonaliteit te behouden, induceert de beweging van actieve neuronen een rotatie van inactieve gewichtsvectoren. Dit kan voorheen slapende eenheden terug in regio's van positieve pre-activatie duwen, waardoor ze effectief worden gereanimeerd zonder expliciete taakgestuurde gradiënten.
• AdamO Optimizer: Om te voorkomen dat de menging van taakgradiënten en regularisatiegradiënten binnen adaptieve moment-schattingen (wat kan leiden tot instabiele rescalings) optreedt, introduceren de auteurs AdamO. Vergelijkbaar met AdamW's ontkoppelde weight decay, ontkoppelt AdamO de isometrie-regularisatiestap van de adaptieve gradiënt-update. Het werkt de Adam-momenten bij met enkel de taakgradiënt, en past vervolgens een aparte stap toe voor de isometrie-straf.

4. Experimentele Resultaten

De voorgestelde methoden werden geëvalueerd over gesuperviseerde en reinforcement learning continual learning benchmarks die ontworpen zijn om plasticiteitsverlies te induceren:

• Gesuperviseerd Leren: Op benchmarks inclusief Random-Label Memorization (testen van ruwe optimalisatiecapaciteit), Permuted MNIST/CIFAR, en Label-Shuffled CIFAR, presteerden de methoden van de auteurs (specifiek AdamO met ReLU of MaxMin) consistent gelijk aan of beter dan bestaande baselines zoals Normalize-and-Project (NaP), Spectral Norm regularisatie, en ReDo. De methoden toonden een superieur vermogen om trainingsnauwkeurigheid en generalisatie te behouden over lange sequenties van taken.
• Reinforcement Learning: In continue MinAtar en Octax omgevingen met willekeurige kanaalpermutaties en taakwisselingen, behielden de AdamO-gebaseerde benaderingen een consistente prestatie over 20 cycli (totaal 1,2 miljard stappen). In tegen tegenstelling hiertoe vertoonden standaard PPO-baselines een significante prestatieafname over de tijd.
• Diagnostiek: De experimenten bevestigden dat de voorgestelde methoden er succesvol in slaagden om lagere conditienummers, hogere effectieve NTK-rang en een aanhoudende ReLU-activiteit te handhaven vergeleken met de baselines, wat de theoretische link tussen isometrie en plasticiteit valideert.

5. Belangrijkste Bijdragen

1. Functionele Definitie van Plasticiteit: Een formalisering van plasticiteit in termen van de NTK-geometrie en de efficiëntie van het elimineren van excessief bereikbaar verlies.
2. Dynamische Isometrie als Doelwit: Het identificeren van laag-specifieke dynamische isometrie als een principieel, taak-agnostisch mechanisme om plasticiteit te behouden.
3. Compatibiliteit met Expressiviteit: Het bewijzen dat bijna-overal isometrische architecturen (GroupSort) universele benaderers zijn, wat zorgen wegneemt dat isometrie-restricties de modelcapaciteit beperken.
4. Praktische Trainingsinstrumenten:
   • Een efficiënte isometrie-regularisator voor algemene architecturen.
   • Een mechanisme dat de revitalisering van dode ReLU-units verklaart en benut via orthogonaliteitsrestricties.
   • AdamO, een ontkoppelde optimizer die specifiek is ontworpen om isometrie-regularisatie te hanteren zonder de adaptieve gradiënt-statistieken te corrumperen.

6. Betekenis en Claims

Het artikel claimt dat het behoud van dynamische isometrie een verenigde geometrische verklaring biedt voor diverse verschijnselen van plasticiteitsverlies en een robuuste oplossing biedt voor continual learning. Door het netwerk nabij het isometrische manifold te houden, behoudt het systeem het vermogen om niet-triviale vooruitgang te boeken, ongeacht de huidige doelstelling.

De auteurs positioneren hun werk als een brug tussen initialisatietheorie (waar isometrie bekend staat als gunstig voor signaalpropagatie) en continual learning (waar behoud van isometrie plasticiteitsverlies voorkomt). Ze merken bescheiden op dat hoewel hun methoden bestaande benaderingen overtreffen, ze niet beweren alle aspecten van continual learning op te lossen (zoals catastrofaal vergeten, waar zij een onderscheid maken met plasticiteitsverlies). Toekomstige richtingen die worden gesuggereerd, omvatten het toepassen van deze principes op diepe reinforcement learning agents en Large Language Models, waar het behoud van isometrie de training in diepere architecturen kan stabiliseren en continue adaptatie kan verbeteren.