Technische Samenvatting: Sparsity-gestuurde Plasticiteit in Multi-Task Reinforcement Learning

Probleemstelling

Deep Reinforcement Learning (DRL) agenten lijden vaak aan plasticiteitsverlies, een fenomeen waarbij het vermogen van het netwerk om zich aan te passen aan nieuwe ervaringen afneemt naarmate de training vordert. Dit probleem wordt gekenmerkt door optimalisatiepathologieën zoals gradiëntinterferentie, representationele instorting en neuronale dormantie (neuronen die inactief worden). Hoewel dit uitgebreid is bestudeerd in single-task omgevingen, is plasticiteitsverlies bijzonder kritiek in Multi-Task Reinforcement Learning (MTRL). In MTRL moeten agenten representatieve flexibiliteit behouden om diverse en potentieel conflicterende taakeisen tegelijkertijd te beheren. Huidige MTRL-benaderingen vertrouwen vaak op overgeparameteriseerde modellen die de netwerkcapaciteit mogelijk onderbenutten of falen in generalisatie, wat leidt tot agenten die worstelen met negatieve taakinterferentie en de acquisitie van universele policies.

Methodologie

Het onderzoek onderzoekt of sparsificatiemethoden plasticiteitsverlies kunnen verminderen en de prestaties in MTRL kunnen verbeteren. De auteurs richten zich op twee dynamische sparsificatietechnieken:

1. Gradual Magnitude Pruning (GMP): Verhoogt incrementeel de netwerk-sparsity tijdens de training door laag-magnitude gewichten te verwijderen over een vooraf gedefinieerd tijdsvenster, waardoor het netwerk kan adapteren aan toenemende sparsity.
2. Sparse Evolutionary Training (SET): Handhaaft een vast algemeen sparsity-niveau gedurende de training door de connectiviteit van het netwerk continu te herbedraden (zwakke verbindingen weg te snijden en nieuwe verbindingen terug te laten groeien), geïnspireerd door evolutionaire algoritmen.

Experimentele Opstelling

De studie evalueert deze methoden over drie verschillende MTRL-architecturen:

• MTPPO: Een gedeelde policy-baseline met taakspecifieke koppen.
• Mixture of Experts (MoE): Maakt gebruik van een gating-mechanisme om experts voor specifieke taken te selecteren.
• Mixture of Orthogonal Experts (MOORE): Integreert orthogonale submodules om taakscheiding af te dwingen.

Benchmarks:

• MiniGrid: MT3, MT5, en MT7 benchmarks (gedeeltelijk observeerbaar, schaarse beloning).
• MetaWorld: MT10 benchmark (continue controle, hoog-dimensionale state/action ruimtes).

Vergelijkingen:
Sparse agenten (GMP en SET) worden vergeleken met:

• Dense baselines.
• Expliciete plasticiteit-opwekkende interventies: ReDo (periodieke reset van dode neuronen) en Reset (periodieke re-initialisatie van lagen).
• Impliciete regularisatietechnieken: Weight Decay (WD) en Layer Normalization (LayerNorm).

Metrieken:
Prestaties worden gemeten via de genormaliseerde Interquantile Mean (IQM). Plasticiteit wordt beoordeeld via:

• Dormant Neuron Percentage: Het aandeel inactieve neuronen.
• Effective Rank: Een maatstaf voor de representatieve diversiteit (lage rank duidt op instorting).
• Fisher Information Matrix (FIM) Trace: Een proxy voor de gevoeligheid van de policy voor parameterwijzigingen (hoge waarden duiden op scherpe minima/instabiliteit).

Belangrijkste Bijdragen

1. Mitigatie van Plasticiteitsdegradatie: De auteurs stellen vast dat GMP en SET effectief de kernindicatoren van plasticiteitsverlies verminderen, specifiek door neuronale dormantie te reduceren en representatieve instorting te voorkomen. Sparse agenten vertonen consequent gunstigere plasticiteitsprofielen (lagere dormantie, hogere/stabiele effective rank) vergeleken met dense tegenhangers.
2. Prestatiecorrelatie: Verbeteringen in plasticiteit veroorzaakt door sparsification correleren vaak met verbeterde multi-task prestaties. Sparse agenten presteren frequent beter dan dense baselines en behalen competitieve resultaten ten opzichte van gespecialiseerde plasticiteit-interventies (ReDo, Reset) en regularisatiemethoden.
3. Architectuur-afhankelijke Effecten: Het effect van sparsification is aangetoond sterk afhankelijk te zijn van de netwerkarchitectuur. Terwijl GMP en SET consistente winst opleveren in MTPPO en MoE configuraties, zijn hun effecten op MOORE genuanceerder, wat suggereert dat inherente architecturale mechanismen (zoals orthogonaliteitsrestricties) verschillend interageren met sparsity.

Resultaten

• Prestaties: Op MTPPO en MoE architecturen behaalden zowel GMP als SET consistent hogere finale geaggregeerde returns dan dense baselines over alle MiniGrid benchmarks (MT3, MT5, MT7). In de MetaWorld MT10 continue controle setting presteerde het selectief prunen van het actor-netwerk (GMP-Actor) beter dan zowel de dense baseline als globale pruning, met een succespercentage van 81%.
• Plasticiteitsdynamiek:
  • SET bleek bijzonder effectief bij het minimaliseren van neuronale dormantie in zowel de actor- als critic-componenten, terwijl een hoge effective rank werd behouden.
  • GMP vertoonde een karakteristiek "piek-en-daling" patroon in de Fisher Trace, wat suggereert dat het convergeert naar vlakkere minima, terwijl SET een lage, stabiele trace behield.
  • LayerNorm, hoewel het dormantie verminderde, veroorzaakte een ernstige en aanhoudende daling in de effective rank (representatieve instorting), wat leidde tot slechte prestaties.
  • ReDo en Reset lieten gemengde resultaten zien; ReDo verminderde dormantie maar vertaalde zich niet altijd naar prestatiewinst, terwijl Reset instabiliteit introduceerde in de plasticiteitsmetrieken.
• MOORE Specificaties: In de MOORE architectuur leverde sparsification niet dezelfde prestatiewinst op als in MTPPO of MoE. SET leidde soms tot lichte prestatiedalingen, en extreme pruning (99% sparsity) veroorzaakte rank-instorting en prestatie-degradatie in MOORE, wat de grenzen van sparsity in hooggestructureerde, orthogonale ontwerpen benadrukt.

Betekenis en Claims

Het artikel claimt dat dynamische sparsification dient als een robuust, algemeen bruikbaar mechanisme voor het verbeteren van plasticiteit in MTRL, en vaak beter presteert dan of gelijk is aan gespecialiseerde interventies die expliciet zijn ontworpen om plasticiteit te herstellen. De bevindingen suggereren dat de voordelen van pruning niet louter toe te schrijven zijn aan modelcompressie, maar voortkomen uit de regularisatie-effecten die het netwerk naar "vlakkere" minima leiden en de onderbenutting van de netwerkcapaciteit voorkomen.

De auteurs benadrukken dat sparsification een specifieke vorm van impliciete regularisatie biedt die de balans tussen capaciteitscontrole en representatieve diversiteit bewaakt, een balans die standaardtechnieken zoals LayerNorm niet kunnen bereiken in multi-task settings. De paper merkt echter bescheiden op dat deze voordelen contextgevoelig zijn; de effectiviteit van sparsification hangt sterk af van de onderliggende architectuur en is geen universele oplossing voor alle MTRL-ontwerpen (bijv. MOORE). Het werk benadrukt de wisselwerking tussen netwerkontwerp, sparsity en leeringsdynamiek, en pleit voor sparsification als een waardevolle tool in de MTRL-toolkit die verdere theoretische investigatie verdient.