Technische Samenvatting: SPHERE - Het Mitigeren van het Verlies aan Spectrale Plasticiteit in Mixture-of-Experts voor Deep Reinforcement Learning

1. Probleemstelling

In Deep Reinforcement Learning (DRL) lijden agenten die zijn getraind op stromen van ervaring vaak aan plasticiteitsverlies: een geleidelijke afname van hun vermogen om nieuwe vaardigheden te leren uit nieuwe ervaringen naarmate de training vordert. Dit fenomeen is bijzonder schadelijk in Continual Reinforcement Learning (CRL)-omgevingen, waar een agent een reeks taken sequentieel moet beheersen.

Hoewel Mixture-of-Experts (MoE)-architecturen met succes zijn ingezet om de capaciteit van beleidsfuncties in DRL te schalen (bijvoorbeeld voor manipulatoren, humanoïden en viervoeters), geven empirische studies aan dat MoE-beleidsfuncties ook last hebben van ernstig plasticiteitsverlies in continue omgevingen. Naarmate de training vordert, kan de prestatie van MoE verslechteren, wat suggereert dat de architectuur zelf vatbaar is voor dezelfde mechanismen van capaciteitsverlies die worden waargenomen in dichte netwerken.

De kernuitdaging die door dit artikel wordt aangepakt, is het ontbreken van een formele karakterisering van plasticiteitsverlies specifiek binnen MoE-beleidsfuncties en het ontbreken van praktische methoden om dit te mitigeren. Bestaande mitigeringsstrategieën voor dichte netwerken (bijvoorbeeld spectrale normalisatie, Hessian-regularisatie) vertalen zich niet direct naar de sparse, gerouteerde structuur van MoE-beleidsfuncties.

2. Methodologie: SPHERE

De auteurs stellen SPHERE (Spectral Plasticity via Hyperspherical Expert REgularization) voor, een principiële regularisator die is ontworpen om het leervermogen van MoE-beleidsfuncties te behouden. De methodologie verloopt via vier belangrijke theoretische en praktische stappen:

2.1 Formalisering van Plasticiteitsverlies als Spectrale Plasticiteit

Gebaseerd op de theorie van Neural Tangent Kernel (NTK) formaliseren de auteurs plasticiteitsverlies als een verlies aan spectrale plasticiteit.

• Mechanisme: De updaterichting van een beleid wordt bepaald door de empirische NTK-matrix (eNTK), $K = JJ^\top$, waarbij $J$ de Jacobiaan is van de netwerkuitgangen met betrekking tot de parameters.
• Definitie: Plasticiteitsverlies komt overeen met een ineenstorting van de spectrale-entropy effectieve rang ($r_e$) van de eNTK. Een hoge effectieve rang impliceert een isotroop spectrum, waardoor updates in diverse richtingen mogelijk zijn. Een lage effectieve rang (spectrale ineenstorting) beperkt updates tot een paar dominante richtingen, wat het vermogen om nieuwe taken te leren belemmert.
• Observatie: In CRL stort het eNTK-spectrum van MoE-beleidsfuncties in, wat de effectieve rang verlaagt en functionele updates beperkt.

2.2 Afleiding van een Hanteerbare Proxy

Het direct berekenen van de eNTK-matrix $K$ is onuitvoerbaar voor grote netwerken vanwege geheugenbeperkingen ($O(N^2P)$). Om dit aan te pakken, leiden de auteurs een hanteerbare proxy af die is gebaseerd op de Gauss-Newton (GN)-matrix in de parameterruimte ($G_{GN} = \frac{1}{N}J^\top J$).

• Decompositie: Ze decomponeren de GN-matrix in blokg-diagonale componenten die overeenkomen met gate- en expert-parameters.
• Laagsgewijze Benadering: Onder een blokg-diagonale benadering wordt de effectieve rang van de volledige eNTK uitgedrukt als een mengsel van de effectieve rangen van individuele laagblokken.
• Expert-blok Surrogaat: Voor de expertlagen gebruiken de auteurs een Kronecker-proxy ($\tilde{G}_{GN} = A \otimes G$), waarbij $A$ de feature Gram-matrix is en $G$ de gradient Gram-matrix. Ze bewijzen dat de effectieve rang van het expert-blok ondergrens is door een functie van het conditienummer van deze Kronecker-proxy.

2.3 De SPHERE Regularisator

Om de ondergrens voor spectrale plasticiteit te maximaliseren, streven de auteurs ernaar het conditienummer van de feature Gram-matrix $A$ te minimaliseren.

• Doel: Ze richten zich op de gewogen expert feature Gram ($A_{last}^{exp}$) in de laatste verborgen expertlaag. Deze matrix wordt geconstrueerd door expert-features te concateneren, gewogen door hun Top-K gating-kansen.
• Boete: SPHERE past een Parseval-boete (kwadratische boete) toe op het anisotrope component van $A_{last}^{exp}$. De verliesfunctie is gedefinieerd als:
  $$L_{SPHERE}(A_{last}^{exp}) = \left\| A_{last}^{exp} - \frac{\text{Tr}(A_{last}^{exp})}{m} I_m \right\|_F^2$$
  Deze boete stimuleert dat de eigenwaarden van de feature Gram gelijk zijn (isotroop), waardoor de effectieve rang toeneemt en spectrale plasticiteit wordt behouden.
• Theoretisch Garandeer: De auteurs bewijzen dat het optimaliseren van deze boete een spectrale contractie induceert, wat het conditienummer van de proxy monotoon doet afnemen en de ondergrens voor de eNTK-effectieve rang verhoogt.

2.4 Implementatie

SPHERE is geïntegreerd in de PPO-trainingsslus. Bij elke gradient-update wordt de gewogen expert feature Gram berekend vanuit de forward pass, en wordt de SPHERE-boete toegevoegd aan de verliesfunctie van de actor. De regularisatiecoëfficiënt wordt adaptief geschaald op basis van de verhouding tussen de gradientnorm van de actor en de gradientnorm van SPHERE.

3. Belangrijkste Bijdragen

1. Formalisering: Het artikel definieert plasticiteitsverlies in MoE-beleidsfuncties formeel als een verlies aan spectrale plasticiteit, gekwantificeerd door de spectrale-entropy effectieve rang van de empirische NTK.
2. Hanteerbare Proxy: Het leidt een praktische, laagsgewijze surrogaat voor spectrale plasticiteit af die uitsluitend rust op individuele expert feature-matrices, waardoor het construeren van de volledige eNTK wordt vermeden.
3. Algoritme (SPHERE): Het introduceert SPHERE, een principiële regularisator die isotropie afdwingt op gewogen expert-features om spectrale ineenstorting tegen te gaan.
4. Empirische Validatie: De methode is geëvalueerd op MetaWorld en HumanoidBench, waarbij consistente verbeteringen worden aangetoond ten opzichte van niet-geregulariseerde MoE-baselines en eerdere methoden voor plasticiteitsmitigatie.

4. Experimentele Resultaten

De auteurs hebben SPHERE geëvalueerd op twee robotica-benchmarks:

• MetaWorld (CW10): Een suite van 10 manipulatie-taken.
• HumanoidBench: Een suite van 5 locomotie-taken voor de H1-humanoïde.

Belangrijkste Bevindingen:

• Prestatiewinsten:
  • Op MetaWorld onder CRL verbeterde SPHERE het gemiddelde succespercentage met 133% ten opzichte van een niet-geregulariseerde Top-K MoE-baseline.
  • Op HumanoidBench onder CRL verbeterde SPHERE het gemiddelde succes met 50% ten opzichte van de baseline.
  • SPHERE toonde ook winsten in standaard RL-omgevingen (enkel-taak training), wat suggereert dat spectrale plasticiteit zelfs binnen een enkele taak kan vervallen door distributieverschuiving.
• Handhaving van Spectrale Plasticiteit: Gedurende de training behield SPHERE een significant hogere effectieve rang ($r_e(K)$) in vergelijking met baselines, die een snelle spectrale ineenstorting vertoonden.
• Ablatiestudies:
  • Het bleek het meest effectief om alleen de laatste verborgen expertlaag te regulariseren; het regulariseren van alle lagen of alleen de gate leverde lagere prestaties op.
  • Cross-expert concatenatie (het regulariseren van de gezamenlijke feature Gram in plaats van individuele experts) was cruciaal voor winst, wat wijst op het belang van het beheersen van cross-expert correlaties.
  • De methode is robuust over verschillende activatiefuncties (ReLU, Tanh), aantallen experts en MoE-varianten (Dense-MoE, DS-MoE).
• Kwalitatieve Analyse: t-SNE-visualisaties toonden aan dat zonder SPHERE staatsrepresentaties instortten naar een enkele dominante feature-richting. Met SPHERE bleven representaties divers en isotroop.

5. Betekenis en Claims

Het artikel claimt dat SPHERE een principiële oplossing biedt voor het probleem van plasticiteitsverlies in op MoE gebaseerde DRL-agenten. Door plasticiteitsverlies te kaderen door de lens van spectrale theorie (eNTK-effectieve rang), overbruggen de auteurs de kloof tussen theoretisch begrip en praktische regularisatie.

De betekenis van het werk ligt in:

• Het mogelijk maken van Schaalbaar Continual Learning: Naarmate MoE-architecturen standaard worden voor het schalen van RL-agenten, zorgt SPHERE ervoor dat deze modellen het vermogen behouden om nieuwe vaardigheden te leren over lange reeksen taken, waardoor systematische fouten bij latere taken worden voorkomen.
• Theoretisch Inzicht: Het biedt een nieuw perspectief op MoE-dynamiek, waarbij routing-mechanismen en expert-specialisatie worden gekoppeld aan de spectrale eigenschappen van het leerlandschap.
• Praktische Efficiëntie: De methode is computatie-efficiënt (voegt slechts ~3-6% overhead toe, zelfs met 1000 experts) en integreert naadloos in bestaande PPO-pijplijnen zonder architecturale wijzigingen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat hun afleiding berust op theoretische benaderingen (blokg-diagonaal en onafhankelijkheid binnen lagen) en dat de huidige reikwijdte beperkt is tot continu-controleren RL. Zij identificeren het uitbreiden van SPHERE naar grootschalige foundation-modellen als een richting voor toekomstig werk.