Technische Zusammenfassung: SPHERE – Minderung des Verlusts spektraler Plastizität in Mixture-of-Experts für Deep Reinforcement Learning

1. Problemstellung

Im Deep Reinforcement Learning (DRL) leiden Agenten, die auf Erfahrungsströmen trainiert werden, häufig unter Plastizitätsverlust: einem allmählichen Rückgang ihrer Fähigkeit, aus neuen Erfahrungen neue Fähigkeiten zu erlernen, während das Training fortschreitet. Dieses Phänomen ist in Continual Reinforcement Learning (CRL)-Szenarien besonders schädlich, in denen ein Agent eine Reihe von Aufgaben sequenziell meistern muss.

Während Mixture-of-Experts (MoE)-Architekturen erfolgreich eingesetzt wurden, um die Kapazität von Richtlinien (Policies) in DRL zu skalieren (z. B. für Manipulatoren, Humanoidroboter und Vierbeiner), deuten empirische Studien darauf hin, dass MoE-Richtlinien auch in kontinuierlichen Szenarien unter schwerwiegendem Plastizitätsverlust leiden. Mit fortschreitendem Training kann sich die Leistung von MoE verschlechtern, was darauf hindeutet, dass die Architektur selbst denselben Mechanismen des Kapazitätsverlusts unterliegt, die bei dichten Netzwerken beobachtet werden.

Die zentrale Herausforderung, die in diesem Papier adressiert wird, ist das Fehlen einer formalen Charakterisierung von Plastizitätsverlust speziell innerhalb von MoE-Richtlinien sowie das Fehlen praktischer Methoden zu dessen Minderung. Bestehende Minderungsstrategien für dichte Netzwerke (z. B. spektrale Normalisierung, Hessian-Regularisierung) lassen sich nicht direkt auf die sparse, geroutete Struktur von MoE-Richtlinien übertragen.

2. Methodik: SPHERE

Die Autoren schlagen SPHERE (Spectral Plasticity via Hyperspherical Expert REgularization) vor, einen prinzipiellen Regularisierer, der entwickelt wurde, um die Lernkapazität von MoE-Richtlinien zu erhalten. Die Methodik verläuft durch vier wesentliche theoretische und praktische Schritte:

2.1 Formalisierung von Plastizitätsverlust als spektrale Plastizität

Aufbauend auf der Theorie des Neural Tangent Kernel (NTK) formalisieren die Autoren Plastizitätsverlust als Verlust spektraler Plastizität.

• Mechanismus: Die Aktualisierungsrichtung einer Richtlinie wird durch die empirische NTK-Matrix (eNTK) $K = JJ^\top$ bestimmt, wobei $J$ die Jacobi-Matrix der Netzwerkausgaben bezüglich der Parameter ist.
• Definition: Plastizitätsverlust entspricht einem Zusammenbruch des spektral-entropischen effektiven Rangs ($r_e$) der eNTK. Ein hoher effektiver Rang impliziert ein isotropes Spektrum, das Aktualisierungen in vielfältigen Richtungen ermöglicht. Ein niedriger effektiver Rang (spektraler Zusammenbruch) beschränkt Aktualisierungen auf wenige dominante Richtungen und behindert die Fähigkeit, neue Aufgaben zu erlernen.
• Beobachtung: In CRL kollabiert das eNTK-Spektrum von MoE-Richtlinien, was den effektiven Rang verringert und funktionale Aktualisierungen einschränkt.

2.2 Herleitung eines handhabbaren Proxys

Die direkte Berechnung der eNTK-Matrix $K$ ist für große Netzwerke aufgrund von Speicherbeschränkungen ($O(N^2P)$) nicht handhabbar. Um dies zu adressieren, leiten die Autoren einen handhabbaren Proxy basierend auf der Gauss-Newton (GN)-Matrix im Parameterraum ab ($G_{GN} = \frac{1}{N}J^\top J$).

• Zerlegung: Sie zerlegen die GN-Matrix in blockdiagonale Komponenten, die den Gate- und Expert-Parametern entsprechen.
• Schichtweise Approximation: Unter einer blockdiagonalen Approximation wird der effektive Rang der vollständigen eNTK als Mischung der effektiven Ränge einzelner Schichtblöcke ausgedrückt.
• Expert-Block-Surrogat: Für die Expertenschichten nutzen die Autoren einen Kronecker-Proxy ($\tilde{G}_{GN} = A \otimes G$), wobei $A$ die Feature-Gramm-Matrix und $G$ die Gradient-Gramm-Matrix ist. Sie beweisen, dass der effektive Rang des Expert-Blocks durch eine Funktion der Konditionszahl dieses Kronecker-Proxys nach unten beschränkt ist.

2.3 Der SPHERE-Regularisierer

Um die untere Schranke der spektralen Plastizität zu maximieren, zielen die Autoren darauf ab, die Konditionszahl der Feature-Gramm-Matrix $A$ zu minimieren.

• Ziel: Sie konzentrieren sich auf die gewichtete Expert-Feature-Gramm-Matrix ($A_{last}^{exp}$) an der letzten versteckten Expertenschicht. Diese Matrix wird durch Konkatenation von Expert-Features konstruiert, gewichtet durch ihre Top-K-Gating-Wahrscheinlichkeiten.
• Strafterm: SPHERE wendet eine Parseval-Strafe (quadratische Strafe) auf die anisotrope Komponente von $A_{last}^{exp}$ an. Die Verlustfunktion ist definiert als:
  $$L_{SPHERE}(A_{last}^{exp}) = \left\| A_{last}^{exp} - \frac{\text{Tr}(A_{last}^{exp})}{m} I_m \right\|_F^2$$
  Diese Strafe fördert, dass die Eigenwerte der Feature-Gramm-Matrix gleich sind (isotrop), wodurch der effektive Rang erhöht und die spektrale Plastizität erhalten bleibt.
• Theoretische Garantie: Die Autoren beweisen, dass die Optimierung dieser Strafe eine spektrale Kontraktion induziert, die die Konditionszahl des Proxys monoton verringert und die untere Schranke des eNTK-effektiven Rangs erhöht.

2.4 Implementierung

SPHERE wird in den PPO-Trainingsloop integriert. Bei jedem Gradientenupdate wird die gewichtete Expert-Feature-Gramm-Matrix aus dem Forward-Pass berechnet, und die SPHERE-Strafe wird zur Verlustfunktion des Actors hinzugefügt. Der Regularisierungskoeffizient wird adaptiv basierend auf dem Verhältnis der Gradientennorm des Actors zur SPHERE-Gradientennorm skaliert.

3. Hauptbeiträge

1. Formalisierung: Das Papier definiert Plastizitätsverlust in MoE-Richtlinien formal als Verlust spektraler Plastizität, quantifiziert durch den spektral-entropischen effektiven Rang der empirischen NTK.
2. Handhabbarer Proxy: Es leitet einen praktischen, schichtweisen Surrogatwert für spektrale Plastizität ab, der sich nur auf einzelne Expert-Feature-Matrizen stützt und die Konstruktion der vollständigen eNTK vermeidet.
3. Algorithmus (SPHERE): Es stellt SPHERE vor, einen prinzipiellen Regularisierer, der Isotropie auf gewichteten Expert-Features erzwingt, um spektralen Zusammenbruch zu bekämpfen.
4. Empirische Validierung: Die Methode wird auf MetaWorld und HumanoidBench evaluiert und zeigt konsistente Verbesserungen gegenüber unregularisierten MoE-Baselines und früheren Methoden zur Minderung von Plastizitätsverlust.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SPHERE auf zwei Robotik-Benchmarks:

• MetaWorld (CW10): Eine Suite von 10 Manipulationsaufgaben.
• HumanoidBench: Eine Suite von 5 Lokomotionsaufgaben für den Humanoidroboter H1.

Wichtige Erkenntnisse:

• Leistungssteigerungen:
  • Auf MetaWorld unter CRL verbesserte SPHERE die durchschnittliche Erfolgsrate um 133% gegenüber einer unregularisierten Top-K MoE-Baseline.
  • Auf HumanoidBench unter CRL verbesserte SPHERE den durchschnittlichen Erfolg um 50% gegenüber der Baseline.
  • SPHERE zeigte auch Verbesserungen in Standard-RL-Szenarien (Einzel-Aufgaben-Training), was darauf hindeutet, dass spektrale Plastizität selbst innerhalb einer einzelnen Aufgabe aufgrund von Verteilungsdrift abnehmen kann.
• Erhaltung spektraler Plastizität: Während des Trainings behielt SPHERE einen signifikant höheren effektiven Rang ($r_e(K)$) bei als Baselines, die einen schnellen spektralen Zusammenbruch aufwiesen.
• Ablationsstudien:
  • Die Regularisierung nur der letzten versteckten Expertenschicht erwies sich als am effektivsten; die Regularisierung aller Schichten oder nur des Gates führte zu geringerer Leistung.
  • Die kreuz-Expert-Konkatenation (Regularisierung der gemeinsamen Feature-Gramm-Matrix anstelle einzelner Experten) war entscheidend für die Verbesserungen, was die Bedeutung des Managements von Korrelationen zwischen Experten unterstreicht.
  • Die Methode ist robust gegenüber verschiedenen Aktivierungsfunktionen (ReLU, Tanh), Expertenzahlen und MoE-Varianten (Dense-MoE, DS-MoE).
• Qualitative Analyse: t-SNE-Visualisierungen zeigten, dass ohne SPHERE die Zustandsrepräsentationen auf eine einzige dominante Feature-Richtung kollabierten. Mit SPHERE blieben die Repräsentationen vielfältig und isotrop.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass SPHERE eine prinzipielle Lösung für das Problem des Plastizitätsverlusts bei MoE-basierten DRL-Agenten bietet. Indem die Autoren Plastizitätsverlust durch die Brille der Spektraltheorie (eNTK-effektiver Rang) betrachten, überbrücken sie die Lücke zwischen theoretischem Verständnis und praktischer Regularisierung.

Die Bedeutung der Arbeit liegt in:

• Ermöglichung skalierbaren kontinuierlichen Lernens: Da MoE-Architekturen zum Standard für die Skalierung von RL-Agenten werden, stellt SPHERE sicher, dass diese Modelle die Fähigkeit behalten, über lange Sequenzen von Aufgaben hinweg neue Fähigkeiten zu erlernen, und verhindert systematische Ausfälle bei späteren Aufgaben.
• Theoretische Einsicht: Es bietet eine neue Perspektive auf MoE-Dynamiken und verknüpft Routing-Mechanismen und Expertenspezialisierung mit den spektralen Eigenschaften der Lernlandschaft.
• Praktische Wirksamkeit: Die Methode ist recheneffizient (fügt selbst bei 1000 Experten nur ~3-6% Overhead hinzu) und lässt sich nahtlos in bestehende PPO-Pipelines integrieren, ohne architektonische Änderungen zu erfordern.

Die Autoren räumen Einschränkungen ein und stellen fest, dass ihre Herleitung auf theoretischen Approximationen (blockdiagonal und Unabhängigkeit innerhalb der Schichten) beruht und dass der aktuelle Umfang auf kontinuierliches Steuerungs-RL beschränkt ist. Sie identifizieren die Erweiterung von SPHERE auf großskalige Foundation-Modelle als Richtung für zukünftige Arbeiten.