Beyond Single-Model Optimization: Preserving Plasticity in Continual Reinforcement Learning

1. Problemstellung

Das Paper adressiert das fundamentale Dilemma zwischen Stabilität und Plastizität im Kontext des kontinuierlichen Reinforcement Learning (Continual RL).

• Katastrophales Vergessen (Catastrophic Forgetting): Das Netzwerk verliert die Fähigkeit, frühere Aufgaben zu lösen, wenn es neue lernt.
• Verlust der Plastizität (Loss of Plasticity): Selbst wenn frühere Leistungen erhalten bleiben, verliert der Agent die Fähigkeit, sich schnell an neue Aufgaben anzupassen oder neue Fähigkeiten zu erlernen. Dies führt zu einer langsamen Konvergenz oder einem vollständigen Stillstand des Lernens.

Die Autoren kritisieren den aktuellen Single-Model-Paradigmen: Die meisten bestehenden Methoden (Regularisierung, Replay, Architektur-Erweiterung) versuchen, eine einzelne evolvinge Policy (eine einzelne Lösung im Parameterraum) zu schützen oder zu optimieren.

• Das Kernproblem: Eine einzelne, konvergierte Policy ist oft ein „scharfer" Punkt im Parameterraum, der instabil gegenüber Verteilungsverschiebungen und Interferenzen ist. Selbst wenn diese Policy kompetent bleibt, bietet sie möglicherweise keinen geeigneten Startpunkt für das schnelle Wiedererlernen (Relearning) nach Störungen.
• Die Hypothese: Die zukünftige Lernfähigkeit (Plastizität) ist keine Eigenschaft eines einzelnen Parametervektors, sondern eines wiederherstellbaren Nachbarschaftsbereichs (Neighborhood) um eine kompetente Lösung herum.

2. Methodik: TELAPA Framework

Die Autoren stellen TELAPA (Transfer-Enabled Latent-Aligned Policy Archives) vor, ein Framework, das sich von der Erhaltung einzelner Modelle hin zur Erhaltung von Fähigkeits-Nachbarschaften (Skill Neighborhoods) bewegt.

Kernkomponenten:

1. Policy-Archive pro Aufgabe:

   • Statt nur eine Policy pro Aufgabe zu speichern, trainiert TELAPA zunächst eine Basis-Policy (mittels PPO) und führt dann eine „Illumination"-Phase durch.
     Dabei werden mutierte Nachkommen dieser Policy evaluiert und in einem Archive gespeichert. Dieses Archive enthält eine Vielzahl von Eliten (Elite Policies), die kompetent, aber verhaltensdivers sind.
   • Dies basiert auf dem MAP-Elites-Algorithmus (Quality-Diversity), erweitert um einen gemeinsamen latenten Raum.

2. Gemeinsamer Latenter Verhaltensraum (Shared Latent Behavior Space):

   • Um Policies aus verschiedenen Aufgaben vergleichbar zu machen, wird ein Trajectory Embedder (ein Encoder für Trajektorien) verwendet.
   • Policies werden in diesen latenten Raum projiziert, wobei nahe beieinander liegende Punkte verhaltensähnliche Lösungen repräsentieren sollen.
   • Herausforderung: Bei kontinuierlichem Lernen driftet der Encoder (Representation Drift), was die Nachbarschaftsbeziehungen im latenten Raum zerstören und die Wiederverwendung von Archiven unmöglich machen kann.

3. Erhaltung des latenten Raums unter Drift (Latent Space Maintenance):
   Um die Navigierbarkeit des Archivs trotz sich ändernder Encoder zu gewährleisten, implementiert TELAPA drei Mechanismen:

   • Anchor Sets: Ein Satz von Referenz-Trajektorien (Anker), die als stabile Referenzpunkte dienen.
   • Replay-basierte Ausrichtung (Alignment): Ein „Teacher-Student"-Ansatz, bei dem ein eingefrorener Teacher-Encoder den Student-Encoder während des Trainings auf neuen Daten diszipliniert, sodass die Anker-Trajektorien im latenten Raum stabil bleiben (Distillation Loss).
   • Periodisches Re-Embedding: Nach jedem Update des Encoders werden alle gespeicherten Archive neu in den aktuellen latenten Raum projiziert, um die Konsistenz der Geometrie sicherzustellen.

4. Transfer-Strategie (Archive-then-Retrieve):

   • Bei einer neuen Aufgabe wird nicht nur die letzte Policy verwendet. Stattdessen wird ein Pool von Kandidaten aus allen vorherigen Archiven gezogen.
   • Eine Few-Shot-Auswahl identifiziert die beste Start-Policy für die neue Aufgabe, basierend auf kurzer Adaptionszeit und der Fähigkeit, den „Basin" (das Tal der Verlustfunktion) schnell wiederzufinden.

3. Wichtige Beiträge

1. Paradigmenwechsel: Das Paper argumentiert, dass das relevante Objekt der Erhaltung im Continual RL nicht eine isolierte Lösung, sondern ein Skill-Neighborhood (eine lokale Mannigfaltigkeit verhaltensverschiedener, aber kompetenter Policies) ist.
2. Nachweis der Ineffizienz einzelner Modelle: Die Autoren zeigen, dass die „Quelloptimal-Policy" (die beste Policy für die Quellaufgabe) oft nicht die „Transfer-Optimal-Policy" für die Zielaufgabe ist. Selbst innerhalb einer lokalen, kompetenten Nachbarschaft gibt es signifikante Unterschiede im Transfererfolg.
3. Stabilisierung der Repräsentation: Es wird gezeigt, dass die Erhaltung von Archiven allein nicht ausreicht; die geometrische Ausrichtung des latenten Raums über die Zeit hinweg ist entscheidend für die erfolgreiche Wiederverwendung.
4. Stepping-Stone-Strukturen: TELAPA erhält eine „Leiter" von Zwischenschritten (Lineages) über verschiedene Aufgaben hinweg, die als Sprungbretter für zukünftiges Lernen dienen, anstatt nur die letzte Lösung zu speichern.

4. Ergebnisse

Die Evaluation erfolgte in einer MiniGrid-Umgebung mit einem Curriculum aus fünf Aufgaben (Navigation, Pickup, Tür-Öffnen, etc.) und deren Wiederholungen (Revisits) nach Interferenz durch andere Aufgaben.

• Vergleich mit Baselines: TELAPA wurde gegen eine breite Palette von Single-Model-Methoden getestet (Fine-Tuning, EWC, L2-Init, Shrink-and-Perturb, DFF, etc.).
• Leistungsmetriken:
  • Mean Success Rate (SR): TELAPA erreichte mit 0.706 die höchste Erfolgsrate (gegenüber ~0.588 bei Fine-Tuning).
  • Time-To-Threshold (TTT): TELAPA benötigte mit 3.35M Schritten die wenigsten Schritte, um ein Kompetenzniveau wieder zu erreichen (deutlich schneller als alle Baselines, die oft >5M benötigten).
  • Coverage & Retention: TELAPA lernte mehr Aufgaben erfolgreich (Coverage 0.50) und behielt diese Kompetenzen besser bei (Threshold Retention 0.25).
• Analyse der lokalen Nachbarschaft:
  • In 35,5 % der Fälle war die beste Policy für die Quellaufgabe nicht die beste für die Zielaufgabe.
  • Selbst innerhalb einer lokalen Nachbarschaft der besten Policy gab es signifikante Unterschiede im Transfererfolg. Das Zusammenfassen auf eine einzige Policy führt also zu einem messbaren Verlust an Transferfähigkeit.
• Robustheit: Die Vorteile von TELAPA blieben auch bei inversen oder nicht-monotonen Curriculum-Reihenfolgen (Anti-Curriculum) bestehen, was zeigt, dass die Methode nicht nur von einer günstigen Aufgabenreihenfolge profitiert.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zum Verständnis von Plastizität in Continual RL. Es widerlegt die Annahme, dass das Speichern einer einzigen „besten" Lösung ausreicht, um zukünftiges Lernen zu ermöglichen.

• Wissenschaftliche Implikation: Plastizität hängt von der Verfügbarkeit eines strukturierten, verhaltensdiversen Sets von Startpunkten ab. Das „Zusammenbrechen" (Collapsing) dieser Vielfalt auf einen einzigen Parametervektor zerstört die Fähigkeit des Agents, sich an neue, interferierende Umgebungen anzupassen.
• Technische Implikation: Die Erhaltung von Archiven ist nur dann effektiv, wenn der zugrundeliegende latente Raum stabilisiert wird. TELAPA demonstriert, wie durch Anchor-Sets und Re-Embedding eine navigierbare Geometrie über die Zeit hinweg erhalten werden kann.
• Zukunftsausblick: Die Ergebnisse legen nahe, dass zukünftige RL-Algorithmen nicht nur auf die Optimierung der aktuellen Performance, sondern auf die Erhaltung einer diversen, wiederverwendbaren Wissensbasis (Skill-Archives) abzielen sollten, um lebenslange Autonomie zu ermöglichen.

Zusammenfassend bietet TELAPA einen Weg über die Grenzen der Single-Model-Optimierung hinaus, indem es die Plastizität durch die Erhaltung und Organisation von Fähigkeits-Nachbarschaften in einem stabilen latenten Raum sicherstellt.