🤖 machine learning

Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning

Dieses Paper führt Calibrated Partial Resets (CPR) ein, einen Optimierer, der durch das periodische und selektive Zurückführen von Neuronen mit geringem Nutzen in Richtung ihrer Initialisierung den Zusammenbruch der Policy in kontinuierlichem Reinforcement Learning verhindert und so die Plastizität aufrechterhält, ohne die Spitzenleistung zu opfern.

Ursprüngliche Autoren: Luc McCutcheon, Evangelos Chatzaroulas, Saber Fallah

Veröffentlicht 2026-07-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Luc McCutcheon, Evangelos Chatzaroulas, Saber Fallah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen, Laufen oder das Spielen von Videospielen bei. Sie lehren ihn nicht nur einmal und hoffen, dass er es für immer behält; Sie werfen ihn in eine Welt, die sich ständig verändert. Vielleicht wird der Boden rutschig, oder die Regeln des Spiels ändern sich, oder der Roboter muss eine völlig neue Fähigkeit erlernen, nachdem er die alte gemeistert hat. Dies ist die Welt des „kontinuierlichen Lernens“. Das Problem ist, dass diese digitalen Gehirne (neuronale Netze), während sie immer mehr lernen, dazu neigen, „festzustecken“. Einige Teile ihres Gehirns hören ganz auf zu funktionieren und werden wie inaktive Neuronen, die niemals feuern, während andere Teile so starr werden, dass sie sich nicht mehr an neue Situationen anpassen können. Es ist wie ein Schüler, der das Lehrbuch so gut auswendig gelernt hat, dass er keine einzige Aufgabe lösen kann, wenn sich die Zahlen ändern. Wenn ein Roboter diese Anpassungsfähigkeit verliert, könnte er plötzlich vergessen, wie man geht, oder noch schlimmer, in einer chaotischen Schleife schlechter Entscheidungen abstürzen und untergehen. Wissenschaftler haben versucht, dies zu beheben, indem sie das Gehirn des Roboters gelegentlich „zurücksetzen“, aber die alten Methoden des Zurücksetzens waren ein wenig so, als würde man einen Reset-Knopf drücken, der zu hart war und oft die aktuellen Fähigkeiten des Roboters zerstörte, gerade als er versuchte, neue zu lernen.

Dieses Paper stellt einen cleveren neuen Trick namens Calibrated Partial Resets (CPR) vor, um dieses Problem zu lösen. Stellen Sie sich ein neuronales Netz wie ein riesiges Team von Arbeitern vor, bei dem jeder Arbeiter (ein Neuron) für einen winzigen Teil der Entscheidungsfindung des Roboters verantwortlich ist. Im Laufe der Zeit hören einige Arbeiter auf, etwas Nützliches zu tun; sie werden „dormant“ (ruhend) oder „schläfrig“. Die alte Methode, um dies zu beheben, bestand darin, diese schlafenden Arbeiter zu entlassen und brandneue einzustellen. Aber diese alle auf einmal zu entlassen, ist so, als würde man die Hälfte des Personals in einer geschäftigen Küche mitten im Abendgeschäft entlassen – das verursacht Chaos und das Essen (die Leistung des Robotors) wird ruiniert.

Die Autoren dieses Papers schlagen einen sanfteren, klügeren Ansatz vor. Anstatt die schlafenden Arbeiter komplett zu entlassen, gibt CPR ihnen einen sanften „Anstoß“ zurück zu ihrem ursprünglichen, frischen Zustand. Aber hier liegt die Magie: Die Größe dieses Anstoßes hängt davon ab, wie nutzlos der Arbeiter ist. Wenn ein Arbeiter kaum noch etwas Sinnvolles tut, bekommt er einen großen Stoß, um ihn aufzuwecken. Wenn ein Arbeiter noch immer einen großartigen Job macht, bekommt er ein winziges, kaum merkliches Tippen. Auf diese Weise behält der Roboter seine besten Fähigkeiten bei, während er gleichzeitig die Teile, die abgestanden sind, langsam auffrischt.

Die Forscher haben diese Idee in einigen sehr anspruchsvollen Umgebungen getestet. Sie trainierten Roboter, die auf Oberflächen liefen, die sich ständig von trocken zu superrutschig änderten – eine Aufgabe, die über eine unglaubliche Dauer von 400 Millionen Schritten stattfand. In diesen Tests führten die alten Methoden (wie der Standard-„binäre Reset“, der Arbeiter komplett entlässt) oft dazu, dass die Roboter kollabierten und völlig vergaßen, wie sie sich bewegen sollten. Die CPR-Methode hingegen hielt die Roboter die ganze Zeit über reibungslos am Laufen. Es war die einzige Methode, die in allen 15 verschiedenen Testläufen keinen einzigen „Policy Collapse“ (einen totalen Zusammenbruch) erlitt.

Das Paper zeigt auch, dass diese Methode in anderen herausfordernden, videospielähnlichen Umgebungen gut funktioniert und hilft, dass Roboter neue Aufgaben lernen, ohne die alten zu vergessen. Die Autoren fanden heraus, dass sie durch die Abstimmung darauf, wie stark sie die „schlafenden“ Arbeiter drücken (eine Einstellung, die sie $\rho$ nennen), das Gleichgewicht zwischen der Stabilität des Roboters und der Geschwindigkeit seines Lernens halten konnten. Sie entdeckten, dass ein moderater Stoß am besten funktioniert, da er verhindert, dass der Roboter auseinanderfällt, während er gleichzeitig die Anpassungsfähigkeit ermöglicht.

Kurz gesagt: Das Paper legt nahe, dass wir anstelle eines „Alles-oder-Nichts“-Reset-Knopfens eher einen „Dimmer“ für das Gehirn unserer KI verwenden sollten. Indem wir genau kalibrieren, wie viel wir jeden Teil des Netzwerks basierend auf seinem Nutzen auffrischen, können wir KI-Agenten ewig lernen lassen, ohne dass sie abstürzen oder untergehen. Die Ergebnisse, die über Hunderte von Millionen Schritten gemessen wurden, deuten darauf hin, dass dieser Ansatz ein vielversprechender Weg ist, um Roboter und KIs zu bauen, die tatsächlich ihr ganzes Leben lang lernen und sich anpassen können.

Technisches Resümee: Calibrated Partial Resets (CPR) für Continual Reinforcement Learning

1. Problemstellung

Tiefe neuronale Netze leiden oft unter einem Verlust der Plastizität während längerer nicht-stationärer Trainingsphasen, ein kritisches Problem im Bereich des Continual Reinforcement Learning (RL). In diesen Szenarien verändern Policy-Updates die zukünftige Datenverteilung des Agenten, was Rückkopplungsschleifen erzeugt, in denen sich kleine Optimierungsinstabilitäten zu katastrophaler Policy-Degradierung aufschaukeln können (Juliani & Ash, 2024).

Bestehende Abhilfemaßnahmen gegen den Verlust der Plastizität, wie Continual Backpropagation (CBP), ReDo und ReGraMa, basieren auf binären Neuronen-Resets. Diese Methoden identifizieren Neuronen mit geringem Nutzen (basierend auf Aktivierungs- oder Gradientenstatistiken) und reinitialisieren sie vollständig. Während dies den Gradientenfluss wiederherstellt, argumentieren die Autoren, dass binäre Resets zwei unterschiedliche Designentscheidungen vermischen: welche Einheiten erneuert werden sollen und wie stark diese verändert werden.

Instabilität: Die „Alles-oder-Nichts“-Natur binärer Resets führt zu abrupten Parameteränderungen und Gradientenspitzen, was das langfristige RL-Training destabilisiert und zu einem Zusammenbruch der Policy führen kann.
Sprödigkeit: Eine vollständige Reinitialisierung setzt ausgehende Gewichte auf Null, was zu Verteilungsverschiebungen in nachfolgenden Schichten führt, was insbesondere ohne Layer Normalization problematisch ist.
Einschränkungen durch uniforme Dekay-Verfahren: Alternative Methoden wie Shrink & Perturb wenden einen uniformen Zerfall auf alle Einheiten an, was zwar glatt, aber unspezifisch ist, da es versäumt, gezielt jene Einheiten anzusprechen, die eine Erneuerung benötigen.

Das Kernproblem ist das Fehlen einer Methode, die sowohl selektiv (gezielt auf Einheiten mit geringem Nutzen ausgerichtet) als auch glatt (Vermeidung abrupter Parametersprünge) ist, um einen Policy-Zusammenbruch zu verhindern und gleichzeitig die Spitzenleistung aufrechtzuerhalten.

2. Methodik: Calibrated Partial Resets (CPR)

Die Autoren schlagen Calibrated Partial Resets (CPR) vor, einen Optimierer, der Neuronen periodisch mit einer Stärke in Richtung ihrer Initialisierung zieht, die durch den Nutzen jedes Neurons skaliert wird. Im Gegensatz zu binären Resets wendet CPR eine kontinuierliche, partielle Anpassung an.

2.1 Schätzung des Nutzens (Utility Estimation)

CPR nutzt gradientenbasierte Nutzenwerte, von denen neuere Arbeiten nahelegen, dass diese vorteilhafter skalieren (Liu et al., 2025).

Rohwert ( $S_i^\ell$ ): Die mittlere Magnitude des Gradienten der eingehenden Gewichte für Einheit $i$ in Schicht $\ell$ .
Normierter Wert ( $u_i^\ell$ ): Um die Vergleichbarkeit über Schichten und Zeiträume hinweg zu gewährleisten, wird der Rohwert schichtweise normiert (dividiert durch den Schichtmittelwert) und mittels eines exponentiell gleitenden Durchschnitts (EMA) mit dem Zerfallsparameter $\beta$ geglättet.

2.2 Der Reset-Mechanismus

Alle $f$ Schritte aktualisiert CPR die Gewichte jedes Neurons $i$ in Schicht $\ell$ gemäß:
$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$
$W_{:, i}^{\ell+1} \leftarrow (1 - r_i^\ell) W_{:, i}^{\ell+1}$

Wobei:

$\xi$ ein Gewicht aus der Initialisierungsverteilung (z. B. Kaiming) ist.
$r_i^\ell$ der Reset-Koeffizient ist, der durch einen maximalen Reset-Anteil $\rho \in (0, 1]$ begrenzt wird.
Der Koeffizient durch eine monoton fallende Funktion $\phi$ des normierten Nutzens $u_i^\ell$ bestimmt wird:
$r_i^\ell = \rho \cdot \phi(u_i^\ell)$

2.3 Die Transformationsfunktion

Die Funktion $\phi$ bildet den Nutzen auf die Reset-Intensität ab. Die Autoren verwenden eine Sigmoid-basierte Form:
$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$

Selektivität: Einheiten mit einem Nutzen unter dem Schichtmittelwert ( $u < 1$ ) erhalten einen Reset-Anteil nahe am Maximum $\rho$ . Einheiten mit hohem Nutzen ( $u > 1$ ) erhalten progressiv kleinere Resets.
Partialität: Selbst für die Einheiten mit dem geringsten Nutzen ist der Reset nur partiell (ein Ziehen in Richtung der Initialisierung um den Faktor $\rho$ ) statt einer vollständigen Reinitialisierung. Dies vermeidet die mit binären Resets verbundenen Gradientenspitzen.
Schärfe ( $\kappa$ ): Steuert, wie scharf der Reset-Anteil mit steigendem Nutzen abfällt. Die Autoren fixieren $\kappa=16$ basierend auf Ablationsstudien, die eine Robustheit über einen weiten Bereich zeigten.

3. Zentrale Beiträge

Identifizierung der Instabilitätsquelle: Die Arbeit identifiziert binäre Neuronen-Resets als primäre Quelle der Instabilität in langfristigem Continual RL und unterscheidet dabei zwischen der Auswahl der Einheiten und der Magnitude ihrer Aktualisierung.
CPR-Optimierer: Einführung eines nutzengestützten partiellen Reset-Optimierers, der die Sprödigkeit vollständiger Reinitialisierung vermeidet, während er die Selektivität von Reset-Methoden beibehält.
Empirische Validierung: Demonstration, dass CPR einen Policy-Zusammenbruch über 400 Millionen Trainingsschritte in der SlipperyAnt-Umgebung verhindert, ein Regime, in dem binäre Reset-Methoden und Standard-Adam versagen.
Trade-off-Kontrolle: Ablationsstudien zeigen, dass der maximale Reset-Anteil $\rho$ einen abstimmbaren Trade-off zwischen Plastizität (Adaption) und Spitzenleistung bietet, was die Vermeidung von Kollaps ermöglicht, ohne präzises Hyperparameter-Tuning zu erfordern.

4. Ergebnisse

Die Autoren evaluierten CPR auf vier Benchmarks: SlipperyAnt, SlipperyHumanoid, Continual MetaWorld und Continual MinAtar.

Verhinderung von Policy-Kollaps: In SlipperyAnt (400M Schritte) war CPR die einzige Methode unter 15 Seeds, die keinen Policy-Kollaps verzeichnete. Im Gegensatz dazu kollabierte Adam, und binäre Reset-Methoden (ReDo, ReGraMa) zeigten signifikante Leistungsabfälle oder Kollapse.
Leistung: CPR erreichte den höchsten Interquartils-Mittelwert (IQM) des episodischen Returns in SlipperyAnt und SlipperyHumanoid. Es übertraf zudem die Baselines (CBP, ReDo, ReGraMa, Shrink & Perturb) in Continual MetaWorld und Continual MinAtar.
Stabilitätsmetriken:
- Dormante Neuronen: CPR hielt ein niedriges, flaches Verhältnis an inaktiven (dormant) Neuronen auf, vergleichbar mit CBP, jedoch ohne den im Spätstadium des Trainings beobachteten Drift von Adam.
- Gradientennormen: CPR wies im Vergleich zu binären Reset-Baselines geringere Fluktuationen in den Actor-Gradientennormen auf, was mit der Fähigkeit zur Vermeidung von Kollapsen korreliert.
- Parameternormen: CPR begrenzte das Parameterwachstum, einen bekannten Treiber für Plastizitätsverlust, während Baselines ein höheres Parameterwachstum zeigten.
Ablationen:
- Schärfe ( $\kappa$ ): Die Leistung blieb für $\kappa \in [2, 20]$ robust. Niedrige Werte ( $\kappa \le 1$ ) verschlechterten die Leistung, da sie die Resets zu uniform machten.
- Reset-Magnitude ( $\rho$ ): Ein Bereich von $\rho \in [0.01, 0.05]$ verhinderte konsistent den Kollaps. Ein niedrigeres $\rho$ bewahrte die Stabilität, behinderte aber die Adaption; ein höheres $\rho$ steigerte die Plastizität, riskierte aber ein Über-Resetten nützlicher Strukturen.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass CPR eine qualitative Verschiebung in der Trainingszuverlässigkeit für langfristiges RL darstellt. Durch den Ersatz von Alles-oder-Nichts-Aktualisierungen durch nutzengestützte partielle Resets injiziert CPR die notwendige Plastizität, ohne die destabilisierenden, scharfen Parameteraktualisierungen zu verursachen, die zum Policy-Kollaps führen.

Die Autoren betonen, dass CPR zwar eine höhere Implementierungskomplexität einführt (Berechnung des pro-Neuron-Nutzens und Speicherung gleitender Durchschnitte), der Rechenaufwand jedoch marginal ist (~6 % Steigerung der Wall-Clock-Zeit bei hochdimensionalen Aufgaben) und die Methode modular ist, was minimale Änderungen an Standard-Trainings-Pipelines (z. B. Optax) erfordert.

Die Arbeit kommt zu dem Schluss, dass die nutzengestützte Reinitialisierung eine vielversprechende Richtung für das Continual Learning ist, da sie einen abstimmbaren Mechanismus bietet, um den Stabilitäts-Plastizitäts-Trade-off auszubalancieren. Die Autoren räumen Einschränkungen ein und merken an, dass sich CPR auf Aufgaben-Dynamiken und Identitätsverschiebungen konzentriert und nicht beansprucht, alle Formen der Instabilität im Continual RL (z. B. Belohnungs-Nicht-Stationarität oder Morphologie-Änderungen) zu lösen. Als zukünftige Arbeit wird vorgeschlagen, die Rollen der Nutzen-Schätzung, der partiellen Reinitialisierung und des Optimizer-State-Handlings über breitere Architekturen hinweg zu isolieren.