Technische Samenvatting: Gekalibreerde Partiële Resets (CPR) voor Continual Reinforcement Learning

1. Probleemstelling

Diepe neurale netwerken lijden vaak aan een verlies van plasticiteit tijdens langdurige niet-stationaire training, een kritiek probleem in Continual Reinforcement Learning (RL). In deze omgevingen veranderen beleidsupdates de toekomstige datadistributie van de agent, wat feedbackloops creëert waarbij kleine optimalisatie-instabiliteiten kunnen uitmonden in catastrofale beleidsdegradatie (Juliani & Ash, 2024).

Bestaande remedies voor plasticiteitsverlies, zoals Continual Backpropagation (CBP), ReDo en ReGraMa, vertrouwen op binaire neuron-resets. Deze methoden identificeren neuronen met een lage bruikbaarheid (gebaseerd op activatie- of gradiëntstatistieken) en reinitialiseren deze volledig. Hoewel dit de gradiëntstroom herstelt, stellen de auteurs dat binaire resets twee verschillende ontwerpkeuzes samenvoegen: welke eenheden worden ververst en hoe sterk ze worden veranderd.

• Instabiliteit: Het "alles-of-niets"-karakter van binaire resets introduceert abrupte parameterveranderingen en gradiëntpieken, wat de RL-training over lange termijn destabiliseert en kan leiden tot beleidscollaps.
• Broosheid: Volledige reinitialisatie zet uitgaande gewichten op nul, wat zorgt voor distributieverschuivingen in opeenvolgende lagen, wat bijzonder problematisch is zonder laagnormalisatie.
• Beperkingen van Uniforme Decay: Alternatieve methoden zoals Shrink & Perturb passen uniforme decay toe op alle eenheden, wat vloeiend is maar onselectief, waardoor het niet in staat is om specifiek de eenheden te targeten die verversing nodig hebben.

Het kernprobleem is het gebrek aan een methode die zowel selectief (gericht op eenheden met lage bruikbaarheid) als vloeiend (het vermijden van abrupte parameterversprongen) is om beleidscollaps te voorkomen terwijl de piekprestaties behouden blijven.

2. Methodologie: Gekalibreerde Partiële Resets (CPR)

De auteurs stellen Calibrated Partial Resets (CPR) voor, een optimizer die periodiek neuronen naar hun initialisatie trekt met een sterkte die geschaald is naar de bruikbaarheid van elke eenheid. In tegenstelling tot binaire resets, past CPR een continue, partiële aanpassing toe.

2.1 Bruikbaarheidsschatting (Utility Estimation)

CPR maakt gebruik van gradiëntgebaseerde bruikbaarheidsscores, die recent werk suggereert gunstiger te schalen (Liu et al., 2025).

• Ruwe Score ($S_i^\ell$): De gemiddelde magnitude van de gradiënt van de inkomende gewichten voor eenheid $i$ in laag $\ell$.
• Genormaliseerde Score ($u_i^\ell$): Om vergelijkbaarheid tussen lagen en tijd te garanderen, wordt de ruwe score laag-genormaliseerd (gedeeld door het laaggemiddelde) en gladgestreken met een Exponential Moving Average (EMA) met een decay-parameter $\beta$.

2.2 Het Resetmechanisme

Elke $f$ stappen voert CPR een update uit op de gewichten van elke neuron $i$ in laag $\ell$ volgens:
$$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$$
$$W_{:, i}^{\ell+1} \leftarrow (1 - r_i^\ell) W_{:, i}^{\ell+1}$$

Waar:

• $\xi$ een gewicht is getrokken uit de initialisatiedistributie (bijv. Kaiming).
• $r_i^\ell$ de resetcoëfficiënt is, begrensd door een maximale resetfractie $\rho \in (0, 1]$.
• De coëfficiënt wordt bepaald door een monotoon dalende functie $\phi$ van de genormaliseerde bruikbaarheid $u_i^\ell$:
  $$r_i^\ell = \rho \cdot \phi(u_i^\ell)$$

2.3 De Transformatiefunctie

De functie $\phi$ brengt bruikbaarheid in kaart naar resetintensiteit. De auteurs gebruiken een sigmoid-gebaseerde vorm:
$$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$$

• Selectiviteit: Eenheden met een bruikbaarheid onder het laaggemiddelde ($u < 1$) ontvangen een resetfractie die dicht bij de maximale $\rho$ ligt. Eenheden met een hoge bruikbaarheid ($u > 1$) ontvangen progressief kleinere resets.
• Partialiteit: Zelfs voor de eenheden met de laagste bruikbaarheid is de reset partiël (het trekken naar de initialisatie door $\rho$) in plaats van een volledige reinitialisatie. Dit voorkomt de gradiëntpieken die geassocieerd worden met binaire resets.
• Scherpte ($\kappa$): Controleert hoe scherp de resetfractie daalt naarmate de bruikbaarheid toeneemt. De auteurs fixeren $\kappa=16$ op basis van ablatie-studies die robuustheid aantonen over een breed bereik.

3. Belangrijkste Bijdragen

1. Identificatie van de bron van instabiliteit: Het artikel identificeert binaire neuron-resets als een primaire bron van instabiliteit in langdurige continual RL, waarbij onderscheid wordt gemaakt tussen de selectie van eenheden en de magnitude van hun update.
2. CPR Optimizer: Introductie van een bruikbaarheid-geschaalde partiële reset-optimizer die de broosheid van volledige reinitialisatie vermijdt terwijl de selectiviteit van reset-methoden behouden blijft.
3. Empirische Validatie: Demonstratie dat CPR beleidscollaps voorkomt over 400 miljoen trainingsstappen in de SlipperyAnt-omgeving, een regime waarin binaire reset-methoden en standaard Adam falen.
4. Trade-off Controle: Ablatie-studies onthullen dat de maximale resetfractie $\rho$ een afstembaar evenwicht biedt tussen plasticiteit (adaptatie) en piekprestaties, waardoor beleidscollaps voorkomen kan worden zonder dat nauwkeurige hyperparameter-tuning vereist is.

4. Resultaten

De auteurs evalueerden CPR op vier benchmarks: SlipperyAnt, SlipperyHumanoid, Continual MetaWorld, en Continual MinAtar.

• Preventie van Beleidscollaps: In SlipperyAnt (400M stappen) was CPR de enige methode onder 15 seeds die nul beleidscollapses bereikte. In tegenstelling hiertoe vertoonde Adam een collaps, en lieten binaire reset-methoden (ReDo, ReGraMa) significante prestatie-degradatie of collaps zien.
• Prestaties: CPR behaalde de hoogste Interquartile Mean (IQM) episodische return in SlipperyAnt en SlipperyHumanoid. Het presteerde ook beter dan baselines (CBP, ReDo, ReGraMa, Shrink & Perturb) in Continual MetaWorld en Continual MinAtar.
• Stabiliteitsmetrieken:
  • Dormant Neurons (Slapende Neuronen): CPR behield een lage, vlakke ratio van slapende neuronen, vergelijkbaar met CBP, maar zonder de late-training drift gezien bij Adam.
  • Gradiëntnormen: CPR vertoonde kleinere fluctuaties in de actor-gradiëntnormen vergeleken met binaire reset-baselines, wat correleert met het vermogen om collapses te vermijden.
  • Parameternormen: CPR beperkte de parametergroei, een bekende drijfveer van plasticiteitsverlies, terwijl baselines hogere parametergroei vertoonden.
• Ablaties:
  • Scherpte ($\kappa$): Prestaties bleven robuust voor $\kappa \in [2, 20]$. Lage waarden ($\kappa \le 1$) verslechterden de prestaties door de resets te uniform te maken.
  • Reset Magnitude ($\rho$): Een bereik van $\rho \in [0.01, 0.05]$ voorkwam consistent collaps. Een lagere $\rho$ behield stabiliteit maar hinderde adaptatie; een hogere $\rho$ verhoogde plasticiteit maar riskeerde overmatige reset van nuttige structuren.

5. Betekenis en Claims

Het artikel claimt dat CPR een kwalitatieve verschuiving in trainingsbetrouwbaarheid vertegenwoordigt voor langdurige RL. Door alles-of-niets updates te vervangen door bruikbaarheid-geschaalde partiële resets, injecteert CPR de noodzakelijke plasticiteit zonder de destabiliserende scherpe parameterupdates die beleidscollaps veroorzaken.

De auteurs benadrukken dat hoewel CPR implementatiecomplexiteit introduceert (berekenen van per-neuron bruikbaarheid en opslaan van lopende gemiddelden), de computationele overhead marginaal is (~6% toename in wall-clock tijd voor hoogdimensionale taken) en de methode modulair is, met minimale wijzigingen aan standaard trainingspipelines (bijv. Optax).

Het werk concludeert dat bruikbaarheid-geschaalde reinitialisatie een veelbelovende richting is voor continual learning, waarbij een afstembaar mechanisme wordt geboden om de stabiliteit-plasticiteit trade-off te balanceren. De auteurs erkennen beperkingen en merken op dat CPR zich richt op taakdynamiek en identiteitsverschuivingen en niet beweert alle vormen van continual RL-instabiliteit (zoals belonings-niet-stationariteit of morfologieveranderingen) op te lossen. Toekomstig werk wordt gesuggereerd om de rollen van bruikbaarheidsschatting, partiële reinitialisatie en optimizer-state handling over bredere architecturen te isoleren.