Résumé Technique : Réinitialisations Partielles Calibrées (CPR) pour l'Apprentissage par Renforcement Continuel

1. Énoncé du Problème

Les réseaux de neurones profonds souffrent souvent d'une perte de plasticité lors d'un entraînement non stationnaire prolongé, un problème critique dans l'apprentissage par renforcement (RL) continuel. Dans ces contextes, les mises à jour de la politique modifient la distribution des données futures de l'agent, créant des boucles de rétroaction où de petites instabilités d'optimisation peuvent se transformer en une dégradation catastrophique de la politique (Juliani & Ash, 2024).

Les remèdes existants à la perte de plasticité, tels que le Continual Backpropagation (CBP), ReDo et ReGraMa, reposent sur des réinitialisations binaires de neurones. Ces méthodes identifient les unités de faible utilité (basées sur des statistiques d'activation ou de gradient) et les réinitialisent complètement. Bien que cela restaure le flux de gradient, les auteurs soutiennent que les réinitialisations binaires confondent deux choix de conception distincts : quelles unités rafraîchir et avec quelle intensité les modifier.

• Instabilité : La nature « tout ou rien » des réinitialisations binaires introduit des changements de paramètres abrupts et des pics de gradient, ce qui déstabilise l'entraînement du RL à long terme et peut mener à un effondrement de la politique.
• Fragilité : La réinitialisation complète annule les poids sortants, provoquant des décalages de distribution dans les couches suivantes, ce qui est particulièrement problématique sans normalisation de couche.
• Limitations de la Décroissance Uniforme : Les méthodes alternatives comme Shrink & Perturb appliquent une décroissance uniforme à toutes les unités, ce qui est fluide mais indiscriminé, échouant à cibler les unités spécifiques qui nécessitent un rafraîchissement.

Le problème central est l'absence d'une méthode qui soit à la fois sélective (ciblant les unités de faible utilité) et fluide (évitant les sauts de paramètres abrupts) pour prévenir l'effondrement de la politique tout en maintenant une performance de pointe.

2. Méthodologie : Réinitialisations Partielles Calibrées (CPR)

Les auteurs proposent les Réinitialisations Partielles Calibrées (CPR), un optimiseur qui tire périodiquement les neurones vers leur initialisation avec une force proportionnelle à l'utilité de chaque neurone. Contrairement aux réinitialisations binaires, la CPR applique un ajustement partiel et continu.

2.1 Estimation de l'Utilité

La CPR utilise des scores d'utilité basés sur le gradient, dont les travaux récents suggèrent qu'ils s'adaptent plus favorablement (Liu et al., 2025).

• Score Brut ($S_i^\ell$) : La magnitude moyenne du gradient des poids entrants pour l'unité $i$ dans la couche $\ell$.
• Score Normalisé ($u_i^\ell$) : Pour assurer la comparabilité entre les couches et le temps, le score brut est normalisé par la couche (divisé par la moyenne de la couche) et lissé à l'aide d'une moyenne mobile exponentielle (EMA) avec un paramètre de décroissance $\beta$.

2.2 Le Mécanisme de Réinitialisation

Tous les $f$ pas, la CPR met à jour les poids de chaque neurone $i$ dans la couche $\ell$ selon :
$$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$$
$$W_{:, i}^{\ell+1} \leftarrow (1 - r_i^\ell) W_{:, i}^{\ell+1}$$

Où :

• $\xi$ est un poids tiré de la distribution d'initialisation (ex: Kaiming).
• $r_i^\ell$ est le coefficient de réinitialisation, borné par une fraction de réinitialisation maximale $\rho \in (0, 1]$.
• Le coefficient est déterminé par une fonction de décroissance monotone $\phi$ de l'utilité normalisée $u_i^\ell$ :
  $$r_i^\ell = \rho \cdot \phi(u_i^\ell)$$

2.3 La Fonction de Transformation

La fonction $\phi$ associe l'utilité à l'intensité de la réinitialisation. Les auteurs utilisent une forme basée sur la sigmoïde :
$$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$$

• Sélectivité : Les unités ayant une utilité inférieure à la moyenne de la couche ($u < 1$) reçoivent une fraction de réinitialisation proche du maximum $\rho$. Les unités à haute utilité ($u > 1$) reçoivent des réinitialisations progressivement plus faibles.
• Partialité : Même pour les unités de plus faible utilité, la réinitialisation est partielle (tirant vers l'initialisation par $\rho$) plutôt qu'une réinitialisation complète. Cela évite les pics de gradient associés aux réinitialisations binaires.
• Netteté ($\kappa$) : Contrôle la rapidité avec laquelle la fraction de réinitialisation chute à mesure que l'utilité augmente. Les auteurs fixent $\kappa=16$ suite à des études d'ablation montrant une robustesse sur une large gamme.

3. Contributions Clés

1. Identification de la Source d'Instabilité : L'article identifie les réinitialisations binaires de neurones comme une source primaire d'instabilité dans le RL continuel à long terme, distinguant la sélection des unités de la magnitude de leur mise à jour.
2. Optimiseur CPR : Introduction d'un optimiseur de réinitialisation partielle pondéré par l'utilité qui évite la fragilité de la réinitialisation complète tout en conservant la sélectivité des méthodes de réinitialisation.
3. Validation Empirique : Démonstration que la CPR prévient l'effondrement de la politique sur 400 millions d'étapes dans l'environnement SlipperyAnt, un régime où les méthodes de réinitialisation binaire et Adam échouent.
4. Contrôle du Compromis : Les études d'ablation révèlent que la fraction de réinitialisation maximale $\rho$ fournit un compromis ajustable entre plasticité (adaptation) et performance de pointe, permettant la prévention de l'effondrement sans nécessiter un réglage précis des hyperparamètres.

4. Résultats

Les auteurs ont évalué la CPR sur quatre benchmarks : SlipperyAnt, SlipperyHumanoid, Continual MetaWorld, et Continual MinAtar.

• Prévention de l'Effondrement de la Politique : Dans SlipperyAnt (400M d'étapes), la CPR était la seule méthode parmi 15 graines (seeds) à atteindre zéro effondrement de politique. En revanche, Adam a subi un effondrement, et les méthodes de réinitialisation binaire (ReDo, ReGraMa) ont montré une dégradation significative des performances ou un effondrement.
• Performance : La CPR a atteint le retour épisodique moyen interquartile (IQM) le plus élevé dans SlipperyAnt et SlipperyHumanoid. Elle a également surpassé les baselines (CBP, ReDo, ReGraMa, Shrink & Perturb) dans Continual MetaWorld et Continual MinAtar.
• Métriques de Stabilité :
  • Neurones Dormants : La CPR maintient un ratio de neurones dormants faible et plat, comparable au CBP, mais sans la dérive de fin d'entraînement observée avec Adam.
  • Normes de Gradient : La CPR présente des fluctuations plus faibles des normes de gradient de l'acteur par rapport aux baselines de réinitialisation binaire, ce qui corrèle avec sa capacité à éviter les effondrements.
  • Normes de Paramètres : La CPR a limité la croissance des paramètres, un moteur connu de la perte de plasticité, alors que les baselines présentaient une croissance de paramètres plus élevée.
• Ablations :
  • Netteté ($\kappa$) : La performance est restée robuste pour $\kappa \in [2, 20]$. Des valeurs faibles ($\kappa \le 1$) ont dégradé la performance en rendant les réinitialisations trop uniformes.
  • Magnitude de Réinitialisation ($\rho$) : Une plage de $\rho \in [0.01, 0.05]$ a systématiquement empêché l'effondrement. Un $\rho$ plus faible préservait la stabilité mais entravait l'adaptation ; un $\rho$ plus élevé augmentait la plasticité mais risquait une sur-réinitialisation des structures utiles.

5. Signification et Revendications

L'article affirme que la CPR représente un changement qualitatif dans la fiabilité de l'entraînement pour le RL à long terme. En remplaçant les mises à jour "tout ou rien" par des réinitialisations partielles pondérées par l'utilité, la CPR injecte la plasticité nécessaire sans les mises à jour de paramètres abruptes et déstabilisantes qui causent l'effondrement de la politique.

Les auteurs soulignent que, bien que la CPR introduise une complexité d'implémentation (calcul de l'utilité par neurone et stockage des moyennes mobiles), le surcoût de calcul est marginal (~6 % d'augmentation du temps de calcul pour les tâches de haute dimension) et la méthode est modulaire, nécessitant des changements minimaux aux pipelines d'entraînement standards (ex: Optax).

Le travail conclut que la réinitialisation pondérée par l'utilité est une direction prometteuse pour l'apprentissage continuel, offrant un mécanisme ajustable pour équilibrer le compromis stabilité-plasticité. Les auteurs reconnaissent des limites, notant que la CPR se concentre sur la dynamique des tâches et les changements d'identité, et ne prétend pas résoudre toutes les formes d'instabilité du RL continuel (ex: non-stationnarité de la récompense ou changements de morphologie). Des travaux futurs sont suggérés pour isoler les rôles de l'estimation de l'utilité, de la réinitialisation partielle et de la gestion de l'état de l'optimiseur à travers des architectures plus larges.