Résumé Technique : SPHERE - Atténuation de la Perte de Plasticité Spectrale dans les Mélanges d'Experts pour l'Apprentissage par Renforcement Profond

1. Énoncé du Problème

En Apprentissage par Renforcement Profond (DRL), les agents entraînés sur des flux d'expérience souffrent souvent d'une perte de plasticité : un déclin graduel de leur capacité à apprendre de nouvelles compétences à partir de nouvelles expériences au fur et à mesure que l'entraînement progresse. Ce phénomène est particulièrement préjudiciable dans les contextes d'Apprentissage par Renforcement Continu (CRL), où un agent doit maîtriser séquentiellement une série de tâches.

Bien que les architectures de Mélange d'Experts (MoE) aient été déployées avec succès pour augmenter la capacité des politiques en DRL (par exemple, pour des manipulateurs, des humanoïdes et des quadrupèdes), des études empiriques indiquent que les politiques MoE souffrent également d'une perte de plasticité sévère dans des contextes continus. À mesure que l'entraînement progresse, les performances des MoE peuvent se dégrader, suggérant que l'architecture elle-même est vulnérable aux mêmes mécanismes de perte de capacité observés dans les réseaux denses.

Le défi central abordé par cet article est l'absence de caractérisation formelle de la perte de plasticité spécifiquement au sein des politiques MoE et l'absence de méthodes pratiques pour l'atténuer. Les stratégies d'atténuation existantes pour les réseaux denses (par exemple, la normalisation spectrale, la régularisation Hessianienne) ne se traduisent pas directement dans la structure sparse et routée des politiques MoE.

2. Méthodologie : SPHERE

Les auteurs proposent SPHERE (Plasticité Spectrale via la Régularisation Hypersphérique des Experts), un régularisateur fondé sur des principes conçu pour préserver la capacité d'apprentissage des politiques MoE. La méthodologie procède en quatre étapes théoriques et pratiques clés :

2.1 Formalisation de la Perte de Plasticité comme Plasticité Spectrale

S'appuyant sur la théorie du Neural Tangent Kernel (NTK), les auteurs formalisent la perte de plasticité comme une perte de plasticité spectrale.

• Mécanisme : La direction de mise à jour d'une politique est régie par la matrice NTK empirique (eNTK), $K = JJ^\top$, où $J$ est la Jacobienne des sorties du réseau par rapport aux paramètres.
• Définition : La perte de plasticité correspond à un effondrement du rang effectif d'entropie spectrale ($r_e$) de l'eNTK. Un rang effectif élevé implique un spectre isotrope, permettant des mises à jour dans des directions diverses. Un rang effectif faible (effondrement spectral) restreint les mises à jour à quelques directions dominantes, entravant la capacité d'apprendre de nouvelles tâches.
• Observation : En CRL, le spectre eNTK des politiques MoE s'effondre, réduisant le rang effectif et confinant les mises à jour fonctionnelles.

2.2 Dérivation d'un Proxy Traitable

Le calcul direct de la matrice eNTK $K$ est intraitable pour les grands réseaux en raison des contraintes mémoire ($O(N^2P)$). Pour y remédier, les auteurs dérivent un proxy traitable basé sur la matrice Gauss-Newton (GN) dans l'espace des paramètres ($G_{GN} = \frac{1}{N}J^\top J$).

• Décomposition : Ils décomposent la matrice GN en composantes bloc-diagonales correspondant aux paramètres des portes et des experts.
• Approximation par Couche : Sous une approximation bloc-diagonale, le rang effectif de l'eNTK complet est exprimé comme un mélange des rangs effectifs des blocs de couches individuels.
• Surrogat de Bloc Expert : Pour les couches d'experts, les auteurs utilisent un proxy de Kronecker ($\tilde{G}_{GN} = A \otimes G$), où $A$ est la matrice de Gram des caractéristiques et $G$ est la matrice de Gram des gradients. Ils prouvent que le rang effectif du bloc expert est minoré par une fonction du nombre de conditionnement de ce proxy de Kronecker.

2.3 Le Régularisateur SPHERE

Pour maximiser la borne inférieure de la plasticité spectrale, les auteurs visent à minimiser le nombre de conditionnement de la matrice de Gram des caractéristiques $A$.

• Cible : Ils se concentrent sur la matrice de Gram des caractéristiques d'experts pondérée ($A_{last}^{exp}$) à la dernière couche d'experts cachés. Cette matrice est construite en concaténant les caractéristiques des experts pondérées par leurs probabilités de routage Top-K.
• Pénalité : SPHERE applique une pénalité de Parseval (pénalité quadratique) à la composante anisotrope de $A_{last}^{exp}$. La fonction de perte est définie comme suit :
  $$L_{SPHERE}(A_{last}^{exp}) = \left\| A_{last}^{exp} - \frac{\text{Tr}(A_{last}^{exp})}{m} I_m \right\|_F^2$$
  Cette pénalité encourage les valeurs propres de la matrice de Gram des caractéristiques à être égales (isotropie), augmentant ainsi le rang effectif et préservant la plasticité spectrale.
• Garantie Théorique : Les auteurs prouvent que l'optimisation de cette pénalité induit une contraction spectrale, diminuant de manière monotone le nombre de conditionnement du proxy et augmentant la borne inférieure du rang effectif de l'eNTK.

2.4 Implémentation

SPHERE est intégré dans la boucle d'entraînement PPO. À chaque mise à jour de gradient, la matrice de Gram des caractéristiques d'experts pondérée est calculée à partir du passage avant, et la pénalité SPHERE est ajoutée à la fonction de perte de l'acteur. Le coefficient de régularisation est ajusté de manière adaptative en fonction du rapport entre la norme du gradient de l'acteur et la norme du gradient de SPHERE.

3. Contributions Clés

1. Formalisation : L'article définit formellement la perte de plasticité dans les politiques MoE comme une perte de plasticité spectrale, quantifiée par le rang effectif d'entropie spectrale du NTK empirique.
2. Proxy Traitable : Il dérive un surrogate pratique par couche pour la plasticité spectrale qui repose uniquement sur les matrices de caractéristiques d'experts individuelles, évitant ainsi la construction de l'eNTK complet.
3. Algorithme (SPHERE) : Il introduit SPHERE, un régularisateur fondé sur des principes qui impose l'isotropie sur les caractéristiques d'experts pondérées pour contrer l'effondrement spectral.
4. Validation Empirique : La méthode est évaluée sur MetaWorld et HumanoidBench, démontrant des améliorations constantes par rapport aux bases de référence MoE non régularisées et aux méthodes antérieures d'atténuation de la plasticité.

4. Résultats Expérimentaux

Les auteurs ont évalué SPHERE sur deux benchmarks de robotique :

• MetaWorld (CW10) : Une suite de 10 tâches de manipulation.
• HumanoidBench : Une suite de 5 tâches de locomotion pour l'humanoïde H1.

Résultats Clés :

• Gains de Performance :
  • Sur MetaWorld en CRL, SPHERE a amélioré le taux de réussite moyen de 133 % par rapport à une base de référence MoE Top-K non régularisée.
  • Sur HumanoidBench en CRL, SPHERE a amélioré la réussite moyenne de 50 % par rapport à la base de référence.
  • SPHERE a également montré des gains dans des contextes RL standards (entraînement sur une seule tâche), suggérant que la plasticité spectrale peut se dégrader même au sein d'une seule tâche en raison d'une dérive distributionnelle.
• Maintien de la Plasticité Spectrale : Tout au long de l'entraînement, SPHERE a maintenu un rang effectif significativement plus élevé ($r_e(K)$) par rapport aux bases de référence, qui ont présenté un effondrement spectral rapide.
• Études d'Ablation :
  • Il a été constaté que la régularisation de la seule dernière couche d'experts cachés était la plus efficace ; la régularisation de toutes les couches ou uniquement de la porte a donné des performances inférieures.
  • La concaténation inter-experts (régularisation de la matrice de Gram des caractéristiques conjointe plutôt que des experts individuels) était cruciale pour les gains, indiquant l'importance de gérer les corrélations inter-experts.
  • La méthode est robuste face à différentes fonctions d'activation (ReLU, Tanh), nombres d'experts et variantes MoE (Dense-MoE, DS-MoE).
• Analyse Qualitative : Les visualisations t-SNE ont montré que sans SPHERE, les représentations d'état s'effondraient sur une seule direction de caractéristique dominante. Avec SPHERE, les représentations restaient diversifiées et isotropes.

5. Signification et Revendications

L'article revendique que SPHERE fournit une solution fondée sur des principes au problème de la perte de plasticité dans les agents DRL basés sur MoE. En encadrant la perte de plasticité à travers le prisme de la théorie spectrale (rang effectif de l'eNTK), les auteurs comblent le fossé entre la compréhension théorique et la régularisation pratique.

La signification de ce travail réside dans :

• L'Apprentissage Continu Évolutif : À mesure que les architectures MoE deviennent standard pour mettre à l'échelle les agents RL, SPHERE garantit que ces modèles conservent la capacité d'apprendre de nouvelles compétences sur de longues séquences de tâches, empêchant les défaillances systématiques sur les tâches ultérieures.
• Insight Théorique : Il offre une nouvelle perspective sur la dynamique des MoE, reliant les mécanismes de routage et la spécialisation des experts aux propriétés spectrales du paysage d'apprentissage.
• Efficacité Pratique : La méthode est efficace en termes de calcul (ajoutant seulement ~3-6 % de surcharge même avec 1000 experts) et s'intègre de manière transparente dans les pipelines PPO existants sans nécessiter de modifications architecturales.

Les auteurs reconnaissent les limites, notant que leur dérivation repose sur des approximations théoriques (bloc-diagonale et indépendance intra-couche) et que la portée actuelle est limitée au RL de contrôle continu. Ils identifient l'extension de SPHERE aux modèles de fondation à grande échelle comme une direction pour les travaux futurs.