Résumé technique : Les plongements simpliciaux améliorent l'efficacité d'échantillonnage des agents acteur-critique

Problématique

L'apprentissage par renforcement profond (RL) fait face à une tension persistante entre la vitesse d'entraînement en temps réel et l'efficacité d'échantillonnage. Bien que les avancées récentes dans la parallélisation massive des environnements (ex. : FastTD3, SEED RL) aient accéléré le temps d'entraînement, ces méthodes nécessitent souvent un nombre prohibitif d'interactions avec l'environnement pour atteindre les niveaux de performance souhaités. Cette inefficacité est particulièrement problématique dans les domaines où les interactions sont coûteuses (ex. : robotique réelle) ou là où les algorithmes gourmands en données échouent à transférer de la simulation vers la réalité.

Un problème fondamental identifié dans l'article est l'effondrement de la représentation exacerbé par la non-stationnarité. Dans les méthodes acteur-critique, le critique est entraîné contre des cibles par bootstrap qui évoluent à mesure que la politique se met à jour. Ce signal d'entraînement non stationnaire peut provoquer une perte de diversité des représentations apprises, menant à la « dormance des neurones », à des problèmes de régression mal conditionnés pour le critique et à des estimations de valeur instables. Les architectures classiques de RL profond manquent souvent de contraintes géométriques pour prévenir ces pathologies, ce qui entraîne une faible efficacité d'échantillonnage et une divergence.

Méthodologie : Plongements Simpliciaux (SEM)

Les auteurs proposent les Plongements Simpliciaux (SEM), un composant architectural léger conçu pour imposer un biais inductif géométrique aux représentations latentes des réseaux acteur-critique.

• Mécanisme : Le SEM partitionne le vecteur de sortie de l'encodeur en $L$ groupes de taille $V$. Au sein de chaque groupe, une opération softmax est appliquée sur les logits, contrainte par un paramètre de température $\tau$.
  $$\tilde{z}_{\ell,v} = \frac{\exp(z_{\ell,v}/\tau)}{\sum_{v'=1}^V \exp(z_{\ell,v'}/\tau)}$$
• Contrainte Géométrique : Cette transformation force le vecteur latent à résider sur un produit de simplexes ($\Delta^{V-1} \times \dots \times \Delta^{V-1}$).
• Propriétés :
  1. Bornage : La normalisation par groupe garantit que les plongements restent bornés, empêchant l'extrapolation de valeurs Q arbitrairement grandes qui déstabilisent les critiques.
  2. Parcimonie : La compétition du softmax (particulièrement à bas $\tau$) induit des codages parcimonieux, proches du format "one-hot", favorisant des caractéristiques de type discret sans le biais des estimateurs "straight-through".
  3. Différentiabilité : Contrairement aux méthodes de discrétisation explicites (ex. : VQ, Gumbel-Softmax), le SEM est entièrement différentiable, évitant ainsi les estimateurs de gradient biaisés.
  4. Absence de pertes auxiliaires : Le SEM agit comme une couche structurelle (similaire à une fonction d'activation) plutôt que de nécessiter des pertes de reconstruction ou de contraste auxiliaires, ajoutant un coût computationnel négligeable.

Les auteurs intègrent le SEM dans la couche pénultième des réseaux acteur et critique dans diverses algorithmes, incluant FastTD3, FastSAC et PPO.

Principales Contributions

1. Identification de la non-stationnarité comme moteur de l'effondrement : L'article fournit des preuves empiriques (via des expériences sur CIFAR-10 avec des étiquettes mélangées) et une analyse théorique montrant que les cibles non stationnaires en RL profond mènent à une augmentation de la dormance des neurones et à une réduction du rang effectif, liant directement ces phénomènes à l'instabilité de l'entraînement.
2. Introduction du SEM pour le RL : Les auteurs adaptent les plongements simpliciaux de l'apprentissage auto-supervisé au domaine du RL, démontrant que contraindre les représentations à un produit de simplexes stabilise le bootstrap et renforce les gradients de politique.
3. Validation empirique complète : La méthode est évaluée à travers une suite diversifiée de benchmarks, comprenant :
   • Contrôle continu : HumanoidBench (28 tâches), Isaac Gym, et MTBench.
   • Contrôle discret : Extended Atari-10 (28 jeux ALE).
   • Algorithmes : FastTD3, FastSAC, PPO, et Flow Q-Learning (FQL).
4. Analyse de la dynamique des représentations : L'étude relie les gains de performance à des améliorations spécifiques des représentations, telles qu'un rang effectif plus élevé, des normes de caractéristiques bornées, une réduction du désaccord du critique et une erreur TD plus faible.

Résultats

• Efficacité d'échantillonnage : Sur tous les algorithmes et environnements testés, les agents équipés de SEM atteignent systématiquement des rendements plus élevés avec moins d'étapes d'environnement par rapport aux bases de référence. Par exemple, dans HumanoidBench, le SEM accélère l'apprentissage précoce et améliore la performance asymptotique.
• Robustesse : Le SEM améliore les performances même lorsque les choix de conception fondamentaux des algorithmes de RL rapide sont modifiés (ex. : suppression des critiques distributionnels, réduction des tailles de lots ou utilisation de buffers de rejeu plus petits).
• Stabilité : Les agents SEM présentent une variance plus faible entre les graines aléatoires, des erreurs TD plus petites et des estimations de valeur mieux calibrées. La méthode atténue efficacement le problème de la "cible mouvante" dans l'entraînement acteur-critique.
• Sensibilité aux paramètres : La capacité de représentation totale ($L \times V$) est le principal moteur de performance. Dans les régimes de haute capacité, la performance sature, mais le SEM reste efficace même avec de petites dimensions (ex. : $V=4$) dans certains contextés.
• Comparaison : Le SEM surpasse les méthodes alternatives pour induire une structure, telles que le Gumbel-Softmax avec estimation "straight-through" et la quantification vectorielle (VQ), probablement grâce à l'évitement des estimateurs de gradient biaisés.

Signification et Revendications

L'article affirme que la géométrie de la représentation est un levier critique, bien que souvent négligé, pour stabiliser le RL profond sous non-stationnarité. En imposant une structure basée sur un simplexe, le SEM fournit un mécanisme "simple mais puissant" pour prévenir l'effondrement des caractéristiques et la dormance des neurones sans le coût computationnel des pertes auxiliaires ou des modèles de monde (world models) basés sur des modèles.

Les auteurs soulignent que :

• Le SEM est efficace sur le plan computationnel, ajoutant un coût de fonctionnement quasi nul tout en améliant significativement l'efficacité d'échantillonnage.
• Les bénéfices sont plus marqués lorsqu'ils sont appliqués à la couche pénultième de l'acteur, là où la géométrie des caractéristiques façonne directement les gradients de politique, bien que l'application au critique produise également des gains.
• Cette approche offre une voie vers des agents de RL plus robustes et plus efficaces en termes de données, particulièrement dans des scénarios où les interactions sont coûteuses ou les changements de distribution inévitables.

L'article conclut que, bien que le SEM ne soit pas un remède universel à tous les défis du RL (ex. : une extrême parcimonie ou des changements de distribution massifs peuvent encore nécessiter un ajustement), il représente une étape significative vers l'induction d'ordre "de l'intérieur" de l'espace de représentation, s'alignant sur la position philosophique selon laquelle la stabilité émerge des contraintes structurelles plutôt que uniquement de l'augmentation du calcul ou d'une régularisation plus lourde.