Résumé technique : Apprentissage par renforcement sur-politique évolutif via mise à l'échelle adaptative des lots

1. Énoncé du problème

Le consensus en apprentissage par renforcement (RL) postule que l'entraînement avec de grands lots est fondamentalement incompatible avec ce domaine. Contrairement à l'apprentissage supervisé, où l'augmentation de la taille des lots stabilise l'estimation du gradient et permet l'entraînement de modèles massifs (lois d'échelle), les praticiens du RL s'appuient généralement sur des tailles de lots modestes (par exemple, 256–1024). Cette limitation est attribuée à la non-stationnarité inhérente de la distribution des données en RL ; à mesure que la politique ($\pi_\theta$) se met à jour, la distribution des données évolue, créant un compromis biais-variance.

La vision prédominante suggère que l'augmentation des tailles de lots au-delà d'un seuil critique entraîne des rendements décroissants ou une dégradation des performances. On croit que les grands lots amènent les agents à surajuster à des trajectoires transitoires et instables durant les premières étapes volatiles de l'entraînement. Par conséquent, la pratique standard privilégie les petits lots pour maintenir la plasticité du modèle et s'adapter aux distributions changeantes, même lors de l'utilisation d'architectures à grande échelle. Cet article remet en question le caractère statique de cette vision, arguant que le degré de non-stationnarité n'est pas constant mais évolue tout au long de l'entraînement.

2. Méthodologie : Mise à l'échelle adaptative des lots (ABS)

Les auteurs proposent la Mise à l'échelle adaptative des lots (ABS), un cadre qui ajuste dynamiquement la taille de lot effective en fonction de la stabilité de la politique d'apprentissage. L'hypothèse centrale est que l'entraînement en RL se compose de deux régimes distincts :

1. Phase précoce (forte non-stationnarité) : Caractérisée par des changements comportementaux rapides. De petits lots sont nécessaires pour préserver la plasticité et éviter le surajustement à des trajectoires instables.
2. Phase tardive (quasi-stationnarité) : À mesure que la politique converge, la distribution des données se stabilise. Les grands lots deviennent bénéfiques pour supprimer le bruit du gradient et permettre une convergence précise.

Composantes clés

• Divergence comportementale ($\delta_\pi$) : Une nouvelle métrique introduite pour quantifier la non-stationnarité de la politique. Elle mesure la fraction d'états où l'action préférée change entre la politique actuelle ($\pi_\theta$) et la politique précédente ($\pi_{\theta_{old}}$) sur un lot de référence.
  • Formellement : $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$.
  • Un $\delta_\pi$ élevé indique une forte volatilité (phase précoce) ; un $\delta_\pi$ faible indique une stabilité (phase tardive).
• Calendrier de mise à l'échelle dynamique : La taille de lot effective ($|B|$) est mise à l'échelle inversement proportionnelle à la divergence comportementale.
  • La longueur de déploiement ($L_{adapt}$) est ajustée logarithmiquement entre un minimum ($L_{min}$) et un maximum ($L_{max}$) en fonction de la divergence normalisée.
  • Lorsque $\delta_\pi$ est élevé (changement rapide), $L_{adapt}$ est fixé à $L_{min}$ (petit lot).
  • Lorsque $\delta_\pi$ est faible (stable), $L_{adapt}$ s'ajuste vers $L_{max}$ (grand lot).
• Intégration : La méthode est intégrée à l'algorithme Réseau Q Parallélisé (PQN). Le calcul de la Divergence Comportementale repose uniquement sur des passages avant, ce qui le rend computationnellement efficace par rapport aux méthodes nécessitant des passages arrière (par exemple, l'Échelle du Bruit de Gradient).

3. Contributions clés

1. Quantification de la non-stationnarité en RL : L'introduction de la Divergence Comportementale comme métrique pratique, basée sur des passages avant, pour mesurer les changements au niveau des actions entre mises à jour successives de la politique.
2. Cadre de mise à l'échelle adaptative des lots : Un algorithme simple mais efficace qui met dynamiquement à l'échelle les tailles de lots (longueurs de déploiement) en réponse à la stabilité de la politique, comblant le fossé entre le besoin de plasticité en début d'entraînement et de stabilité en fin d'entraînement.
3. Vérification de l'évolutivité : Démonstration empirique que l'ABS permet des améliorations de performance avec des tailles de lots plus grandes sur le benchmark ALE, en particulier lorsqu'il est combiné à des architectures de réseaux plus grandes (par exemple, modèles multi-sauts de style ResNet), un comportement d'échelle précédemment considéré comme inatteignable en RL.

4. Résultats expérimentaux

La méthode a été évaluée sur les benchmarks Atari-57 et Atari-10 utilisant l'algorithme PQN, et étendue au contrôle continu (MuJoCo) et aux paramètres hors-politique (BTR).

• Performance vs. Lots fixes : L'ABS a surpassé le PQN standard et les bases de référence à lots fixes petits/grands dans la plupart des environnements. Il a obtenu des scores plus élevés en phase précoce (dû aux petits lots) et une variance plus faible en phase tardive (dû aux grands lots).
• Comparaison avec GNS : L'ABS a surpassé l'approche de l'Échelle du Bruit de Gradient (GNS) tant en efficacité d'échantillonnage qu'en performance finale, tout en étant significativement plus efficace sur le plan computationnel car elle évite les passages arrière supplémentaires.
• Évolutivité avec les grands modèles : Lorsqu'appliqué à des architectures plus grandes (PQN-L et PQN-XL), l'ABS a constamment amélioré les performances. Crucialement, alors que l'utilisation d'un grand lot fixe dégradait les performances sur les grands modèles, l'ABS (passant de petits à grands lots) a débloqué le potentiel de ces modèles, obtenant les meilleures performances. Cela confirme une corrélation positive entre l'échelle du modèle et l'efficacité du lotage adaptatif.
• Généralisation :
  • Contrôle continu : Appliqué à PPO sur MuJoCo en utilisant la Divergence KL comme proxy de non-stationnarité, l'ABS a amélioré l'efficacité d'échantillonnage et la performance finale.
  • RL hors-politique : Appliqué à BTR avec une modification minimale (remplacement de la longueur de déploiement par une plage de tailles de lots), l'ABS a amélioré les performances dans 4 environnements Atari-5 sur 5.

5. Importance et revendications

L'article revendique de remettre en question le « consensus » selon lequel l'entraînement avec de grands lots est incompatible avec le RL. En démontrant que la non-stationnarité est une propriété évolutive plutôt qu'une contrainte fixe, les auteurs montrent que des réseaux plus grands et des tailles de lots plus grandes peuvent atteindre les meilleures performances en RL lorsqu'ils sont gérés de manière adaptative.

L'importance de ce travail réside dans son potentiel à débloquer le potentiel d'échelle de l'apprentissage par renforcement, permettant aux agents RL à haute capacité d'utiliser les mêmes avantages de l'entraînement par grands lots qui ont conduit au succès en apprentissage supervisé (par exemple, les LLM et les Vision Transformers). Les auteurs positionnent l'ABS comme une étape fondamentale vers un RL évolutif, comblant l'écart de performance entre le RL et l'apprentissage supervisé à grande échelle.

Limites et orientations futures :
Les auteurs notent que, bien que le travail actuel se concentre sur les algorithmes sur-politique, les travaux futurs incluent l'extension de l'ABS au RL hors ligne, la validation sur des architectures basées sur les Transformers, et l'intégration de la méthode dans les techniques d'alignement des grands modèles de langage (par exemple, GRPO) pour un RLHF évolutif.