Intentional Updates for Streaming Reinforcement Learning

1. Problématique : L'instabilité de l'apprentissage en flux continu (Streaming)

L'apprentissage par renforcement profond (Deep RL) repose souvent sur des méthodes basées sur le gradient où la taille de la mise à jour (step size) est définie en unités de paramètres. Cependant, une taille de pas fixe ne garantit pas une évolution prévisible de la sortie de la fonction (la valeur prédite ou la probabilité de l'action).

• Le défi du "Streaming" : Dans un régime d'apprentissage en flux continu (batch size = 1, sans mémoire de rejeu ou replay buffer), le bruit stochastique n'est pas lissé par le moyennage. Les gradients peuvent varier considérablement en magnitude et en direction d'un échantillon à l'autre.
• Conséquences : Cela conduit à une instabilité sévère, caractérisée par des phénomènes de "sur-ajustement" (overshooting) et de "sous-ajustement" (undershooting). Ce problème, appelé "barrière du flux" (stream barrier), rend souvent l'apprentissage profond en flux continu instable ou impossible, contrairement aux méthodes par lots (batch) ou avec mémoire.

2. Méthodologie : Le principe des mises à jour intentionnelles

Les auteurs proposent un changement de paradigme : au lieu de spécifier une taille de pas en unités de paramètres, ils définissent d'abord l'issue souhaitée (intended outcome) de la mise à jour en unités fonctionnelles (la valeur prédite ou la politique), puis calculent la taille de pas nécessaire pour atteindre cet objectif.

Ce principe s'inspire de l'algorithme NLMS (Normalized Least Mean Squares) utilisé en régression linéaire supervisée, mais il est étendu au RL profond non stationnaire.

A. Formulation Générale

Pour une mise à jour des poids $w_{t+1} = w_t + \alpha_t d_t$, où $d_t$ est la direction du gradient, on définit une quantité cible $y_t(w)$ (ex: $V(s)$ ou $\log \pi(a|s)$).
L'objectif est d'obtenir un changement $\Delta_t$ dans cette quantité :
$$y_t(w_{t+1}) \approx y_t(w_t) + \Delta_t$$
En utilisant une approximation du premier ordre, la taille de pas $\alpha_t$ est dérivée comme suit :
$$\alpha_t = \frac{\Delta_t}{\nabla y_t(w_t)^\top d_t}$$

B. Algorithmes Spécifiques Proposés

Les auteurs instancient ce principe pour trois algorithmes majeurs en RL :

1. Intentional TD (pour la prédiction de valeur) :

   • Objectif : Réduire l'erreur TD ($\delta_t$) d'une fraction fixe $\eta$ à chaque étape.
   • Résultat : La mise à jour vise à contracter l'erreur instantanée, rendant l'apprentissage insensible à l'échelle des gradients.
   • Extension : Intégration avec des traces d'éligibilité ($\lambda$) et une normalisation diagonale de type RMSProp pour gérer les échelles différentes des entrées.

2. Intentional Q-Learning (pour le contrôle) :

   • Applique le même principe de réduction fractionnelle de l'erreur TD aux valeurs d'action $Q(s, a)$.

3. Intentional Policy Gradient (pour l'optimisation de la politique) :

   • Objectif : Contrôler le changement de la politique en limitant la divergence KL locale.
   • Approche : Au lieu de contraindre la KL directement (coûteux), on cible un changement contrôlé du logarithme de la probabilité de l'action échantillonnée ($\Delta \log \pi$), proportionnel à l'avantage.
   • Avantage : Cela fournit une unité de changement comportementale stable sans nécessiter d'estimations de KL par lots.

C. Composants Techniques Clés

• Traces d'éligibilité : Utilisées pour attribuer le crédit temporel dans un flux continu. La taille de pas est calculée pour garantir que le changement cumulé sur l'historique (pondéré par $\lambda$) respecte l'objectif.
• Normalisation Diagonale (RMSProp) : Pour gérer les échelles hétérogènes des gradients, une moyenne mobile exponentielle des carrés des gradients est utilisée pour préconditionner la direction de mise à jour.
• Clipping Adaptatif de l'Erreur TD : Une technique de clipping basée sur la racine carrée de la moyenne quadratique (RMS) de l'erreur est utilisée pour éviter les instabilités dues aux valeurs aberrantes, tout en restant invariante à l'échelle.

3. Contributions Clés

1. Principe de l'issue souhaitée : Introduction d'une méthode de sélection de taille de pas basée sur l'effet fonctionnel désiré plutôt que sur le déplacement des paramètres.
2. Famille d'algorithmes Streaming : Développement de versions "Intentionnelles" pour TD, Q-learning et Policy Gradient, adaptées spécifiquement au flux continu (batch size = 1).
3. Robustesse et Transférabilité : Démonstration qu'un seul jeu de méta-paramètres (notamment $\eta$) fonctionne efficacement sur une large gamme d'environnements sans réglage fin par tâche.
4. Efficacité Computationnelle : Les algorithmes proposés sont extrêmement légers, fonctionnant sur CPU, contrairement aux méthodes par lots qui nécessitent des GPU.

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur des benchmarks standards en apprentissage par renforcement profond en flux continu :

• Contrôle Continu (MuJoCo et DM Control Suite) :
  • L'algorithme Intentional AC (Actor-Critic) atteint des performances stables et compétitives, souvent à égalité avec des méthodes par lots (comme PPO ou SAC) ou avec mémoire de rejeu, tout en n'utilisant aucune mémoire.
  • Il surpasse significativement les méthodes de streaming précédentes (comme StreamAC) et réduit la sensibilité aux variations d'échelle des gradients.
• Contrôle à Actions Discrètes (MinAtar et Atari) :
  • Intentional Q-learning démontre une capacité d'apprentissage fiable sur tous les jeux, atteignant des scores comparables aux méthodes par lots (DQN).
• Prédiction de Valeur :
  • Sous une politique fixe, Intentional TD présente une erreur de prédiction plus faible et une convergence plus stable que les méthodes de référence.
• Analyse d'Abstraction (Ablations) :
  • Les résultats montrent que le gain de performance provient principalement du mécanisme de mise à jour intentionnelle lui-même, bien que la normalisation diagonale et le clipping améliorent la robustesse.
• Efficacité Computationnelle :
  • Une analyse des FLOPs (opérations flottantes) montre qu'une mise à jour SAC nécessite plus de 100 fois plus de calculs qu'une mise à jour Intentional AC. Malgré cela, Intentional AC obtient de meilleurs résultats par unité de calcul.

5. Signification et Impact

Cet article adresse l'un des problèmes les plus difficiles du RL moderne : rendre l'apprentissage profond stable et efficace sans mémoire de rejeu.

• Stabilité : En contrôlant directement l'impact fonctionnel des mises à jour, la méthode élimine le besoin de réglages complexes de taux d'apprentissage et de schedules de décroissance.
• Accessibilité : La capacité à fonctionner sur un seul CPU avec un coût computationnel minimal ouvre la voie à l'application du RL sur des dispositifs embarqués (edge devices) et dans des scénarios où la mémoire est limitée.
• Théorique : Cela réconcilie les intuitions de l'adaptation de filtre (NLMS) avec les défis du RL non stationnaire, offrant une nouvelle perspective sur la manière de concevoir des algorithmes d'apprentissage en ligne.

En résumé, les "Mises à jour intentionnelles" constituent une avancée majeure pour rendre le RL en flux continu (streaming) une alternative viable et robuste aux approches par lots traditionnelles.