Résumé technique : N'oubliez pas le critique : Répétition de données basée sur la valeur pour l'apprentissage par renforcement continu multi-cyclique

Énoncé du problème

L'apprentissage par renforcement continu (CRL) vise à permettre aux agents d'apprendre une séquence de tâches tout en maintenant leurs performances sur les tâches précédemment apprises, afin de répondre aux défis de l'oubli catastrophique et de la perte de plasticité. Bien que la répétition de données (stockage et rejouage des expériences passées) soit devenue une approche de premier plan en CRL, les recherches existantes sont principalement confinées aux cadres de gradient de politique (méthodes acteur-critique). Dans ces contextes, la régularisation par clonage comportemental est appliquée exclusivement au réseau acteur, car l'extension de la régularisation au critique a historiquement été observée comme dégradant les performances. Par conséquent, le potentiel de la répétition de données pour l'approximation de la fonction de valeur (par exemple, les réseaux de neurones Q profonds ou DQN) reste considérablement sous-exploré.

De plus, les évaluations CRL existantes considèrent rarement les environnements multi-cycliques, où les séquences de tâches se répètent sur plusieurs cycles. Ce cadre est crucial pour les applications réelles où les environnements réapparaissent naturellement. Les cadres multi-cycliques ont été montrés comme exacerbant l'oubli et la perte de plasticité, pourtant ils restent sous-utilisés dans la recherche sur l'oubli catastrophique, qui limite souvent l'évaluation à un seul cycle ou au maximum deux cycles.

Méthodologie

Les auteurs enquêtent sur la répétition de données pour DQN en utilisant la régularisation de la valeur Q (Qreg), l'équivalent basé sur la valeur du clonage comportemental. Ils identifient que le Qreg standard présente une instabilité et une incohérence dans les cadres multi-cycliques, souffrant souvent d'un « biais de primauté » où un apprentissage initial médiocre inhibe les cycles ultérieurs. Pour y remédier, ils proposent Qreg+NWLU (Qreg sans attente avec mises à jour en direct), qui introduit deux modifications clés au cadre de répétition :

1. Mises à jour en direct (Collecte de données continue) : Au lieu d'échantillonner les transitions uniquement à la fin d'une tâche (comme dans les travaux antérieurs), la méthode ajoute progressivement des échantillons de répétition au Tampon de Répétition (RRB) à une fréquence fixe tout au long de l'entraînement. Cette stratégie « Live » réduit le biais de sélection vers les transitions survenant près de la fin de l'entraînement et favorise la diversité des échantillons, en particulier lorsque la taille du tampon de rejouage est petite par rapport au nombre total d'étapes d'entraînement.
2. Régularisation sans attente : Le Qreg standard reporte généralement la régularisation jusqu'à ce que la première tâche soit terminée et que des échantillons RRB soient disponibles. Le mécanisme « No-Wait » applique la régularisation immédiatement dès que des échantillons de répétition deviennent disponibles, plutôt que d'attendre la fin de la tâche. Cela vise à stabiliser l'apprentissage de la tâche initiale, ce qui est crucial dans les cadres continus où la connaissance de chaque tâche doit être exploitée efficacement pour les tâches suivantes.
3. Mises à jour périodiques des valeurs Q : La méthode met périodiquement à jour les valeurs Q stockées dans le RRB correspondant à la tâche actuelle pendant l'entraînement. Cela empêche la régularisation de cibler des valeurs Q obsolètes ou inexactes qui pourraient résulter d'un entraînement initial insuffisant ou de connaissances acquises dans les tâches ultérieures.

Le cadre utilise un RRB dédié séparé du tampon de rejouage standard. Le RRB agit comme une mémoire à long terme et inter-tâches, tandis que le tampon de rejouage sert de mémoire à court terme et spécifique à la tâche.

Contributions clés

• Enquête sur la répétition de données basée sur la valeur : L'article examine l'application de la répétition de données avec régularisation de la valeur Q dans des cadres CRL multi-cycliques, comblant un vide dans la compréhension de la manière dont la régularisation peut permettre un apprentissage efficace de la fonction de valeur.
• Proposition de Qreg+NWLU : Les auteurs identifient les limites du Qreg standard (instabilité et incohérence) et proposent Qreg+NWLU, une approche modifiée intégrant des mises à jour en direct et une régularisation sans attente.
• Validation empirique : L'étude démontre que Qreg+NWLU surpasse constamment les bases CRL standard (incluant DQN, DDQN, EWC, L2, PackNet et MER) sur plusieurs environnements et métriques.

Résultats

Des expériences ont été menées sur trois séquences de tâches : Minihack Room (présentant des transitions difficiles et des changements d'espace d'observation), Flappy Bird, et Catcher (utilisant l'environnement PyGame Learning). L'évaluation s'est étendue sur quatre cycles avec 10 graines aléatoires.

• Métriques de performance : Les auteurs ont utilisé le Transfert Final ($F$), le Transfert le plus faible ($W$) et le Retour Moyen ($G$).
• Séquence Room : Qreg+NWLU a atteint des performances quasi optimales dès le Cycle 2 avec une erreur standard notablement faible. Il a considérablement atténué la volatilité et le biais de primauté observés dans le Qreg standard. Alors que le Qreg standard montrait une variance élevée et des échecs dans certaines exécutions, Qreg+NWLU a obtenu le retour moyen ($G$) le plus élevé et des scores de transfert positifs sur toutes les tâches.
• Séquences Flappy et Catcher : Qreg+NWLU a constamment surpassé les bases, obtenant les retours moyens les plus élevés. Dans Flappy Bird, où la difficulté de la tâche augmente, Qreg+NWLU a montré une performance améliorée sur toutes les tâches par rapport à DQN, tandis que le Qreg standard avait du mal avec la Tâche 1. Dans Catcher, Qreg+NWLU a atteint des performances quasi optimales dès le Cycle 2 et a grandement atténué l'oubli observé dans le Qreg standard.
• Études d'ablation : L'étude a confirmé que les stratégies « Live » et « No-Wait » sont toutes deux critiques. Le retrait de « No-Wait » a conduit à une variance élevée et à une instabilité similaires au Qreg standard. La combinaison des stratégies a aidé à lisser les normes de valeurs Q ($\|Q\|_2$) à travers les transitions de tâches, réduisant la plage des valeurs de norme Q sur les cycles et améliorant la robustesse.

Importance et affirmations

L'article affirme que l'intégration de la répétition de données dans l'approximation de la fonction de valeur via Qreg améliore considérablement l'efficacité de l'apprentissage, les capacités de transfert et la résilience à l'oubli multi-cyclique. Cependant, les auteurs soulignent que l'obtention de ces résultats nécessite un cadre approprié, spécifiquement la combinaison de la régularisation sans attente, de l'échantillonnage continu (Live) et de la mise à jour périodique des échantillons de répétition.

Les auteurs positionnent ce travail comme une première étape vers l'application plus large de la régularisation de répétition de données basée sur la valeur en CRL. Ils reconnaissent des limites, notamment l'exclusion des séquences de tâches randomisées et des transitions difficiles impliquant des tâches entièrement uniques, la dépendance aux étiquettes de tâches pour la stratégie de mises à jour, et le focus sur les algorithmes purement basés sur la valeur (DQN) plutôt que sur les cadres acteur-critique. Malgré ces limites, les résultats suggèrent que les méthodes basées sur la valeur, lorsqu'elles sont correctement régularisées avec une répétition de données, peuvent efficacement atténuer l'oubli catastrophique dans les cadres multi-cycliques, remettant en question le consensus précédent selon lequel une telle régularisation nuit aux performances.