Task diversity produces systematic transfer but inhibits continual reinforcement learning

Résumé technique : Banyan – Un environnement généré de manière procédurale pour étudier l'effet de la diversité des tâches sur le transfert

1. Énoncé du problème

L'apprentissage par renforcement (RL) continu vise à développer des agents qui non seulement s'améliorent sur les tâches actuelles, mais s'adaptent également lorsque les distributions de tâches évoluent. Bien que les recherches précédentes aient établi que l'entraînement sur des tâches diverses peut induire une généralisation zero-shot (évaluée avec des poids gelés), il reste incertain de savoir si la diversité des tâches améliore la capacité d'un agent à continuer à apprendre via des mises à jour de poids lors de changements de distributions. Les benchmarks existants pour le RL continu impliquent généralement un apprentissage séquentiel sur au plus quelques centaines de tâches, tandis que les environnements à grande échelle générés de manière procédurale (ex. : XLand, AdA) contiennent des millions de tâches mais manquent du contrôle nécessaire pour isoler comment la quantité et le type de diversité affectent l'apprentissage à travers des changements de distribution contrôlés.

2. Méthodologie : L'environnement Banyan

Les auteurs introduisent Banyan, un domaine généré de manière procédurale et accéléré par GPU, conçu pour étudier le RL continu sur des espaces de tâches compositionnels. Banyan factorise une tâche $\tau = \langle L, T, O \rangle$ en trois axes indépendamment contrôlables :

• Configuration spatiale (Layout - $L$) : La carte de l'environnement, incluant les configurations de murs et les placements initiaux d'objets, ce qui définit le problème de navigation.
• Topologie de l'arbre de tâches (Task-Tree Topology - $T$) : La structure abstraite de l'objectif, définissant la profondeur, la ramification et l'ordre de dépendance des sous-objectifs (transformations vs combinaisons).
• Assignation d'objets (Object Assignment - $O$) : Les identités concrètes des objets assignés aux nœuds de l'arbre de tâches.

Mécanique des tâches :

• Objectif : L'agent doit naviguer dans la grille, ramasser, lâcher et combiner des objets (ou transformer des objets uniques) pour produire un objet racine spécifique défini par l'arbre de tâches.
• Observations : L'agent voit la grille complète et la description de l'objet cible, mais doit inférer la structure de l'arbre de tâches et la séquence de résolution.
• Dynamique : Les règles de combinaison et de transformation d'objets sont fixes ; seules la configuration spatiale et l'identité des objets varient.
• Curriculum : Les tâches couvrent des profondeurs allant de 1 à 6. Les tâches plus profondes servent de curriculum pour les plus shallow (peu profondes), et les distributions sont imbriquées (les tâches de profondeur 6 contiennent toutes les sous-tâches plus superficielles).

Protocole expérimental :
Les auteurs évaluent deux algorithmes : Proximal Policy Optimization (PPO) et Parallelised Q-Network (PQN). Ils mesurent :

• Transfert vers l'avant (Forward Transfer) : Le « fossé de transfert » ($\Delta_i$) entre le taux de succès terminal sur la distribution $d_{i-1}$ et le taux de succès initial sur $d_i$.
• Transfert vers l'arrière (Backward Transfer) : Le changement de performance sur une distribution antérieure $d_i$ après l'entraînement sur des distributions suivantes.

3. Contributions clés

1. Benchmark Banyan : Un domaine contrôlé à nombreuses tâches permettant une variation indépendante des configurations, des instances d'arbres de tâches et des topologies, permettant l'étude du RL continu sur des milliards de tâches potentielles.
2. Preuve de transfert systématique : Preuve expérimentale que l'augmentation de la diversité le long de n'importe quel axe (configurations, assignations d'objets ou topologies) induit un transfert systématique, permettant aux agents de commencer de nouvelles distributions à des niveaux de performance proches de leurs performances précédentes.
3. Preuve d'inhibition induite par la diversité : Preuve expérimentale que si une diversité modérée aide au transfert, une diversité excessive inhibe l'apprentissage continu à long terme, provoquant un plafonnement de l'agent sur les nouvelles distributions tout en continuant à affiner ses performances sur les distributions antérieures.

4. Résultats clés

A. La diversité produit un transfert systématique (Changement unique)
Dans les expériences impliquant un changement unique de la distribution $d_1$ à $d_2$ :

• Transfert vers l'avant : L'augmentation du nombre de configurations ($|L|$), d'assignations d'objets ($|O|$) ou de topologies ($|T|$) dans $d_1$ réduit le fossé de transfert ($\Delta_2$) vers zéro. Les agents entraînés sur une $d_1$ hautement diverse commencent $d_2$ avec des niveaux de performance comparables à leur performance finale sur $d_1$.
• Transfert vers l'arrière : Augmenter $|L|$ ou $|O|$ a eu peu d'effet sur le transfert vers l'arrière. Cependant, augmenter le nombre de topologies ($|T|$) a considérablement amélioré le transfert vers l'arrière, suggérant que varier les dépendances structurelles des tâches est crucial pour conserver la connaissance des distributions antérieures.
• Mécanisme : L'analyse de l'erreur TD de PQN à la frontière $d_1 \to d_2$ a révélé qu'une plus grande diversité produit une erreur TD initiale plus faible et de meilleures politiques initiales. Cela suggère que la diversité façonne des caractéristiques de valeur qui se généralisent bien hors-distribution.
• Généralisabilité : Ces effets ont été reproduits dans un domaine de contrôle continu « Point Mass », indiquant que le phénomène n'est pas un artefact du contrôle en grille discrète.

B. La diversité inhibe l'apprentissage continu à long terme (Séquence de changements)
Dans les expériences impliquant une séquence de dix distributions ($d_1 \dots d_{10}$) :

• Le paradoxe : Bien qu'une haute diversité ($n=256$ configurations/topologies uniques) ait réussi à fermer le fossé de transfert à chaque frontière (les agents commençaient chaque nouvelle distribution au sommet précédent), elle a provoqué un plafonnement de la capacité de l'agent à s'améliorer au cours de la séquence.
• Trajectoire de performance :
  • À diversité intermédiaire ($n=16$), les agents continuent d'apprendre, faisant passer le taux de succès d'environ $0,74$ sur $d_1$ à environ $0,95$ sur $d_{10}$.
  • À haute diversité ($n=256$), le taux de succès sur les nouvelles distributions reste plat, proche de $0,80$, à travers les dix distributions. La performance finale sur $d_{10}$ décline en fait de manière monotone à mesure que la diversité augmente au-delà de $n=16$.
• Interférence : La haute diversité a conduit à un fort transfert vers l'arrière (la performance sur $d_1$ est passée d'environ $0,80$à$0,95$ après 10 cycles) mais a empêché la spécialisation sur les nouvelles distributions. Les auteurs attribuent cela à l'interférence : le réseau apprend la structure générale de la tâche partagée entre les distributions, mais est empêché d'apprendre les structures spécifiques requises par les nouvelles distributions.

5. Signification et affirmations

Le papier avance une conclusion significative et quelque peu paradoxale : La diversité des tâches est une arme à double tranchant pour le RL continu.

• Motivation : La diversité est essentielle pour induire un transfert systématique, permettant aux agents de s'adapter immédiatement aux nouveaux changements de distribution sans oublier de manière catastrophique la structure générale des tâches.
• Limitation : Cependant, la même diversité qui lisse les transitions individuelles inhibe l'accumulation de l'apprentissage sur de longues séquences. Les auteurs soutiennent que « l'apprentissage et l'échelle, à eux seuls, ne suffiront peut-être pas » pour permettre le RL continu ; le compromis entre généralisation (transfert) et spécialisation (apprentissage de spécificités nouvelles) semble intrinsèque à l'approximation de fonctions par partage de poids dans le régime de nombreuses tâches.

Ce travail met en lumière une lacune critique dans la recherche actuelle en RL : alors que la diversité est célébrée pour la généralisation zero-shot, elle peut activement entraver la capacité des agents à optimiser leurs performances sur de nouvelles distributions lors d'un apprentissage continu. Les auteurs mettent Banyan à disposition de la communauté pour approfondir ces compromis et développer des algorithmes capables d'atténuer l'interférence causée par la haute diversité des tâches.