Learning Transferable Skills in Action RPGs via Directed Skill Graphs and Selective Adaptation

Cet article présente une approche d'apprentissage par renforcement dans Dark Souls III qui utilise un graphe de compétences dirigé et un curriculum hiérarchique pour décomposer le contrôle en cinq compétences réutilisables, permettant ainsi un apprentissage continu et une adaptation sélective efficace lors des changements de phase de jeu sans réentraînement complet.

L'essentiel

Imaginez que vous apprenez à jouer à un jeu vidéo extrêmement difficile, comme Dark Souls, où un seul faux mouvement peut vous faire perdre toute votre progression. Maintenant, imaginez que vous devez créer un robot capable de jouer à ce jeu, non seulement aujourd'hui, mais aussi demain, et encore après, même si le jeu change un peu (par exemple, l'ennemi devient plus fort ou plus rapide).

C'est le défi que relève cette recherche. Voici une explication simple de leur solution, imagée avec des métaphores du quotidien.

1. Le Problème : L'Élève "Tout-en-un" vs. L'Équipe d'Experts

Habituellement, quand on entraîne une intelligence artificielle (IA) pour jouer, on lui donne un cerveau unique qui doit tout apprendre en même temps : comment bouger la caméra, comment viser, comment courir, comment esquiver et quand attaquer.

L'analogie : C'est comme essayer d'enseigner à un seul élève de primaire comment être à la fois un chef d'orchestre, un chirurgien cardiaque, un pilote de Formule 1 et un cuisinier, le tout en une seule leçon. C'est inefficace, l'élève se perd, et si le jeu change un peu, il oublie tout ce qu'il savait.

La solution des auteurs : Au lieu d'un seul cerveau, ils ont créé une équipe de cinq experts spécialisés, chacun avec sa propre petite tâche. C'est comme une équipe de secours où chaque membre a un rôle précis :

1. Le Caméraman : S'assure que la caméra regarde toujours le bon endroit.
2. Le Viseur : Verrouille la cible pour ne pas la perdre de vue.
3. Le Coureur : Gère les déplacements et la position.
4. L'Esquiveur : Est l'expert pour éviter les coups mortels.
5. Le Stratège : Décide quand frapper et quand utiliser une potion de soin.

2. La Méthode : L'Échafaudage de l'Apprentissage

Comment on apprend à cette équipe ? On ne les lance pas tous ensemble dans la mêlée. On utilise une méthode en cascade, comme construire une maison étage par étage.

• Étape 1 : On apprend d'abord au "Caméraman" et au "Viseur" à bien regarder. Une fois qu'ils sont experts, on les "gèle" (ils ne changent plus).
• Étape 2 : On apprend au "Coureur" à se déplacer, en sachant que le Caméraman et le Viseur font déjà leur travail parfaitement.
• Étape 3 : On apprend à l'"Esquiveur" à éviter les coups, en sachant que le Coureur le place déjà dans une bonne position.
• Étape 4 : Enfin, le "Stratège" apprend à attaquer et soigner, en sachant que tout le reste fonctionne bien.

L'analogie : C'est comme apprendre à conduire. D'abord, vous apprenez à tenir le volant (caméra/viseur). Une fois que c'est automatique, vous apprenez à changer de voie (déplacement). Ensuite, vous apprenez à freiner d'urgence (esquive). Enfin, vous apprenez à gérer le trafic et les priorités (stratégie). Chaque nouvelle compétence s'appuie sur les précédentes, ce qui rend l'apprentissage beaucoup plus rapide et efficace.

3. Le Super-Pouvoir : L'Adaptation Sélective

C'est ici que la magie opère pour l'apprentissage à vie. Imaginez que le jeu change : le boss devient plus gros et plus rapide (c'est ce qu'on appelle passer de la "Phase 1" à la "Phase 2").

• L'approche classique : Il faudrait tout réapprendre de zéro. C'est comme si votre voiture changeait de moteur et que vous deviez réapprendre à conduire depuis votre premier jour de permis.
• L'approche de cette équipe : Seuls certains experts sont concernés par le changement.
  • Le "Caméraman" et le "Viseur" n'ont pas besoin de changer : un ennemi plus gros est toujours une cible à viser !
  • Le "Coureur" fonctionne toujours de la même manière.
  • Mais l'"Esquiveur" et le "Stratège" doivent s'adapter car les coups sont plus rapides et les stratégies de combat changent.

Le résultat : Au lieu de réentraîner tout le système, les chercheurs ne réentraînent que deux experts (l'Esquiveur et le Stratège). Le reste de l'équipe reste intact et transfère ses compétences. C'est comme si, pour s'adapter à une nouvelle route, vous ne changiez que vos pneus et votre direction, mais vous gardiez votre capacité à tenir le volant et à lire la carte.

En Résumé

Cette recherche montre qu'en décomposant un problème complexe en petites tâches spécialisées (comme une équipe d'experts) et en les apprenant dans un ordre logique (comme un échafaudage), on crée un agent intelligent qui :

1. Apprend beaucoup plus vite (il a besoin de moins de données).
2. Oublie moins facilement (il ne confond pas ses tâches).
3. S'adapte instantanément aux changements (il ne réentraîne que ce qui est nécessaire).

C'est une étape cruciale pour créer des robots ou des agents virtuels qui peuvent évoluer avec nous, apprendre de nouvelles choses au fil du temps sans effacer leurs anciennes compétences, un peu comme un humain qui apprend un nouveau sport tout en gardant ses connaissances en natation.

Résumé technique

Voici un résumé technique détaillé de l'article "Learning Transferable Skills in Action RPGs via Directed Skill Graphs and Selective Adaptation", publié comme article de workshop à ICLR 2026.

1. Problématique

L'article aborde le défi du apprentissage tout au long de la vie (lifelong learning) pour les agents autonomes, spécifiquement dans des environnements de contrôle en temps réel complexes et dynamiques comme les jeux vidéo de type Action RPG (ex: Dark Souls III).

Les principaux obstacles identifiés sont :

• L'inefficacité de l'échantillonnage : Les politiques monolithiques (end-to-end) nécessitent d'énormes quantités de données pour apprendre des comportements complexes.
• La fragilité face aux changements : Lorsqu'un environnement change (décalage de domaine), les agents monolithiques doivent souvent être réentraînés de zéro, ce qui risque d'effacer les compétences précédemment acquises (catastrophic forgetting).
• La complexité des tâches : Les jeux modernes impliquent des boucles de réaction rapides, une observabilité partielle et des sous-problèmes couplés (visée, mouvement, esquive, décision d'attaque).

L'objectif est de concevoir un agent capable d'étendre ses compétences sans réentraînement complet, en favorisant la plasticité (adaptation rapide) et la stabilité (rétention des compétences utiles).

2. Méthodologie

L'approche proposée repose sur deux piliers : une architecture modulaire basée sur un graphe de compétences et un protocole d'apprentissage hiérarchique.

A. Architecture du Graphe de Compétences Dirigé

Au lieu d'une politique unique, l'agent décompose le contrôle en cinq compétences réutilisables distinctes, chacune ayant une responsabilité étroite et un espace d'actions réduit :

1. C (Camera) : Contrôle de la caméra pour maintenir le champ de vision.
2. L (Lock-on) : Verrouillage de la cible.
3. M (Mouvement) : Positionnement et déplacement.
4. D (Esquive) : Évasion des attaques ennemies.
5. H (Décision Soin/Attaque) : Gestion des ressources (potions) et choix d'attaquer ou de se soigner.

Chaque compétence $k$ possède sa propre politique $\pi_k$ et reçoit une observation spécifique $o^k_t$ dérivée de l'état global du jeu. Les sorties de ces politiques sont composées simultanément pour former l'action globale de l'agent.

B. Apprentissage Hiérarchique (Curriculum Learning)

Les compétences sont entraînées séquentiellement selon une chaîne de dépendances :
$$C \rightarrow L \rightarrow M \rightarrow D \rightarrow H$$

• Entraînement séquentiel : Les compétences en amont (C, L, M) sont entraînées en premier et gelées (fixées) lors de l'entraînement des compétences en aval.
• Avantage : Cela réduit la charge d'exploration pour les compétences complexes (D et H) en contraignant la distribution des états atteignables à des configurations pertinentes pour la tâche.
• Exécution : Bien que l'entraînement soit séquentiel, l'exécution est concurrente (multi-threadée) en temps réel.

C. Adaptation Sélective (Selective Adaptation)

Lors d'un changement de domaine (ex: transition de la Phase 1 à la Phase 2 d'un combat de boss), l'approche propose une adaptation ciblée :

• Les compétences "amont" (C, L, M), qui capturent des mécanismes invariants à la phase (visée, mouvement de base), sont congelées.
• Seules les compétences "aval" sensibles au contexte (D et H) sont affinées (fine-tuned) avec un budget d'interaction limité.

3. Contributions Clés

1. Formalisation du combat : Modélisation du combat dans Dark Souls III comme un graphe de compétences dirigé, implémentant un agent modulaire avec cinq compétences réutilisables.
2. Protocole d'entraînement hiérarchique : Démonstration que l'isolement des compétences étroites et leur réutilisation améliorent considérablement l'efficacité de l'échantillonnage par rapport aux approches monolithiques.
3. Preuve d'adaptation sélective : Validation expérimentale que, face à un changement de domaine (Phase 1 $\to$ Phase 2), il est possible de récupérer les performances en n'affinant qu'un sous-ensemble de compétences (D et H), tandis que les compétences amont restent transférables.

4. Résultats Expérimentaux

Les expériences ont été menées sur le premier boss de Dark Souls III (Iudex Gundyr), divisé en deux phases pour simuler un décalage de domaine.

• Efficacité de l'échantillonnage :
  • L'agent modulaire atteint une politique compétitive pour la Phase 1 avec un budget d'environ 230k étapes.
  • À titre de comparaison, une politique monolithique (end-to-end) entraînée avec la même interface d'état et le même algorithme (DQN) n'arrive pas à apprendre un comportement de combat fiable même après des centaines de milliers d'étapes (taux de victoire de 0%).
• Abordation des compétences :
  • L'ablation des compétences aval (D et H) fait chuter le taux de victoire à 0%.
  • L'ablation de la compétence D (esquive) réduit le taux de victoire à 16%, montrant que la défense est critique.
  • Les compétences amont (C, L, M) restent utiles même si les compétences aval sont aléatoires, confirmant leur transférabilité.
• Transfert et Adaptation (Phase 1 $\to$ Phase 2) :
  • Transfert Zero-shot : Sans réentraînement, l'agent maintient un taux de victoire non nul (33,3% en démarrage à mi-distance), prouvant la robustesse des compétences amont.
  • Affinage Ciblé : En n'affinant que les politiques D et H avec un budget d'interaction limité, le taux de victoire en Phase 2 passe à 52%. Cela démontre que l'adaptation peut être localisée à un petit sous-ensemble de politiques.

5. Signification et Conclusion

Cet article démontre que structurer les agents autour de dépendances de compétences via un graphe dirigé est une voie prometteuse pour l'apprentissage continu évolutif dans des environnements complexes.

• Efficacité : La factorisation des tâches réduit la complexité de l'apprentissage pour chaque sous-composante.
• Robustesse : La séparation des compétences permet de préserver les connaissances stables (amont) tout en permettant une adaptation rapide (aval) face aux changements de l'environnement.
• Praticité : Cette approche offre une solution viable pour créer des agents capables d'évoluer continuellement sans nécessiter de réentraînement massif, un défi majeur pour le déploiement de l'IA dans des jeux vidéo réalistes et des environnements dynamiques.

En résumé, l'étude valide l'hypothèse que l'abstraction temporelle et la modularité sont essentielles pour surmonter les limitations de l'apprentissage par renforcement continu dans les domaines à haute dimension et à temps réel.