Résumé technique : Agents coachables pour le gameplay interactif

Énoncé du problème

L'apprentissage par renforcement (RL) a atteint des performances de pointe dans les domaines de contrôle en temps réel, de la robotique aux jeux vidéo. Cependant, les agents de RL standards apprennent généralement un comportement unique et quasi optimal pour résoudre une tâche. Ce manque de flexibilité est une limitation dans les scénarios où les utilisateurs souhaitent exercer un contrôle sur la manière dont une tâche est accomplie, plutôt que simplement sur le fait qu'elle soit accomplie. Bien que les utilisateurs puissent demander des styles spécifiques à l'IA générative (par exemple, « peindre dans un style impressionniste »), un tel contrôle de style en temps réel est resté indisponible pour les agents opérant dans des contextnements de contrôle continu.

Les approches existantes telles que l'apprentissage multi-tâches, multi-objectifs ou conditionné par des objectifs se concentrent sur l'enseignement d'agents capables d'accomplir plusieurs tâches distinctes. Cet article soutient que présenter le fait de « nettoyer silencieusement » et « nettoyer rapidement » comme des tâches séparées occulte le spectre des préférences de l'utilisateur. Au lieu de cela, les auteurs proposent des Agents Coachables : des agents entraînés pour accomplir une tâche centrale unique selon une variété de « styles » différents, permettant aux utilisateurs de sélectionner et de modifier ces styles à la demande lors de l'exécution.

Méthodologie

Le cadre s'appuie sur les Approximateurs de Fonctions de Valeur Universelles (UVFA), en les étendant pour gérer les scénarios où l'objectif central est fixe mais où plusieurs comportements valides existent. Les auteurs introduisent des UVFA conditionnés par le style, où la fonction de récompense est décomposée en deux composantes :
$$r(s, a; \theta) = r_{task}(s, a) + r_{style}(s, a, \theta)$$

• $r_{task}$ : Une récompense fixe capturant l'objectif primaire (par exemple, gagner un combat, terminer un tour).
• $r_{style}$ : Une récompense dépendante du style pilotée par un vecteur de style multidimensionnel $\theta$. Ce vecteur inclut des poids pour la combinaison linéaire des récompenses, des seuils pour le filtrage/la rampe, et des points de consigne qui pénalisent l'écart par rapport aux plages souhaitées.

Innovations techniques clés

1. Adaptation algorithmique (Cat-RAC) : Pour gérer les domaines de contrôle à haute dimension des jeux AAA (spécifiquement Horizon Forbidden West), les auteurs ont développé le Categorical Regularized Actor-Critic (Cat-RAC), un nouveau membre de la famille des Soft Actor-Critic (SAC). Cet algorithme traite la complexité des espaces d'action et de la variance comportementale présents dans les jeux modernes.
2. Infrastructure d'entraînement : Le cadre utilise :
   • Entraînement par scénario : Création de scénarios d'entraînement spécifiques pour enseigner les compétences et les variations de style.
   • Augmentation de données : Pour accélérer et stabiliser l'apprentissage.
   • Tampons de relecture (Replay Buffers) à usage spécial : Stockage des trajectoires avec des étiquettes de style spécifiques pour faciliter l'apprentissage de politiques diverses.
3. Composition de style : Le système permet de combiner plusieurs demandes de style (par exemple, une arme spécifique + un effet élémentaire spécifique) au moment de l'exécution, même si l'agent a rarement rencontré cette combinaison spécifique pendant l'entraînement.

Domaines expérimentaux

Le cadre a été validé à travers trois domaines distincts :

1. Gran Turismo 7 (GT7) : Une simulation de course. L'agent (GT Sophy) a été entraîné à équilibrer le temps au tour contre les contraintes de ressources (consommation de carburant et usure des pneus) et à manifester des comportements de conduite comme le dérapage (drifting).
2. Horizon Forbidden West (HFW) : Un jeu d'action-aventure en monde ouvert. L'agent contrôle la protagoniste, Aloy, en combat contre des ennemis robotiques complexes. Les styles comprenaient des choix d'armes spécifiques (6 armes), le corps à corps, les pièges, et 7 effets élémentaires, ainsi que 3 stratégies de retrait de pièces.
3. DeepMind Control Suite (DMC) : Une tâche de marche humanoïde. Les styles contrôlaient des poses de bras discrètes et des longueurs de foulée continues, démontrant l'applicabilité de l'approche à la robotique.

Résultats

Gran Turismo 7

• Gestion des ressources : En ajustant les poids de l'UVFA, l'agent pouvait échanger la cadence contre l'autonomie de carburant ou la durée de vie des pneus. Augmenter les pénalités pour l'usage de carburant/pneus prolongeait le temps entre les arrêts aux stands jusqu'à 60 %, au prix de 2 à 3 secondes par tour.
• Variation comportementale : L'agent a réussi à apprendre le dérapage et pouvait moduler son agressivité apparente via des paramètres de style basés sur des seuils.

Horizon Forbidden West

• Adhérence au style : À travers 57 000 combats contre 19 ennemis et dans 3 lieux, l'agent a démontré une forte corrélation entre les styles demandés et les comportements exécutés (dominance diagonale dans les matrices de type de dégâts).
• Adaptation contextuelle : L'agent n'obéit pas aveuglément aux demandes de style mais les contextualise. Par exemple, lorsqu'on lui demande un style élémentaire spécifique, il sélectionnera une arme capable d'induire cet état, puis pourra potentiellement changer pour une arme plus puissante afin de maximiser les dégâts pendant que l'état persiste.
• Composabilité : L'agent a exécuté avec succès des styles combinés (ex: arme spécifique + élément spécifique) malgré le fait qu'il ait vu de telles combinaisons moins d'une fois par million de scénarios d'entraînement.
• Généralisation : L'agent a maintenu des performances élevées contre des ennemis et des scénarios hors distribution (OOD) (ex: ennemis volants) non présents dans l'ensemble d'entraînement.
• Contrôle des compromis : Les courbes de Pareto ont démontré que les utilisateurs pouvaient ajuster un paramètre de poids de style au moment de l'exécution pour équilibrer le « score de style » par rapport au taux de victoire, permettant un contrôle flexible sur la prise de risque de l'agent.

Humanoïde (DMC)

• L'agent a réussi à composer des poses de bras discrètes avec un contrôle de la longueur de la foulée continue. Le paramètre de style $\theta$ a fonctionné efficacement comme un point de consigne pour la longueur de la foulée, bien que les poses de bras impactent le centre de masse et l'équilibre du robot.

Signification et revendications

L'article affirme que les UVFA conditionnés par le style, lorsqu'ils sont combinés avec des algorithmes d'apprentissage et des stratégies d'entraînement appropriés, peuvent produire des agents qui réussissent des tâches complexes en temps réel tout en restant modifiables sur commande.

• Impact sur le jeu vidéo : Cette technologie offre des applications immédiates pour l'industrie du jeu vidéo, notamment pour l'amélioration des processus de contrôle qualité (QA), des PNJ (personnages non-joueurs) enrichis, et de nouvelles fonctionnalités d'accessibilité où des agents peuvent prendre le relais sur des sections difficiles d'un jeu tout en respectant le style de jeu préféré d'un joueur.
• Impact sur la robotique : À mesure que les robots généralistes entrent dans les environnements réels, cette approche fournit un mécanisme permettant aux utilisateurs de façonner les comportements des robots via des modificateurs d'objectifs, permettant aux robots d'accomplir des tâches avec divers degrés de « panache » ou des contraintes spécifiques (ex: nettoyage silencieux vs nettoyage rapide).
• Encodage comportemental : Contrairement aux agents de RL standards qui apprennent un comportement unique, les agents coachables encodent une « famille de comportements », offrant une interface flexible entre l'intention humaine et l'exécution machine.

Les auteurs soulignent que l'essentiel de l'effort dans ce cadre réside dans la création des incitations et des scénarios d'entraînement (le « coaching ») plutôt que dans l'architecture algorithmique elle-même, suggérant que la conception des environnements d'entraînement est critique pour passer à l'échelle dans des domaines complexes.