AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds
Cet article présente AceAction, un ensemble de données à grande échelle de jeux humains sur plusieurs jeux 3D qui fournit des annotations hiérarchiques et temporellement alignées de vision-langage-action pour permettre aux agents généralistes d'apprendre la composition de compétences et les transitions de sous-objectifs dans des environnements dynamiques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pour apprendre à une machine comment agir dans le monde, les chercheurs ont besoin d'une immense bibliothèque d'exemples montrant la connexion entre ce qu'un agent voit, ce qu'il veut accomplir et les mouvements spécifiques qu'il effectue pour y parvenir. Dans le monde physique, la collecte de ce genre de données est lente, coûteuse et dangereuse ; elle nécessite des robots, des superviseurs humains et des installations répétées qui peuvent prendre des années à accumuler. Les jeux vidéo offrent une alternative pratique. Ils fournissent des environnements tridimensionnels riches où des joueurs humains accomplissent des tâches complexes chaque jour, et où chaque scène visuelle peut être parfaitement couplée aux commandes exactes du clavier et de la souris utilisées pour la créer. Le défi pour les scientifiques a été que, bien que les jeux génèrent des données infinies, transformer un gameplay brut en une leçon utile pour l'intelligence artificielle requiert plus que le simple enregistrement de vidéos. Cela exige un moyen de comprendre non seulement le résultat final, mais aussi le raisonnement étape par étape qui y a conduit : comment un joueur décide de se déplacer, quand il passe de l'exploration au combat, et comment il décompose un grand objectif en tâches plus petites et gérables.
Une équipe de chercheurs a abordé ce problème en créant une nouvelle collection de données appelée AceAction-5M, conçue pour apprendre aux ordinateurs comment suivre des instructions complexes à travers de nombreux jeux vidéo en 3D différents. Au lieu de simplement enregistrer ce qui s'est passé, les chercheurs ont organisé des milliers d'heures de gameplay humain en une hiérarchie structurée. Ils ont pris de longues sessions de jeu continues et les ont décomposées en une chaîne de commandement claire : une mission principale, une série de sous-objectifs intermédiaires et les actions spécifiques, instant par instant, nécessaires pour atteindre chacun d'eux. Par exemple, une tâche unique pourrait être de « traverser le couloir et monter les escaliers jusqu'à la maison en briques rouges ». Le système décompose cela plus précisément : d'abord, le joueur doit atteindre la porte sur la droite ; ensuite, il doit monter les escaliers ; enfin, il approche de la maison. Chacune de ces étapes est liée à la scène visuelle exacte que le joueur a vue et à la séquence précise de pressions de touches et de mouvements de souris qu'il a utilisés pour exécuter l'étape.
Le jeu de données couvre une grande variété de mondes virtuels, incluant des titres populaires comme Fortnite, Minecraft, Counter-Strike et Euro Truck Simulator 2. Au total, la collection comprend plus de 5 000 heures de gameplay provenant de 42 jeux différents, représentant plus de 5,4 millions d'instructions de tâches distinctes et près de 116 millions d'actions individuelles de clavier et de souris. Pour construire cela, les chercheurs ont combiné des enregistrements de joueurs professionnels dans leurs propres studios avec des données de matchs publiquement disponibles provenant de communautés en ligne. Ils ont ensuite utilisé des outils de vision par ordinateur avancés pour observer le gameplay et identifier automatiquement quand l'objectif d'un joueur changeait. Si un joueur marchait dans un couloir puis s'arrêtait pour tirer sur un ennemi, le système reconnaissait que la phase de « marche » était terminée et qu'une phase de « combat » avait commencé. Il a étiqueté ces changements comme des étapes distinctes, attribuant un début et une fin clairs à chaque sous-objectif.
Un aspect crucial de ce travail est la capacité de lier ces étapes à des repères visuels spécifiques. Lorsqu'un joueur navigue vers une destination, le système identifie le moment où il arrive à un endroit reconnaissable, tel qu'une porte, une rampe ou une pièce spécifique, et marque cela comme un point de passage (waypoint). Cela permet aux données de montrer non seulement qu'un joueur s'est déplacé, mais qu'il s'est déplacé avec une destination spécifique en tête. Les chercheurs ont ensuite regroupé ces points de passage en séquences plus longues pour former des descriptions de tâches complètes. Pour s'assurer de l'exactitude des données, ils ont employé un processus de vérification rigoureux en deux étapes. D'abord, des modèles d'intelligence artificielle ont examiné chaque annotation pour vérifier que la description écrite correspondait à la vidéo et aux commandes enregistrées. Ensuite, une équipe de huit réviseurs humains a inspecté manuellement des centaines de trajectoires de gameplay. Cet audit humain a confirmé que les descriptions étaient correctes 95,8 pour cent du temps, garantissant que le lien entre le langage, la vision et l'action était solide.
Le résultat est un jeu de données qui enseigne explicitement à un agent artificiel comment passer d'une compétence à une autre à mesure que la situation change. Contrairement aux collections précédentes qui pourraient ne décrire que le résultat final ou fournir des instructions vagues, AceAction-5M montre à la machine exactement quand arrêter une activité et en commencer une autre. Il capture toute la gamme de comportements nécessaires dans un environnement dynamique, de la navigation sur une carte et l'éclaireur cherchant des ennemis, jusqu'à l'engagement dans un combat et la récupération après un revers. En fournissant ce niveau de détail, les chercheurs ont créé une base pour entraîner des agents capables de comprendre des instructions complexes à plusieurs étapes et de les exécuter avec la même flexibilité qu'un joueur humain. Ce travail démontre qu'en organisant le gameplay en objectifs hiérarchiques clairs, il est possible d'apprendre aux machines non seulement comment se déplacer, mais comment réfléchir à travers une séquence d'actions pour atteindre un objectif complexe.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.