Dans les paysages numériques des jeux vidéo, le monde est souvent une scène dressée pour le voyage d'un joueur unique. Pourtant, les moments les plus mémorables découlent fréquemment non pas des propres actions du joueur, mais des réactions des personnages qu'il rencontre en chemin. Ces personnages non joueurs, ou PNJ, sont les habitants du monde du jeu, chargés de donner l'impression que l'environnement est vivant. Pendant des décades, les concepteurs de jeux se sont appuyés sur des scripts rigides pour faire bouger et agir ces personnages, créant des comportements prévisibles et souvent répétitifs. Plus récemment, l'intelligence artificielle a commencé à offrir une nouvelle voie, en utilisant des modèles capables de générer des séquences vidéo entières de gameplay. Cependant, un obstacle important demeure : dans ces nouveaux systèmes d'IA, le comportement des personnages n'est souvent qu'un sous-produit de la vidéo en cours de création, ou il est contraint de suivre des instructions provenant de l'extérieur du système. Cela signifie que les personnages ne peuvent pas véritablement « voir » la situation changeante autour d'eux et décider comment réagir sur le moment. Ils manquent d'un esprit qui connecte ce qui se passe à l'écran à ce qu'ils doivent faire ensuite.

Une équipe de chercheurs de Tencent et de l'Université nationale de Singapour a comblé cette lacune en introduisant un nouveau cadre appelé WorldMind. Leur travail représente un changement dans la manière dont les mondes de jeu sont modélisés, s'éloignant des systèmes où le comportement du personnage est caché à l'intérieur du processus de génération de la vidéo. Au lieu de cela, ils ont construit un système qui sépare explicitement l'acte de comprendre l'état du jeu de l'acte de générer la vidéo. Imaginez un jeu où l'ordinateur fait d'abord une pause pour évaluer la distance entre un joueur et un monstre, vérifie quelles capacités le monstre possède à sa disposition, puis décide consciemment d'un mouvement spécifique avant de dessiner l'image suivante de la vidéo. C'est le cœur de WorldMind. Les chercheurs ont démontré qu'en décomposant le processus en étapes distinctes — comprendre la scène, raisonner sur une réponse, puis générer le résultat visuel — ils pouvaient créer des personnages non joueurs qui réagissent à l'évolution de l'état du jeu avec un niveau de conscience tactique jusque-là inédit dans les modèles génératifs.

Le fondement de cette nouvelle approche repose sur une structure à quatre couches qui imite un cycle de perception et d'action. La première couche agit comme les yeux du système, prenant les images vidéo générées jusqu'à présent et reconstruisant un résumé numérique compact de la situation actuelle. Ce résumé inclut des détails spécifiques tels que la distance entre le joueur et le boss, l'angle sous lequel ils se font face, et un historique des compétences que le boss a utilisées récemment. C'est une étape cruciale car, dans les modèles précédents, l'IA devait deviner ces détails tout en essayant simultanément de dessiner la vidéo, ce qui menait souvent à des comportements confus ou peu réactifs. En créant ce résumé clair et séparé de l'état, le système garantit que le processus de prise de décision dispose d'une base solide de faits sur lesquels travailler.

Une fois cet état compact établi, il est transmis à la deuxième couche, qui sert de cerveau de l'opération. Ici, un grand modèle de langage — un type d'intelligence artificielle entraînée à comprendre et à générer le langage humain — lit le résumé de l'état du jeu ainsi qu'une liste des compétences disponibles du boss et leurs descriptions. Le modèle raisonne ensuite sur la situation pour planifier le prochain mouvement. Il se pose des questions telles que : « Le joueur est très proche, donc une attaque de rapprochement est nécessaire » ou « Le joueur est loin, je devrais donc utiliser une compétence à longue portée ». Cette couche ne se contente pas de deviner ; elle formule un plan tactique basé sur les mécaniques du jeu et la réalité actuelle de la scène. Les chercheurs ont veillé à ce que ce raisonnement soit ancré dans les règles réelles du jeu, plutôt que de simplement imiter des schémas issus des données d'entraînement. Ils ont constaté que lorsqu'ils modifiaient les descriptions des compétences ou l'état du jeu, le modèle changeait ses décisions en conséquence, prouvant qu'il comprenait réellement les mécaniques plutôt que de simplement mémoriser des résultats.

La troisième couche agit comme un traducteur, convertissant le plan de haut niveau du cerveau en un ensemble d'instructions que le générateur de vidéo peut comprendre. Elle prend l'action choisie et les mouvements du joueur et les transforme en une séquence temporelle de prompts en langage naturel. Par exemple, elle pourrait générer une phrase telle que « le joueur effectue une attaque pendant que le boss effectue un saut de frappe ». Cela garantit que la couche de génération visuelle, le quatrième et dernier composant, reçoit des instructions précées et temporellement alignées. Le générateur de vidéo crée ensuite le segment suivant de la vidéo de gameplay basé sur ces prompts. Crucialement, les images qu'il produit ne sont pas la fin de la chaîne ; elles sont réinjectées dans la première couche pour recommencer le cycle. Cela crée une boucle fermée où le monde est constamment observé, analysé et mis à jour, permettant au personnage non joueur de réagir aux conséquences de ses propres actions précédentes en temps réel.

Pour entraîner et tester ce système, les chercheurs ont été confrontés à un défi de données important. Les enregistrements de jeux vidéo standards ne capturent généralement que ce que fait le joueur et ce que montre l'écran, manquant des données internes sur l'état du jeu dont l'IA a besoin pour apprendre à prendre des décisions. Pour résoudre cela, ils ont construit un pipeline automatisé pour collecter un nouvel ensemble massif de données appelé BOSS-140K. Cet ensemble de données contient plus de 140 000 clips de gameplay, totalisant plus de 200 heures, présentant des combats contre 14 boss différents à travers trois jeux distincts. Contrairement aux ensembles de données précédents, celui-ci associe les séquences vidéo à des annotations détaillées, image par image, de l'état interne du jeu, incluant les distances exactes, les temps de recharge des compétences et les entrées du joueur. Ils ont utilisé un agent spécialisé pour jouer aux jeux automatiquement, garantissant une grande variété d'interactions enregistrées sans avoir besoin d'opérateurs humains pour contrôler manuellement chaque mouvement. Ces données riches et structurées étaient essentielles pour enseigner au système comment lier le monde visuel aux règles sous-jacentes du jeu.

Lorsque les chercheurs ont testé WorldMind, les résultats ont montré une amélioration marquée du comportement des personnages non joueurs. Lors de comparaisons directes avec les méthodes existantes, où les personnages agissaient soit implicitement au sein de la vidéo, soit suivaient des commandes externes, le nouveau système a été préféré par les évaluateurs dans environ 70 % des cas. Les personnages générés par WorldMind étaient non seulement plus tactiquement appropriés, mais aussi plus cohérents, maintenant une stratégie constante tout au long du combat. Ils pouvaient s'adapter aux mouvements d'un joueur, réduisant la distance quand nécessaire ou battant en retraite pour utiliser des attaques à longue portée, le tout pendant que la génération de la vidéo suivait le rythme à environ 20 images par seconde. Cette vitesse est suffisante pour une interaction en temps réel, ce qui signifie que le système peut fonctionner de manière fluide pendant qu'un humain joue. L'étude a également confirmé que le système pouvait généraliser sa compréhension à des jeux qu'il n'avait pas vus durant l'entraînement, à condition qu'on lui fournisse les informations d'état interne correctes, suggérant que l'approche est assez robuste pour être appliquée au-delà des jeux spécifiques utilisés dans l'étude.

Le travail présenté dans cet article suggère une nouvelle voie pour le divertissement interactif, où l'intelligence artificielle régissant un monde de jeu n'est pas seulement un générateur de visuels, mais un participant de la logique du jeu. En découplant la compréhension de l'état de la génération de la vidéo, les chercheurs ont créé un cadre où les personnages non joueurs peuvent posséder une forme de conscience situationnelle. Ils ne sont plus liés à des scripts pré-écrits ou aux limitations d'un processus génératif unique. Au lieu de cela, ils peuvent observer le monde, raisonner sur leurs options et agir avec intention. Bien que le système soit actuellement concentré sur les combats de boss et des genres de jeux spécifiques, le principe sous-jacent de séparation de la compréhension de l'état et de la génération de l'action offre une direction prometteuse pour la création de mondes numériques plus dynamiques et réactifs à l'avenir. Les chercheurs ont montré que lorsque vous donnez à une IA une vue claire de l'état du jeu et un moyen d'y réfléchir, les personnages qu'elle crée peuvent véritablement prendre vie.