💻 computer science

ActSWM: Action-Sensitive World Models for Long-Horizon Planning in Open-World Games

Cet article introduit ActSWM, un modèle de monde latent sensible à l'action qui traite le mode de défaillance de « l'effondrement du contexte » en imposant un principe de séparation des transitions afin de garantir que les déploiements à long terme restent distinguables à travers différentes séquences d'actions, améliorant ainsi la performance de planification dans les jeux en monde ouvert et permettant la récupération d'actions à partir de vidéos hors ligne.

Auteurs originaux : Zhenfeng Gan, ZiTong Zeng, Jiajun Cheng, Yeke Song, Yongyi Tang, Xueqian Wang

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenfeng Gan, ZiTong Zeng, Jiajun Cheng, Yeke Song, Yongyi Tang, Xueqian Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à jouer à un jeu vidéo, mais que vous ne pouvez pas le laisser toucher à la manette pour chaque mouvement. À la place, vous voulez que le robot se construise un « rêve » du jeu dans sa tête. Il regarde l'écran, imagine ce qui se passerait s'il sautait, puis ce qui se passerait s'il courait, et choisit ensuite la meilleure trajectoire sans réellement s'écraser contre un mur. C'est le monde des Modèles de Monde (World Models), une branche de l'intelligence artificielle où les machines apprennent à prédire l'avenir en le simulant à l'intérieur d'un « espace de rêve » mathématique compressé.

Pour que cela fonctionne, le rêve du robot doit être sensible à ses choix. Si le robot imagine sauter, le rêve devrait le montrer en train de s'élever. S'il imagine courir, le rêve devrait le montrer en train de prendre de la vitesse. Le gros problème auquel les scientifiques ont été confrontés est que ces rêves deviennent souvent « paresseux ». Le robot peut prédire un futur qui semble parfait, mais qui ne change pas réellement en fonction de ce que le robot décide de faire. C'est comme regarder un film dont l'intrigue est déjà écrite ; peu importe si le personnage essaie de tourner à gauche, la caméra continue de pivoter vers la droite. Ce papier s'attaque à ce bug spécifique, en posant la question suivante : pouvons-nous apprendre à un robot à rêver d'une manière où le futur écoute réellement ses actions ?

Le problème du « Rêve Paresseux »

Découvrez ActSWM, un nouveau type de cerveau d'IA conçu pour empêcher les robots d'avoir des « rêves paresseux ». Dans le monde des jeux en monde ouvert comme Minecraft, les agents (les robots) doivent planifier loin dans l'avenir. Ils doivent déterminer : « Si je mine cette pierre maintenant, est-ce que je pourrai construire une maison plus tard ? » Pour ce faire, ils utilisent un Modèle de Monde Latent. Considérez ce modèle comme un simulateur ultra-rapide qui tourne en arrière-plan. Au lieu de traiter chaque pixel de l'écran du jeu, il compresse le monde en un code « latent » simplifié — un raccourci mental.

L'objectif est que l'agent exécute des milliers de ces simulations mentales en une fraction de seconde pour trouver le meilleur mouvement. Mais voici le piège : de nombreux simulateurs existants souffrent d'un bug que les auteurs appellent l'Effondrement de Contexte (Context Collapse).

Imaginez que vous racontez une histoire à un ami. Si vous dites : « Je suis allé au parc », votre ami peut imaginer une journée ensoleillée. Si vous dites : « Je suis allé au parc et il a plu », il imagine une journée pluvieuse. C'est bien. Mais l'Effondrement de Contexte, c'est comme un ami qui, peu importe ce que vous dites, imagine toujours exactement la même journée ensoleillée. Il est tellement concentré sur l'idée générale de « l'espace vert » qu'il cesse d'écouter vos détails spécifiques sur la pluie. Dans le monde de l'IA, cela signifie que le simulateur prédit un futur plausible (un parc ensoleillé) mais ne parvient pas à changer cette prédiction en fonction des actions spécifiques que prend le robot (la pluie). Le robot pense : « Je peux sauter ou je peux courir, et le futur semble identique dans les deux cas », ce qui rend la planification impossible.

La Solution : Un « Détective d'Actions » Figé

Les auteurs proposent ActSWM (Modèle de Monde Sensible à l'Action) pour corriger cela. Leur secret réside dans un principe qu'ils appellent la Séparation de Transition. Ils veulent s'assurer que si le robot prend deux chemins différents, les rêves résultants doivent être différents.

Pour imposer cela, ils introduisent une astuce ingénieuse : une Lecture d'Action Fixe (Fixed Action Readout). Imaginez que vous avez un détective dont le travail est de regarder une scène et de deviner quelle action vient de se produire. Habitement, si le détective apprend en même même temps que la scène, il pourrait tricher. Si la scène semble trop similaire pour deux actions différentes, le détective pourrait simplement changer sa définition de « sauter » pour correspondre à la scène, plutôt que de forcer la scène à être différente.

ActSWM empêche cette triche en figeant le détective. Ils donnent à l'IA un détective avec un carnet de règles fixe et immuable. L'IA est alors contrainte de rendre ses « rêves » (les transitions latentes) si distincts qu'un détective figé puisse les différencier avec précision. Si l'IA essaie de faire en sorte que le rêve de « saut » et le rêve de « course » se ressemblent, le détective figé échouera à deviner l'action, et l'IA recevra une pénalité. Cela force l'IA à garder ses prédictions de futur nettes et réactives à chaque pression de bouton spécifique.

Ce qu'ils ont trouvé

L'équipe a testé ce nouveau cerveau dans le monde chaotique et cubique de Minecraft ainsi que dans trois autres jeux (Counter-Strike 2, GTA V et Apex Legends).

1. Stopper l'effondrement :
Lorsqu'ils ont comparé ActSWM aux anciens modèles, la différence était frappante. Dans un test où ils demandaient à l'IA d'imaginer un futur avec de vraies actions par rapport à un futur où le robot ne faisait rien (actions nulles), les anciens modèles produisaient des futurs presque identiques. Le nouvel ActSWM, cependant, a créé un écart massif. Les auteurs ont mesuré cet « écart d'action » et ont constaté qu'ActSWM produisait une séparation environ 380 fois plus grande que la base de référence la plus forte. Les rêves du robot écoutaient enfin la manette.

2. Une meilleure planification :
Parce que les rêves étaient plus précis, le robot est devenu meilleur pour jouer. Dans Minecraft, lorsqu'on lui demandait d'effectuer des tâches comme placer une torche, miner un bloc de pierre ou construire un pilier, ActSM a considérablement amélioré les taux de réussite. Par exemple, il a amélioré le taux de réussite du minage d'un bloc de pierre de 90,0 % et de la construction d'un pilier de 54,5 % par rapport à la base de référence. Le robot pouvait désormais distinguer de manière fiable un chemin qui mène à une maison d'un chemin qui mène à une falaise.

3. Lire l'esprit à partir de la vidéo :
Enfin, ils ont testé si l'IA pouvait regarder une vidéo d'un humain jouant et deviner quels boutons il pressait. C'est comme regarder un film et deviner les mouvements de l'acteur. En utilisant une méthode appelée Minimisation de l'Entropie Croisée (CEM), ActSWM a été capable de récupérer les actions correctes à partir de vidéos hors ligne bien mieux qu'un simple hasard. Dans GTA V, il a amélioré le « coût » de la recherche de l'action correcte de 252,38 par rapport à une recherche aléatoire, et il a correctement identifié les pressions de touches actives (comme lorsqu'un joueur appuie réellement sur un bouton) avec une augmentation de la précision allant jusqu'à 0,711.

L'essentiel à retenir

Le papier suggère que pour que les agents d'IA maîtrisent véritablement des jeux complexes et ouverts, ils ont besoin de plus que de simples prédictions précises de l'avenir ; ils ont besoin de prédictions qui sont sensibles à l'action. Si le futur ne change pas quand vous changez d'avis, vous ne pouvez pas planifier. En figeant un simple « détective d'action » et en forçant l'IA à maintenir ses scénarios futurs distincts, ActSWM prouve que nous pouvons construire des modèles de monde qui ne font pas que rêvasser, mais qui écoutent réellement le joueur. Ce n'est pas seulement un petit ajustement ; c'est un changement fondamental dans la façon dont nous apprenons aux machines à imaginer les conséquences de leurs propres choix.

Résumé Technique : ActSWM – Modèles de Monde Sensibles à l'Action pour la Planification à Longue Horizon

Énoncé du Problème : Effondrement du Contexte dans les Modèles de Monde Latents

Les modèles de monde latents facilitent le contrôle prédictif par modèle (MPC) efficace en optimisant les séquences de contrôle au sein d'un espace latent compressé. Cependant, les prédicteurs latents autoregressifs existants souffrent souvent d'un Effondrement du Contexte (Context Collapse), un mode de défaillance spécifique qui se distingue de l'accumulation standard d'erreurs de prédiction.

Dans l'Effondrement du Contexte, un prédicteur peut maintenir une forte similitude avec les états futurs basée uniquement sur l'historique visuel, tout en devenant insensible aux séquences d'actions spécifiques qui conditionnent le déploiement (rollout). Par conséquent, des séquences d'actions distinctes (par exemple, une trajectoire enregistrée versus une séquence d'actions nulles) produisent des futurs latents presque indiscernables. Ce phénomène rend le modèle inefficace pour la planification : si des actions alternatives n'induisent pas de conséquences latentes séparables, un planificateur ne peut pas comparer de manière fiable les résultats en aval ou optimiser les séquences de contrôle. Bien que les méthodes existantes comme le World-Action Model (WAM) incorporent la dynamique inverse pour conserver l'information d'action dans les transitions locales, elles ne contraignent pas explicitement les déploiements prédits sous des séquences d'actions futures alternatives à rester distinguables.

Méthodologie : Le Cadre ActSWM

Les auteurs proposent ActSWM (Action-Sensitive World Model), un modèle de monde latent basé sur la JEPA, conçu pour imposer une sensibilité à l'action via un principe de séparation des transitions. L'hypothèse centrale est qu'un modèle de dynamique latente utile à la planification doit maintenir les futurs sous des actions alternatives distinguables et garantir que l'action associée à chaque transition locale est récupérable.

Architecture et Composants

ActSWM augmente un squelette de prédiction latente standard avec deux mécanismes spécifiques :

Séparation au Niveau du Déploiement (Rollout-Level Separation) : Le modèle est entraîné pour garantir que les trajectoires latentes futures générées à partir du même contexte, mais conditionnées par des séquences d'actions différentes (spécifiquement, des actions enregistrées versus des actions nulles), restent séparables.
Lecture d'Action Fixe (Fixed Action Readout) : Pour imposer la sensibilité au niveau de la transition, ActSWM utilise une lecture d'action aux paramètres gelés ( $q_{\phi_0}$ ). Contra à les décodeurs adaptatifs qui peuvent déplacer leurs frontières de décision pour minimiser la perte, une lecture fixe force les représentations de transition latentes elles-mêmes à devenir distinguables afin de permettre une récupération précise de l'action.

Objectif d'Entraînement

L'objectif d'entraînement ( $\mathcal{L}$ ) combine quatre termes pour équilibrer la fidélité de la prédiction et la sensibilité à l'action :

Perte de Prédiction ( $\mathcal{L}_{pred}$ ) : Perte de prédiction multi-étapes standard alignant le déploiement conditionné sur les actions enregistrées avec la trajectoire encodée future.
Perte de Type Hinge ( $\mathcal{L}_{hinge}$ ) : Un terme contrastif qui pénalise une similitude excessive entre le déploiement conditionné sur les actions enregistrées et le déploiement conditionné sur les actions nulles. Cela encourage explicitement le modèle à préserver les différences dépendantes de l'action sur de longs horizons.
Perte de Lecture ( $\mathcal{L}_{readout}$ ) : Un terme de perte appliqué aux transitions encodées et aux transitions prédites par le déploiement en utilisant la lecture gelée. Cela garantit que les transitions latentes contiennent suffisamment d'informations pour récupérer l'action d'entrée.
Perte SigReg ( $\mathcal{L}_{sig}$ ) : Adoptée de LeWorldModel (LeWM) pour stabiliser l'échelle et la distribution des caractéristiques de l'espace de prédiction.

L'objectif total est :
$\mathcal{L} = \mathcal{L}_{pred} + \lambda_{sig}\mathcal{L}_{sig} + \lambda_{hinge}\mathcal{L}_{hinge} + \lambda_{readout}\mathcal{L}_{readout}$

Principales Contributions

Le papier expose quatre contributions primaires :

Modèle ActSWM : Introduction d'un modèle de monde latent basé sur la JEPA spécifiquement conçu pour supporter une prédiction à long horizon tout en maintenant des dynamiques de déploiement sensibles à l'action.
Validation dans des Tâches Ouvertes : Démonstration d'une amélioration de la planification en boucle fermée dans les tâches MineStudio (extraction de pierre, construction de piliers, placement de torches), montrant des améliorations significatives du taux de réussite par rapport à la référence LeWM.
Diagnostic de l'Effondrement du Contexte : Un protocole de diagnostic comparant les déploiements conditionnés sur les actions enregistrées versus les actions nulles. ActSWM atteint une séparation environ 380 fois plus grande entre ces futurs par rapport à la meilleure référence, prouvant que ses déploiements restent réactifs aux entrées d'action.
Récupération d'Action Hors-Ligne : Validation de la capacité des dynamiques apprises à récupérer des séquences de contrôle à partir de vidéos de gameplay hors-ligne à travers trois domaines distincts (Counter-Strike 2, GTA V, Apex Legends) en utilisant l'optimisation par la Méthode de Sélection par Échantillonnage (CEM), atteignant jusqu'à 16,5× une amélioration du coût par rapport à une recherche aléatoire.

Résultats Expérimentaux

Q1 : Diagnostiquer l'Effondrement du Contexte

En utilisant des trajectoires Minecraft hors-ligne, les auteurs ont évalué si les modèles s'appuient sur les entrées d'action ou uniquement sur le contexte.

Comportement de Référence : Les modèles avec des contextes plus longs ou un entraînement multi-étapes améliorent la qualité de la prédiction sous les actions enregistrées, mais échouent à différencier les déploiements d'actions enregistrées et d'actions nulles (petit $\Delta_k$ ).
Performance d'ActSWM : ActSWM réduit la similitude sous les conditions d'actions nulles de plus de 80 % tout en maintenant une haute fidélité pour les actions enregistrées, atteignant l'écart d'action le plus important ( $\Delta_k = 0,760$ ).

Q2 : Planification par Modèle en Boucle Fermée

Dans MineStudio, ActSWM a été utilisé comme modèle de dynamique pour le MPC.

Gains de Performance : Comparé à LeWM, ActSWM a amélioré les taux de réussite des tâches de :
- 5,3 % pour placer une torche.
- 90,0 % pour extraire un bloc de pierre.
- 54,5 % pour construire un pilier.
Implication : Les résultats indiquent que les déploiements sensibles à l'action sont critiques pour les tâches de planification nécessitant un contrôle soutenu et une prise de décision séquentielle.

Q3 : Représentations d'Actions Discriminantes

Le modèle a été testé sur sa capacité à inférer des actions à partir de vidéos hors-ligne dans CS2, GTA V et Apex Legends en utilisant la méthode CEM.

Écart d'Action : ActSSWM a amélioré le coût de récupération CEM par rapport à la recherche aléatoire jusqu'à 16,5× (ex: 252,38 dans GTA).
Précision Active : ActSWM a considérablement amélioré la précision de la récupération des actions lorsque les touches étaient réellement pressées (jusqu'à 0,711 d'amélioration absolue), alors que les modèles de référence échouaient souvent à distinguer les touches actives de la classe inactive dominante.

Signification et Revendications

Le papier pose que l'action-sensibilité est une exigence fondamentale pour les modèles de monde latents orientés vers la planification, distincte et complémentaire de la précision de la prédiction de l'état futur. Les auteurs affirment que :

L'Effondrement du Contexte est un mode de défaillance distinct où des déploiements précis ne parviennent pas à répondre à des actions alternatives, les rendant inutilisables pour la planification.
La sensibilité à l'action lie la comparaison de déploiements contrefactuels, la planification fiable en boucle fermée et l'étiquetage d'actions scalable à partir de vidéos de gameplay.
En imposant un principe de séparation des transitions via une lecture fixe et un entraînement de déploiement contrastif, ActSWM permet aux modèles de monde de servir de planificateurs efficaces dans des environnements ouverts, allant au-delà de la simple prédiction d'état pour atteindre des dynamiques actionnables.

Le travail ne prétend pas résoudre tous les défis des agents en monde ouvert (tels que l'efficacité de l'échantillonnage ou les coûts de déploiement) mais s'attaque spécifiquement à la limitation des modèles latents existants pour distinguer les conséquences de différentes séquences d'actions sur de longs horizons.