MultiGen: Level-Design for Editable Multiplayer Worlds in Diffusion Game Engines

Ce papier présente MultiGen, un moteur de jeu basé sur la diffusion qui intègre une mémoire externe persistante et modifiable pour permettre un contrôle éditables des environnements et une génération cohérente de mondes multijoueurs interactifs.

L'essentiel

🎮 MultiGen : Le Moteur de Jeu qui a une "Mémoire"

Imaginez que vous jouez à un jeu vidéo généré par une intelligence artificielle (IA). Jusqu'à présent, ces IA fonctionnaient un peu comme un magicien qui oublie tout.

Si vous lui demandez de créer un monde, il dessine la première image. Ensuite, il regarde cette image pour deviner la suivante, puis regarde la suivante pour deviner celle d'après, et ainsi de suite.

• Le problème ? Comme un magicien qui ne se souvient que de la dernière carte qu'il a montrée, l'IA finit par oublier la forme du monde. Après quelques minutes, les murs disparaissent, les couloirs changent de direction, ou deux joueurs se téléportent l'un dans l'autre. C'est comme si le monde devenait fou et incohérent.

MultiGen est une nouvelle façon de faire les choses. Au lieu de laisser l'IA deviner tout à l'aveugle, les chercheurs lui ont donné un cahier de notes externe (une mémoire) qu'elle consulte à chaque instant.

Voici comment cela fonctionne, avec trois analogies simples :

1. Le Plan d'Architecte (La Mémoire Externe) 📐

Dans les jeux vidéo classiques générés par IA, l'IA doit se souvenir de tout le monde dans sa tête (sa "mémoire interne"). C'est trop lourd et elle se trompe.

Avec MultiGen, on donne à l'IA un plan d'architecte 2D (une carte vue de dessus) qu'on peut modifier.

• L'analogie : Imaginez que vous construisez une maison. Au lieu de demander à un maçon de se souvenir de la forme de chaque pièce pendant qu'il pose les briques, vous lui donnez un plan bleu.
• Le résultat : L'IA peut modifier ce plan (ajouter un mur, changer une porte) avant même que le jeu ne commence. Pendant le jeu, elle regarde ce plan pour s'assurer que le monde reste cohérent, même après des heures de jeu.

2. L'Orchestre en Trois Parties 🎻

Au lieu d'avoir un seul "cerveau" géant qui fait tout (dessiner, bouger, se souvenir), MultiGen divise le travail en trois musiciens spécialisés :

1. Le Gardien du Mémoire (Memory) : Il tient le plan d'architecte et sait exactement où sont les joueurs. Il ne dessine rien, il garde juste les faits.
2. Le Peintre (Observation) : Il regarde le plan du Gardien et ce que le joueur a vu il y a quelques secondes, puis il peint l'image suivante (le jeu vidéo).
3. Le Chroniqueur (Dynamics) : Il calcule où le joueur doit se déplacer ensuite selon ses actions (marcher, tourner) et met à jour le plan pour le Gardien.

C'est comme un orchestre où chacun joue sa partition. Si le Peintre a un doute, il demande au Gardien : "Où est le mur ?" et le Gardien lui répond instantanément.

3. Le Jeu Multijoueur : Une Table de Rôle Unique 🎲

C'est ici que la magie opère vraiment. Dans les anciens systèmes, si deux joueurs jouaient ensemble, chaque joueur avait sa propre "bulle" de réalité.

• Le problème : Le joueur A voyait le joueur B, mais le joueur B voyait peut-être un mur à la place du joueur A, ou le joueur B disparaissait soudainement. C'était comme si chaque joueur jouait dans un film différent.

Avec MultiGen, tous les joueurs regardent le même plan d'architecte.

• L'analogie : Imaginez un jeu de rôle sur table (comme Donjons et Dragons) où tous les joueurs regardent la même carte sur la table. Si le joueur A tire sur le joueur B, tout le monde voit la même chose parce que la carte (la mémoire) est mise à jour pour tout le monde.
• Le résultat : Si le joueur 1 tue le joueur 2, le joueur 2 disparaît de l'écran du joueur 1, et le joueur 2 voit sa propre mort. C'est parfaitement synchronisé, même si le jeu est généré en temps réel par une IA.

🌟 En Résumé

MultiGen résout deux grands problèmes des jeux vidéo générés par IA :

1. Le contrôle : Vous pouvez dessiner le niveau (les murs, les couloirs) sur une carte simple, et l'IA respectera ce dessin à la lettre, sans inventer des murs fantômes.
2. Le partage : Plusieurs joueurs peuvent jouer ensemble dans le même monde généré par l'IA, et tout le monde verra la même réalité, car ils partagent tous la même "mémoire" externe.

C'est comme passer d'un rêve flou et changeant à un monde solide, éditable et partagé, où l'IA est l'outil qui rend le rêve réel, mais où vous, le joueur, tenez les rênes du scénario.

Résumé technique

1. Problématique et Contexte

Les modèles de monde vidéo (video world models) basés sur la diffusion ont démontré un potentiel immense pour la simulation interactive et le divertissement. Cependant, les systèmes actuels souffrent de deux limitations majeures qui entravent leur adoption pour des jeux vidéo réels :

1. Manque de contrôle et d'édition : La plupart des modèles génèrent le monde "à la volée" en se basant uniquement sur un état interne implicite (une fenêtre de frames passées). Cela rend difficile la spécification préalable de la structure d'un niveau par l'utilisateur et entraîne des dérives (drift) structurelles lors de rollouts (séquences de jeu) longs.
2. Absence d'interactivité multijoueur partagée : Les systèmes actuels sont fondamentalement mono-utilisateur. Il est difficile de créer un monde partagé où plusieurs joueurs interagissent de manière cohérente, car l'état du monde n'est pas persistant ni accessible de manière explicite par plusieurs agents simultanément.

L'objectif de MultiGen est de résoudre ces problèmes en introduisant une mémoire externe explicite qui persiste au-delà de la fenêtre de contexte du modèle, permettant ainsi un contrôle direct de la structure du niveau et une interaction multijoueur cohérente.

2. Méthodologie : Architecture Modulaire

Contrairement aux approches précédentes (comme GameNGen) qui utilisent un seul réseau de diffusion pour prédire la frame suivante en conditionnant uniquement sur l'historique des images, MultiGen décompose le moteur de jeu en trois modules spécialisés :

A. Module de Mémoire (Memory Module)

Ce module maintient un état persistant explicite indépendant de la fenêtre de contexte visuelle. Il stocke :

• La carte du niveau ($M$) : Représentée comme un ensemble de sommets 2D et de segments de lignes définissant la géométrie (murs, zones navigables). Cette carte est statique et peut être éditée par l'utilisateur avant le début de la génération.
• La pose des joueurs ($p_t$) : Les coordonnées euclidiennes $(x, y)$ et l'angle de lacet (orientation) de chaque agent.
• Le contexte visuel : Une fenêtre de frames récentes ($o_{t-L+1:t}$) pour assurer la continuité temporelle à court terme.

Cette mémoire agit comme un "plan" (blueprint) qui ancre la génération, évitant que le modèle n'oublie la structure globale du niveau.

B. Module d'Observation (Observation Module)

Ce module est un modèle de diffusion (UNet) qui génère la prochaine observation visuelle ($o_{t+1}$). Il est conditionné par :

• L'historique visuel : Les frames précédentes.
• Le signal géométrique ($r_t$) : Un vecteur de profondeur 1D (ou disparité) généré par ray-tracing à partir de la carte $M$ et de la pose actuelle du joueur. Cela fournit au modèle des indices géométriques précis sur l'environnement.
• L'action ($a_t$) : L'entrée de contrôle de l'agent.
• Technique d'entraînement : Pour robustifier le modèle face aux erreurs d'accumulation lors de rollouts longs, l'entraînement utilise un bruit aléatoire sur les frames de contexte (noised-context training).

C. Module de Dynamique (Dynamics Module)

Ce module est un petit encodeur Transformer léger qui prédit la mise à jour de la pose du joueur ($\Delta p_t$). Il prend en entrée :

• L'action de l'agent.
• Le signal géométrique.
• Les features intermédiaires extraites du module d'observation.
  Il met à jour la pose dans la mémoire externe, permettant au système de progresser dans le temps.

3. Contributions Clés

1. Formulation basée sur la mémoire externe : Introduction d'un état persistant (carte + poses) qui permet des rollouts interactifs à long horizon cohérents et reproductibles.
2. Architecture modulaire : Remplacement du paradigme "un seul modèle" par une séparation claire entre la gestion de l'état (Mémoire), la génération visuelle (Observation) et la progression de l'état (Dynamique).
3. Applications démontrées :
   • Conception de niveaux modifiables : Les utilisateurs peuvent dessiner une carte 2D grossière (lignes et sommets) et le modèle génère un jeu en première personne cohérent avec cette structure, même sur de longues séquences.
   • Interaction multijoueur en temps réel : Plusieurs agents peuvent partager la même mémoire externe. Les actions d'un joueur (ex: tuer un autre joueur) mettent à jour l'état global, affectant instantanément les observations générées pour tous les autres joueurs, assurant une cohérence cross-viewpoint.

4. Résultats et Évaluations

Les auteurs ont évalué MultiGen sur le jeu Doom (via ViZDoom), un environnement complexe avec une dynamique riche.

• Conception de Niveaux (Level Design) :

  • Comparé à une baseline de type GameNGen (sans mémoire externe), MultiGen maintient une structure de niveau stable sur de longues séquences.
  • Les métriques SSIM (Similarité Structurelle) et LPIPS (Distance Perceptuelle) montrent que MultiGen surpasse la baseline, particulièrement dans les segments tardifs du rollout où les modèles sans mémoire commencent à "halluciner" des changements de structure.
  • La géométrie fournie par la carte externe empêche la dérive structurelle.

• Interaction Multijoueur :

  • Le système génère des vues en première personne cohérentes pour plusieurs joueurs simultanément.
  • Cohérence des interactions : Dans une démo à deux joueurs, si le Joueur 1 tue le Joueur 2, le Joueur 2 disparaît de la vue du Joueur 1, et inversement, le Joueur 2 voit sa propre mort et sa réapparition (respawn) de manière cohérente.
  • Évaluation quantitative : Une évaluation basée sur la détection de la présence de l'adversaire (via un modèle VLM) montre que MultiGen atteint 75,38 % de précision contre 65,31 % pour une baseline "split-screen" (modèle unique prédisant toutes les vues), prouvant que la mémoire partagée est cruciale pour la cohérence.
  • Performance : Le système fonctionne en temps réel (~20 FPS par joueur sur une GPU A100), permettant des sessions interactives fluides.

5. Signification et Conclusion

MultiGen représente une avancée significative vers des moteurs de jeux génératifs contrôlables et extensibles.

• Contrôle créatif : Il permet aux concepteurs de définir la structure macroscopique d'un niveau (layout) sans avoir à générer chaque pixel manuellement, tout en laissant le modèle de diffusion s'occuper des détails visuels et de l'interaction.
• Multijoueur réel : Il résout le problème fondamental de la cohérence dans les mondes génératifs partagés, ouvrant la voie à des expériences multijoueurs où l'état du monde est une vérité unique et partagée, et non une collection de perceptions locales divergentes.
• Limitations : L'approche dépend de la carte explicite pour la cohérence structurelle ; les détails texturés ou les petits objets non représentés dans la carte peuvent ne pas être parfaitement persistants lors de retours dans une même zone. De plus, les erreurs de pose peuvent s'accumuler sur des séquences très longues.

En résumé, MultiGen propose une architecture hybride qui combine la puissance générative des modèles de diffusion avec la rigueur structurelle des moteurs de jeu traditionnels, rendant possible la création de mondes interactifs, éditables et partagés en temps réel.