💻 computer science

Map2World: Segment Map Conditioned Text to 3D World Generation

Map2World est un cadre novateur qui génère des mondes 3D cohérents à l'échelle globale et flexibles à partir de cartes de segments définies par l'utilisateur, de formes et d'échelles arbitraires, en exploitant un réseau d'amélioration des détails et des priors de générateur d'actifs pour surmonter les limites des méthodes basées sur la grille existantes en matière de cohérence d'échelle et de cohérence du contenu.

Auteurs originaux : Jaeyoung Chung, Suyoung Lee, Jianfeng Xiang, Jiaolong Yang, Kyoung Mu Lee

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jaeyoung Chung, Suyoung Lee, Jianfeng Xiang, Jiaolong Yang, Kyoung Mu Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous souhaitiez construire un monde 3D massif et immersif — comme un niveau de jeu vidéo ou un décor de film — simplement en le décrivant avec des mots et en dessinant un croquis approximatif. C'est l'objectif de Map2World, un nouveau système d'IA décrit dans cet article.

Voici comment cela fonctionne, expliqué par le biais d'analogies simples :

Le Problème : La Limitation du « Briquet Lego »

Les méthodes d'IA précédentes pour construire des mondes 3D ressemblaient un peu à essayer de construire une ville en utilisant uniquement des briques Lego carrées et parfaites.

Le Problème de la Grille : Si vous vouliez une rivière sinueuse ou un parc de forme étrange, les anciens systèmes peinaient car ils forçaient tout à s'insérer dans une grille rigide.
Le Problème du « Patchwork » : Pour créer un grand monde, ces systèmes génèrent de petits objets 3D séparés (comme un arbre, un bâtiment ou une route) et tentent de les coller ensemble. Souvent, les bords ne correspondaient pas, les arbres étaient trop grands par rapport aux bâtiments, ou les routes s'arrêtaient brusquement. Cela ressemblait à une collection de jouets déconnectés plutôt qu'à un monde réel.
Le Problème des Données : Il n'existe pas assez de jeux de données de haute qualité de « mondes entiers » pour enseigner à l'IA comment construire des scènes massives à partir de zéro ; ces systèmes étaient donc limités à de petites pièces ou à des scénarios de conduite spécifiques.

La Solution : Map2World

Les auteurs ont créé un système qui agit davantage comme un architecte en chef que comme un maçon. Il vous demande deux choses :

Une Carte de Segmentation : Un dessin où vous codez en couleur différentes zones (par exemple, « cette zone verte est une forêt », « cette zone grise est une ville »). Cette carte peut avoir n'importe quelle forme que vous souhaitez — pas besoin de carrés parfaits.
Des Prompts Textuels : Vous dites à l'IA ce qui se trouve dans chaque zone colorée (par exemple, « de grands arbres verts » ou « des gratte-ciels et des routes »).

Comment Cela Fonctionne : Le Processus en Deux Étapes

Étape 1 : Le « Plan Fantôme » (Fusion Latente)

Au lieu de construire le monde pièce par pièce, Map2World crée d'abord un « plan fantôme » (appelé latent structuré) pour l'ensemble du monde en une seule fois.

L'Analogie : Imaginez que vous peignez une immense fresque murale, mais que vous ne pouvez voir qu'une petite section carrée à la fois. Les anciennes méthodes peignaient un carré, le terminaient, passaient au suivant et espéraient que les couleurs correspondaient.
L'Astuce de Map2World : Il utilise une technique appelée Fusion Latente. Il peint des carrés qui se chevauchent simultanément. Lorsque deux carrés se chevauchent, l'IA mélange leurs « pensées » (données) de manière fluide. Cela garantit qu'un arbre au bord d'un carré se connecte parfaitement à l'herbe du carré suivant, même s'ils sont générés séparément.
Contrôle de l'Échelle : Le système dispose également d'une astuce spéciale pour s'assurer que l'ensemble du monde semble être à la même échelle. Il ajuste le tout premier « bruit » (le point de départ aléatoire) de la génération afin que le monde résultant n'ait pas d'arbres géants à côté de maisons minuscules.

Étape 2 : L'« Améliorateur de Détails » (Ajout des Finesse)

La première étape vous donne un monde solide et cohérent, mais il peut paraître un peu lisse ou flou, comme une photo de faible résolution.

L'Analogie : Considérez la première étape comme une sculpture en argile d'une ville. Elle a la bonne forme et la bonne disposition, mais il lui manque les fenêtres, les textures de briques et les minuscules fissures du trottoir.
La Solution : Map2World utilise un Améliorateur de Détails. C'est comme un artiste spécialisé qui examine la sculpture en argile et ajoute les détails fins.
Pourquoi c'est spécial : Habituellement, ajouter des détails à un objet immense est difficile car l'IA oublie la vue d'ensemble. Mais cet améliorateur examine le plan complet du monde tout en ajoutant des détails à un petit coin. Cela garantit que la texture d'un bâtiment dans la zone « ville » correspond au style de la zone « ville », maintenant ainsi la cohérence de tout l'ensemble.

Les Résultats

L'article montre que Map2World peut créer :

Des Formes Arbitraires : Vous pouvez dessiner une forme étrange et sinueuse pour une forêt, et l'IA la remplira parfaitement, contrairement aux systèmes précédents qui forçaient tout dans des carrés.
Des Connexions Sans Couture : La transition entre une forêt et une ville est fluide ; il n'y a ni lacunes ni bords incohérents.
Une Meilleure Qualité : Lors des tests, des évaluateurs humains (et des juges IA) ont classé les mondes de Map2World comme plus réalistes, complets et cohérents que les méthodes précédentes comme « SynCity ».

En Bref

Map2World est un outil qui vous permet de dessiner une carte approximative et de taper quelques phrases pour générer un monde 3D massif et cohérent. Il résout le problème des mondes « en patchwork » en mélangeant des sections qui se chevauchent, puis en ajoutant des détails haute définition sans perdre la vue d'ensemble. Il transforme un simple croquis en un environnement 3D pleinement réalisé et explorables.

1. Énoncé du problème

Bien que les récents progrès dans la génération d'actifs 3D (par exemple, TRELLIS, CLAY) aient obtenu des résultats de haute qualité pour des objets individuels, l'extension de ces capacités pour générer des mondes 3D entiers reste un défi majeur. Les approches existantes font face à trois goulots d'étranglement principaux :

Rareté des données : Les ensembles de données de haute qualité à l'échelle du monde sont rares, obligeant les modèles soit à s'entraîner à partir de zéro sur des données limitées (entraînant une mauvaise généralisation), soit à s'appuyer sur des générateurs d'actifs préentraînés qui manquent de contexte au niveau du monde.
Incohérence et déconnexion : Les méthodes qui assemblent des actifs générés (par exemple, le carrelage basé sur une grille comme SynCity) souffrent souvent d'incohérences d'échelle, d'un manque de continuité sémantique entre les tuiles adjacentes et d'artefacts visibles aux limites.
Dispositions rigides : Les générateurs de mondes existants contraignent souvent les scènes à des dispositions de grille fixes, rendant impossible la génération d'environnements avec des limites de quartiers irrégulières ou des formes arbitraires requises pour des applications réelles comme la simulation de conduite autonome.

2. Méthodologie : Map2World

Map2World est un cadre novateur qui exploite les fortes connaissances a priori du générateur d'actifs 3D préentraîné TRELLIS pour synthétiser des mondes 3D cohérents à grande échelle, conditionnés par des cartes de segments définies par l'utilisateur et des invites textuelles. Le pipeline se compose de trois composants principaux :

A. Fusion latente pour l'expansion spatiale (Section 4.1)

Pour surmonter les limites de résolution du modèle de base (qui génère des cubes de 64x64x64), Map2World emploie une stratégie de multi-diffusion au sein de l'espace latent structuré (SLAT).

Fenêtres chevauchantes : L'espace 3D est divisé en fenêtres cubiques chevauchantes. Le modèle agrège les prédictions du champ de vitesse de toutes les fenêtres couvrant une position spécifique en utilisant un noyau gaussien pondéré. Cela assure des transitions fluides et une cohérence globale sans mélange explicite des limites.
Guidage par carte de segments : Le processus de diffusion est conditionné par une carte de segments binaire ( $M_k$ ) et des invites textuelles correspondantes ( $y_k$ ). La vitesse en tout point est une somme pondérée des vitesses dérivées de différentes régions sémantiques, permettant des formes arbitraires et des dispositions non basées sur une grille.
Initialisation consciente de l'échelle : Pour assurer une cohérence globale de l'échelle, les auteurs optimisent le latent bruité initial. Ils observent que les structures éparses de tailles similaires se regroupent dans l'espace latent. En optimisant le bruit initial dans le domaine spectral (en utilisant une FFT 3D), ils peuvent orienter la génération vers une échelle souhaitée de manière efficace et stable.

B. Réseau d'amélioration des détails (Section 4.2)

La fusion latente initiale génère une structure globale grossière mais manque de détails fins en raison de la capacité limitée de l'espace latent.

Super-résolution latente : Au lieu d'entraîner un nouveau générateur à partir de zéro, les auteurs conçoivent un Améliorateur de détails qui apprend la correspondance d'un latent grossier (représentant un grand cube) vers des latents fins (représentant des sous-cubes plus petits).
Architecture : L'améliorateur utilise un Transformateur de flux (issu de TRELLIS) augmenté d'une couche MLP légère.
- Entrées : Il prend le latent grossier de la région cible ( $s^{O|j}$ ) et les latents des cubes adjacents ( $s^{Adj(j)}$ ) comme conditions.
- Mécanisme : Le MLP mélange le bruit et les latents de condition avant de les alimenter dans le Transformateur. Cela permet au modèle d'injecter des détails fins tout en préservant la géométrie globale et en assurant des connexions fluides entre les régions adjacentes.
Stratégie d'entraînement : Le modèle est affiné en utilisant un petit nombre de paramètres (seulement les poids du MLP) sur un ensemble de données construit en divisant des scènes 3D existantes en cubes grands et petits. Cela préserve les capacités de généralisation du modèle TRELLIS préentraîné.

C. Affinage du décodeur (Section 4.3)

Puisque le décodeur TRELLIS original a été entraîné sur des objets complets, il peine avec les cubes de scènes partielles. Les auteurs affinent le Décodeur SLAT ( $D_L$ ) en utilisant les petits cubes de l'ensemble de données de l'améliorateur de détails pour assurer une reconstruction de haute qualité des latents améliorés.

3. Contributions clés

Conditionnement flexible par carte de segments : Contrairement aux méthodes précédentes basées sur une grille, Map2World peut générer des mondes 3D à partir de cartes de segments de formes arbitraires, permettant des dispositions complexes et irrégulières (par exemple, des quartiers urbains organiques) tout en maintenant un alignement sémantique avec les invites textuelles.
Cohérence globale par fusion latente : En appliquant une diffusion multi-fenêtres dans l'espace latent structuré, la méthode assure une cohérence d'échelle et des connexions fluides à travers tout le monde, évitant l'aspect « patchwork » des approches par carrelage.
Amélioration des détails sans rareté de données : L'améliorateur de détails proposé exploite les connaissances a priori d'un générateur d'actifs puissant pour ajouter des détails fins sans nécessiter d'énormes ensembles de données à l'échelle du monde, atteignant une haute fidélité grâce à une super-résolution dans l'espace latent.
Généralisation robuste : Le cadre atteint des performances solides dans des domaines divers (par exemple, forêts, villes) même avec des données d'entraînement limitées pour la tâche de génération de scènes.

4. Résultats expérimentaux

Les auteurs ont évalué Map2World par rapport à des références de l'état de l'art, notamment SynCity et GaussianCube, en utilisant des métriques qualitatives et quantitatives.

Comparaison qualitative :
- Map2World génère avec succès des mondes aux formes irrégulières et à de grandes structures connectées (par exemple, des gratte-ciel s'étendant sur plusieurs segments), tandis que SynCity échoue à générer des objets cohérents à travers les limites des tuiles et produit des actifs déconnectés.
- Les mondes générés présentent des transitions fluides entre différentes régions sémantiques (par exemple, de la forêt à la ville) sans coutures visibles.
Métriques quantitatives (Qualité du monde - WQ) :
- Une nouvelle métrique, la Qualité du monde (WQ), a été introduite, pondérant l'Exhaustivité du monde (45 %), la Cohérence (25 %), le Réalisme (15 %) et la Netteté (15 %).
- Résultats : Map2World a obtenu un score WQ de 7,76, surpassant nettement SynCity (7,25) et GaussianCube (5,08).
- Plus précisément, Map2World excelle dans l'Exhaustivité du monde (7,8 contre 6,8) et la Cohérence (7,9 contre 7,6), démontrant sa capacité à créer des environnements à grande échelle structurellement cohérents.
Études d'ablation :
- Paramétrisation spectrale : Cruciale pour un contrôle stable de l'échelle ; sans elle, l'optimisation divergeait ou nécessitait un nombre excessif d'étapes.
- Conception de l'améliorateur de détails : L'architecture de concaténation proposée avec conditionnement par cube adjacent a surpassé IP-Adapter et les méthodes utilisant le guidage sans classeur (CFG), qui provoquaient des distorsions géométriques.

5. Importance

Map2World représente un changement de paradigme dans la génération de mondes 3D en s'éloignant du carrelage rigide basé sur une grille vers une synthèse flexible conditionnée par des cartes de segments. Sa capacité à générer des environnements 3D cohérents globalement, haute résolution et de formes arbitraires le rend très précieux pour :

Simulation de conduite autonome : Générer des réseaux routiers et des dispositions urbaines diversifiés, réalistes et complexes.
Création de contenu immersif : Permettre aux créateurs de concevoir de vastes mondes virtuels avec des dispositions sémantiques spécifiques en utilisant de simples entrées textuelles et cartographiques.
Génération évolutive : Offrir une voie pour générer du contenu à l'échelle du monde en exploitant les connaissances a priori des modèles au niveau des actifs, contournant efficacement le besoin d'énormes ensembles de données à l'échelle du monde qui n'existent pas.

En résumé, Map2World comble le fossé entre la génération d'actifs 3D de haute qualité et la synthèse de mondes évolutifs, offrant une solution contrôlable, cohérente et détaillée pour la création de contenu 3D de nouvelle génération.