ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing

ReSpace est un cadre génératif novateur qui permet la synthèse et l'édition de scènes intérieures 3D via des commandes textuelles, en utilisant une représentation structurée compacte et un modèle de langage entraîné par affinage supervisé pour prédire de manière autoregressive l'ajout, la suppression ou le remplacement d'objets tout en respectant les limites de la pièce et la géométrie spatiale.

L'essentiel

🏠 ReSpace : Le Décorateur Intérieur Magique qui Comprend vos Mots

Imaginez que vous avez un studio de design d'intérieur virtuel. Jusqu'à présent, créer une pièce de zéro ou la modifier ressemblait à du bricolage complexe : il fallait déplacer des meubles un par un, s'assurer qu'ils ne se chevauchaient pas, et souvent, les outils ne comprenaient pas vraiment ce que vous vouliez dire.

ReSpace est comme un architecte et décorateur génial qui travaille avec vous. Vous lui parlez simplement, et il réorganise la pièce pour vous.

1. Le Problème : Les Anciens Outils étaient "Bêtes"

Avant ReSpace, les ordinateurs pour créer des pièces 3D avaient deux gros défauts :

• Ils étaient trop rigides : Ils ne voyaient les meubles que par étiquettes simples (ex: "Chaise", "Table"). Ils ne comprenaient pas la différence entre une "chaise en velours rouge" et une "chaise en bois".
• Ils ne savaient pas gérer les murs : Ils pensaient que toutes les pièces étaient des rectangles parfaits. Si votre pièce avait un coin bizarre ou une alcôve, l'ordinateur perdait ses repères.
• Pas de vraie conversation : Vous ne pouviez pas dire "Enlève ce vieux canapé et mets un fauteuil moderne à la place". Il fallait tout effacer et recommencer.

2. La Solution : ReSpace, le "Chef d'Orchestre"

ReSpace change la donne en utilisant une intelligence artificielle basée sur le langage (comme un super ChatGPT spécialisé en architecture).

Voici comment ça marche, avec une analogie :

A. Le "Cahier de Notes" Intelligent (La Représentation Structurée)
Imaginez que ReSpace ne dessine pas directement la pièce en 3D tout de suite. D'abord, il remplit un cahier de notes très précis (un fichier JSON).

• Dans ce cahier, il note : "La pièce est un salon, les murs font telle forme, il y a une table ici, une chaise là."
• Ce cahier est comme une recette de cuisine. Il est léger, facile à modifier, et ne dépend pas de la marque spécifique des meubles. C'est comme dire "il faut un gâteau au chocolat" sans encore choisir la marque de la farine.

B. Le "Cerveau" qui Prédit la Suite (Modèle Autoregressif)
ReSpace fonctionne comme un jeu de devinettes de mots, mais pour des meubles.

• Vous dites : "Ajoute un canapé gris foncé."
• Le modèle lit votre phrase, regarde le "cahier de notes" actuel, et prédit le mot suivant : "Ok, je vais placer un canapé ici, à telle position, avec telle taille."
• Il fait cela mot par mot, jusqu'à avoir construit l'instruction complète pour placer le meuble. C'est comme si l'ordinateur écrivait la phrase de la solution, lettre par lettre.

C. Le "Magasin de Meubles" Infini (Échantillonnage Stochastique)
Une fois que ReSpace a décidé où et comment placer le meuble dans son "cahier", il va chercher le vrai meuble 3D dans une immense bibliothèque.

• Il ne prend pas n'importe quoi. Il cherche un canapé qui correspond à la description (gris, moderne) ET qui a la bonne taille pour ne pas percer le mur.
• C'est comme si vous disiez à un assistant : "Apporte-moi un canapé gris", et lui, il va dans un entrepôt géant, en choisit un qui correspond parfaitement à vos critères, et le pose au bon endroit.

3. Les Super-Pouvoirs de ReSpace

• Parler pour modifier : Vous pouvez dire "Enlève la plante", "Remplace la bibliothèque par une armoire", ou "Ajoute une lampe ronde". Le système comprend l'intention et modifie le "cahier de notes" instantanément.
• Respecter la géométrie : Contrairement aux anciens modèles qui mettaient parfois les meubles dans les murs, ReSpace utilise une grille invisible (des voxels) pour vérifier que tout est physiquement possible. C'est comme un test de collision ultra-précis : "Est-ce que le pied de la chaise touche le sol ? Est-ce qu'il dépasse du mur ?"
• Apprendre par l'expérience : Les chercheurs ont entraîné ce modèle non seulement à suivre des règles, mais à préférer les placements qui semblent "vrais" et agréables à l'œil humain, grâce à une technique appelée "alignement de préférence". C'est comme si le décorateur apprenait de ses erreurs pour devenir plus élégant.

4. Pourquoi c'est une Révolution ?

Avant, pour changer une pièce, il fallait souvent tout reconstruire. Avec ReSpace, c'est itératif, comme dans la vraie vie :

1. Vous entrez dans la pièce.
2. Vous dites : "Ce lit est trop grand."
3. ReSpace le retire.
4. Vous dites : "Mets un lit plus petit et ajoute une commode."
5. ReSpace le fait instantanément, en respectant l'espace et le style.

En résumé :
ReSpace, c'est comme avoir un architecte intérieur qui parle votre langue, qui a une mémoire parfaite de la forme de votre maison, et qui peut aller chercher n'importe quel meuble dans un catalogue infini pour le placer exactement là où il faut, sans jamais se tromper de taille ou de position. C'est passer du "codage complexe" à la simple "conversation".

Résumé technique

1. Problématique

La synthèse et l'édition de scènes intérieures 3D constituent un défi majeur en informatique graphique, avec des applications dans la réalité virtuelle, le design d'intérieur, la robotique et le jeu vidéo. Les approches existantes souffrent de plusieurs limitations critiques :

• Sémantique simplifiée : De nombreuses méthodes utilisent des encodages "one-hot" (ex: "chaise", "table") qui ignorent les nuances sémantiques (style, matériau, couleur).
• Gestion des limites : Beaucoup ignorent les limites de la pièce ou se reposent sur des plans de sol rectangulaires fixes, échouant à capturer des géométries complexes (non-convexes).
• Édition limitée : Les méthodes basées sur les LLM (Large Language Models) permettent une riche sémantique via le langage naturel mais manquent souvent de fonctionnalités d'édition directe (ajout/suppression/remplacement) ou reposent sur des modèles de monde implicites faibles pour le raisonnement spatial.
• Manque de modularité : Il est difficile d'ajouter, de supprimer ou d'échanger des objets individuellement tout en préservant le contexte global de la scène.

L'objectif est donc de développer un cadre capable de générer et d'éditer des scènes 3D intérieures de manière autogressive, pilotée par le texte, avec une compréhension fine de la géométrie et de la sémantique.

---

2. Méthodologie : Le Framework ReSpace

ReSpace propose une approche générative qui traite la manipulation de scène comme une tâche de prédiction du prochain token, similaire à la génération de texte par les LLM.

A. Représentation de Scène Structurée (SSR)

Au cœur du système se trouve une représentation JSON légère et interprétable, appelée Structured Scene Representation (SSR). Contrairement aux représentations neuronales ou voxelisées lourdes, la SSR est :

• Explicite : Elle définit les limites de la pièce (plafond et sol) comme des ensembles ordonnés de points 3D formant des polygones rectilignes (permettant des formes non-rectangulaires).
• Sémantique : Chaque objet est décrit par une phrase textuelle détaillée (matériau, couleur, style) plutôt que par une simple classe.
• Positionnelle : Les objets sont définis par leur description, leur taille (3D), leur position (3D) et leur rotation (quaternions).
• Indépendante des assets : La représentation est découplée du modèle 3D réel. Un moteur d'échantillonnage stochastique sélectionne l'asset 3D approprié dans un catalogue en fonction de la description et de la taille, permettant un déploiement "asset-agnostic".

B. Pipeline de Synthèse et d'Édition

Le processus est orchestré par deux modèles de langage :

1. LLM Zero-Shot (Interface Utilisateur) : Il décompose les instructions complexes de l'utilisateur en une séquence d'opérations atomiques (ajout, suppression, remplacement). Pour la suppression, il modifie directement le JSON de la SSR. Pour l'ajout, il génère des prompts spécifiques.
2. SG-LLM (Modèle Spécialisé) : C'est un modèle entraîné (basé sur Llama-3.1-8B ou Qwen2.5-1.5B) qui prend un prompt d'objet et la scène actuelle (SSR) pour prédire les tokens décrivant le nouvel objet (taille, position, rotation, description). Il est entraîné via Supervised Fine-Tuning (SFT) et affiné par Alignement de Préférence.

C. Alignement de Préférence et RLVR

Pour améliorer la qualité des placements, les auteurs utilisent une approche d'alignement de préférence avec des récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards).

• Au lieu de récompenses humaines subjectives, ils utilisent des métriques objectives (comme le VBL, voir ci-dessous) pour filtrer les sorties.
• Des stratégies comme le Rejection Sampling Fine-Tuning (RFT) sont employées : le modèle génère plusieurs candidats, ceux qui satisfont les critères de qualité sont sélectionnés pour un nouveau tour d'entraînement.

D. Métrique d'Évaluation : Voxelization-Based Loss (VBL)

Les auteurs introduisent une nouvelle métrique pour évaluer la géométrie fine, au-delà des simples boîtes englobantes (bounding boxes) :

• VBL (Voxelization-Based Loss) : La scène et les objets sont convertis en grilles de voxels.
• OOB (Out-of-Bounds) : Compte les voxels d'objets en dehors des limites de la pièce.
• MBL (Mesh Boundary Loss) : Mesure les chevauchements de voxels entre les objets (ex: une chaise qui pénètre physiquement sous une table).
  Cette métrique permet de détecter des violations géométriques subtiles que les métriques traditionnelles manquent.

---

3. Contributions Clés

1. ReSpace Framework : Une méthode nouvelle pour la synthèse et l'édition de scènes intérieures via des commandes textuelles, traitant l'ajout d'objets comme une prédiction de token.
2. Représentation Structurée (SSR) : Une abstraction JSON légère, éditable et indépendante des assets, supportant des géométries de pièces non-rectangulaires et des descriptions sémantiques riches.
3. Pipeline d'Entraînement Avancé : Utilisation de SFT combinée à l'alignement de préférence (RLVR, RFT, DPO, GRPO) pour optimiser le placement des objets selon des contraintes spatiales et sémantiques vérifiables.
4. Métrique VBL : Une métrique d'évaluation basée sur la voxelisation pour quantifier les violations géométriques fines (intersections, limites) de manière plus précise que les boîtes englobantes.
5. Raisonnement Spatial Indépendant des Assets : Démonstration qu'un modèle LLM peut apprendre un raisonnement spatial efficace uniquement à partir de texte structuré, permettant de fonctionner sur n'importe quel catalogue d'assets 3D.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset 3D-FRONT (scènes de chambres et salons).

• Ajout d'Objets (Single Object Addition) : ReSpace surpasse l'état de l'art (ATISS, Mi-Diff) sur toutes les métriques, notamment en réduisant drastiquement les violations de disposition (VBL, OOB, MBL). Par exemple, sur le jeu de données "all", le VBL de ReSpace est d'environ 11.21 contre 136.14 pour ATISS.
• Synthèse de Scène Complète : Bien que non entraîné spécifiquement pour la génération complète de novo, ReSpace atteint une qualité perçue par les humains supérieure aux méthodes end-to-end, avec un taux de victoire de 75,3 % dans une étude comparative contre Mi-Diff (56,7 %) et d'autres baselines.
• Édition Autoregressive : Le système gère efficacement des séquences d'édition multiples (ajouts et suppressions successifs). L'utilisation de techniques de calcul au moment de l'inférence (Test-Time Compute) comme l'échantillonnage Best-of-N (BoN) et le mélange (shuffling) améliore encore la stabilité et la qualité.
• Suppression d'Objets : L'approche basée sur un LLM zero-shot pour la suppression atteint une précision de ~90 % sur les scènes de chambres, bien que la performance diminue légèrement sur les scènes très encombrées en raison des défis de contexte long.
• Efficacité : ReSpace offre un temps de calcul compétitif (environ 6 secondes pour une scène complète avec BoN=1), tout en supportant des fonctionnalités (édition textuelle, géométries complexes) absentes des méthodes plus rapides mais rigides.

---

5. Signification et Impact

Le travail ReSpace marque une avancée significative dans le domaine de la génération de scènes 3D :

• Paradigme de l'Édition Iterative : Il déplace le focus de la génération "en un seul coup" (one-shot) vers une approche itérative et interactive, plus proche du flux de travail réel des designers d'intérieur.
• Raisonnement Spatial par le Texte : Il valide l'hypothèse qu'un modèle de langage, correctement entraîné sur une représentation structurée, peut acquérir un raisonnement spatial complexe sans nécessiter de modèles géométriques explicites ou d'entrées visuelles directes.
• Flexibilité et Accessibilité : La nature "asset-agnostic" du système permet son application à divers catalogues d'objets 3D, rendant la technologie plus adaptable aux scénarios réels où les inventaires physiques varient.
• Nouvelle Métrique de Qualité : L'introduction du VBL offre un outil d'évaluation plus robuste pour la communauté, capable de capturer des détails géométriques fins essentiels au réalisme.

En résumé, ReSpace combine la puissance sémantique des LLM avec une représentation structurée rigoureuse pour offrir un outil puissant, flexible et précis pour la création et la modification d'environnements intérieurs 3D.