🤖 AI

Learning an Interior Layout Policy in a Domain Specific Language Action Space

Cet article introduit LayoutDSL, un nouveau cadre basé sur les LLM qui génère des agencements de scènes d'intérieur en apprenant une politique au sein d'un espace d'action structuré en langage spécifique au domaine (DSL), en exploitant un nouveau jeu de données et l'apprentissage par renforcement pour surmonter les limites de la prédiction directe de coordonnées et améliorer significativement la plausibilité spatiale et la logique de conception.

Auteurs originaux : Yuhao Lu, Weichen Zhang, Wenyi Xiao, Haohui Chen, Yiyun Fei

Publié 2026-08-11

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuhao Lu, Weichen Zhang, Wenyi Xiao, Haohui Chen, Yiyun Fei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment décorer une pièce. Dans le monde de l'informatique, on appelle cela la « génération de configuration de scène intérieure » (indoor scene layout generation). Pendant longtemps, les scientifiques ont essayé de faire en sorte que les ordinateurs déterminent où placer un canapé, un lit ou une bibliothèque. On a appris aux machines à deviner les coordonnées exactes X, Y et Z (comme un GPS pour les meubles) ou à dessiner des boîtes approximatives autour des pièces. Mais voici le problème : les vraies pièces ne sont pas de simples boîtes vides. Elles ont des portes qui doivent rester ouvertes, des fenêtres qui ne doivent pas être obstruées par une armoire géante, et des coins bizarres qui ne conviennent pas à des meubles standards. Lorsque les ordinateurs essaient de deviner les nombres exacts pour chaque meuble, ils s'y perdent souvent, créant des configurations qui ressemblent à une partie de Tetris où les pièces ne s'emboîtent pas tout à fait ou, pire encore, flottent dans les airs.

C'est ici qu'intervient une nouvelle idée : au lieu de demander à un ordinateur de faire des mathématiques complexes pour trouver un nombre, et si nous lui demandions de parler un langage spécial ? Imaginez que vous apprenez à un enfant à construire avec des LEGO. Au lieu de dire à l'enfant : « Place la brique rouge à la coordonnée 4,2 ; 7,1 », vous dites : « Pose la brique rouge à côté de la brique bleue, sur le côté gauche ». Ce papier présente un système appelé LayoutDSL, qui apprend à une Intelligence Artificielle (IA) à « parler » ce langage spécial de la décoration d'intérieur. L'objectif est de faire en sorte que l'IA pense davantage comme un designer humain, en utilisant la logique et les relations (« à côté de », « face à », « centré ») plutôt que de simplement deviner des nombres.

Le problème de la devinette de nombres

Les auteurs de ce papier ont remarqué que beaucoup de méthodes existantes traitent la conception de pièces comme un problème mathématique où l'ordinateur doit prédire un nombre spécifique pour chaque meuble. Ils appellent cela la « prédiction directe de coordonnées » (direct coordinate prediction). Imaginez essayer de décrire l'emplacement d'une table basse en disant : « Elle est à 3,613 mètres du mur gauche et à 2,778 mètres du mur du fond ». Si vous déplacez légèrement la pièce ou changez la forme du mur, ce nombre devient inutile. L'ordinateur doit réapprendre le nombre à chaque fois que la pièce change.

Le papier soutient que cette approche est défectueuse car elle ignore les « règles » d'une pièce, comme les portes et les fenêtres. C'est comme essayer de garer une voiture en regardant uniquement les chiffres du GPS sans vérifier s'il y a un arbre sur le chemin. L'ordinateur peut calculer un emplacement parfait, mais si cet emplacement se trouve à l'intérieur d'un mur ou bloque une porte, la conception échoue. Les auteurs suggèrent qu'en forçant l'IA à utiliser un langage structuré (un langage spécifique au domaine, ou DSL) qui décrit des relations plutôt que de simples chiffres, l'IA peut apprendre la véritable logique de la conception.

La solution : Enseigner un nouveau langage à l'IA

Pour corriger cela, l'équipe a créé LayoutDSL, un cadre où l'IA ne produit pas de coordonnées directement. Au lieu de cela, elle produit une série d'instructions dans un langage spécial. C'est comme donner un livre de recettes à l'IA. Au lieu de dire « Place le canapé à (5, 2) », l'IA dit : « Place le canapé face à la télévision, avec le dossier contre le mur nord, en laissant un petit espace ».

Voici comment ils l'ont construit :

Le Langage (DSL) : Ils ont inventé un ensemble de règles pour décrire le placement des meubles. Une phrase dans ce langage ressemble à ceci : place sofa1 orient:90.0 wall5 wall_center_left:0.028 distance:0.000. Cela dit à l'ordinateur : « Place le canapé numéro 1, tourné à 90 degrés, ancré au mur numéro 5, aligné légèrement à gauche du centre, avec une distance de 0,000 par rapport au mur ». C'est beaucoup plus stable qu'un nombre brut car cela décrit comment le meuble se rapporte à la pièce, et non sa position dans le vide.
Les Données d'Entraînement (3D-FrontDSL) : Pour enseigner ce langage à l'IA, ils ne pouvaient pas simplement utiliser les anciennes données. Ils ont dû créer un nouveau jeu de données appelé 3D-FrontDSL. Ils ont pris des milliers de conceptions de pièces 3D réelles et ont utilisé un programme informatique pour traduire les coordonnées des meubles en ces nouvelles phrases DSL. Cela a créé une immense bibliothèque de paires « Pièce + Phrase DSL » pour que l'IA puisse les étudier.
L'Entraînement en deux étapes :
- Étape 1 (Ajustement fin supervisé) : Ils ont d'abord appris à l'IA à lire les informations de la pièce (comme « c'est un salon avec une porte sur le mur nord ») et à produire les phrases DSL correctes. C'était comme enseigner à l'IA le vocabulaire et la grammaire de la décoration d'intérieur.
- Étape 2 (Apprentissage par renforcement) : C'est ici que l'IA reçoit un « coach ». L'équipe a créé un ensemble de règles (récompenses) pour vérifier si la conception de l'IA fonctionne réellement. Le meuble a-t-il percuté le mur ? (Collision). Bloque-t-il la porte ? (Placement interdit). Y a-t-il assez d'espace pour circuler ? (Accessibilité). Si l'IA commet une erreur, elle reçoit un « mauvais score ». Si elle réalise une bonne disposition, elle reçoit un « bon score ». L'IA s'exerce ensuite encore et encore, en essayant d'obtenir un meilleur score, apprenant à éviter les erreurs tout comme un élève apprend avec le stylo rouge de son professeur.

Ce qu'ils ont découvert

Les résultats ont été assez impressionnants. L'équipe a testé leur nouveau système, LayoutDSL, contre certains des modèles d'IA les plus puissants et les plus importants disponibles (y compris des modèles possédant des centaines de milliards de paramètres). Même si leur modèle était beaucoup plus petit (seulement 4 milliards de paramètres), il a obtenu de meilleurs résultats que les géants.

Une meilleure logique : L'IA utilisant LayoutDSL a créé des dispositions beaucoup plus logiques. Elle bloque rarement les portes ou les fenêtres, et les meubles semblent être à leur place dans la pièce.
Un taux de réussite plus élevé : Alors que d'autres modèles échouaient parfois à produire une disposition utilisable (se bloquant ou générant du texte incohérent), LayoutDSL a réussi 100 % du temps lors de leurs tests.
La puissance du langage : Lorsqu'ils ont comparé la nouvelle méthode basée sur le langage à l'ancienne méthode de « devinette de nombres », l'approche par le langage l'a emporté haut la main. Le papier suggère qu'en forçant l'IA à penser en termes de relations (DSL) plutôt qu'en nombres bruts, elle a appris le « raisonnement » derrière la conception beaucoup plus rapidement et plus efficacement.

Pourquoi c'est important

Ce papier suggère que l'avenir de la conception par l'IA ne consiste pas seulement à fabriquer des ordinateurs plus gros capables de faire plus de calculs. Il s'agit d'apprendre aux machines à penser de la bonne manière. En utilisant un langage structuré qui imite la façon dont les humains décrivent l'espace, l'IA peut comprendre les règles d'une pièce. Cela signifie que nous pourrions bientôt voir des outils d'IA qui peuvent nous aider à réaménager nos maisons, en garantissant que nos meubles s'adaptent parfaitement, que nos portes puissent s'ouvrir et que nos pièces soient agréables, le tout sans que l'ordinateur n'ait besoin d'être un supercalculateur. Les auteurs démontrent qu'avec le bon « langage » et un peu de pratique (apprentissage par renforcement), même une petite IA peut devenir un maître de la décoration d'intérieur.

Résumé Technique : Apprentissage d'une politique d'aménagement intérieur dans un espace d'action de langage spécifique au domaine

Énoncé du Problème

La génération de l'aménagement intérieur vise à produire des agencements de meubles physiquement réalisables et fonctionnellement significatifs compte tenu des contraintes structurelles d'une pièce. L'article identifie deux limitations fondamentales dans les approches existantes :

Modélisation simpliste des pièces : De nombreuses méthodes réduisent les pièces à de grossières boîtes englobantes (bounding boxes) 3D, négligeant les éléments structurels critiques tels que les portes, les fenêtres et les ouvertures, qui sont essentiels pour des aménagements réalistes.
Paradigmes de raisonnement inefficaces : La plupart des méthodes d'apprentissage actuelles formulent la génération d'aménagement comme une régression continue sur des paramètres géométriques bruts (par exemple, la prédiction directe de coordonnées). Cette approche traite la conception d'aménagement comme une estimation de points dans l'espace euclidien, entravant la capacité du modèle à apprendre le raisonnement logique sous-jacent d'une conception intelligente. De plus, les coordonnées brutes présentent une variance élevée selon les différentes géométries de pièces, ce qui rend la généralisation difficile.

Méthodologie : LayoutDSL

Les auteurs proposent LayoutDSL, un nouveau cadre qui déplace le paradigme de la prédiction directe de paramètres vers l'apprentissage de politiques au sein d'un espace d'action structuré et interprétable de Langage Spécifique au Domaine (DSL). Le cadre se compose de trois composantes clés :

1. Conception du Layout DSL

Les auteurs conçoivent un DSL qui encode symboliquement les relations spatiales et les contraintes géométriques. Au lieu de prédire directement les coordonnées $(x, y, z)$ , le modèle génère des énoncés semblables au langage naturel. Un énoncé unique suit le schéma :
action + instance + orient:θ + anchor + align:δ + distance:d

Ancre (Anchor) : Peut être un segment de mur (ex: wall1) ou un article de mobilier placé précédemment (ex: bed0).
Alignement (Alignment) : Spécifie la relation spatiale relative (ex: wall_center_left, obj_front_center) avec 26 options prédéfinies.
Distance : Un décalage scalaire par rapport à l'ancre.

Cette représentation incorpore des priors structurels, ce qui permet des descriptions de position plus stables que les coordonnées brutes. Un système bidirectionnel Générateur-Interpréteur convertit les paramètres d'aménagement 3D et les énoncés DSL.

2. Construction du Jeu de Données : 3D-FrontDSL

Pour entraîner le modèle, les auteurs ont construit 3D-FrontDSL, un jeu de données dérivé du dataset 3D-Front.

Prétraitement : Les plans de masse irréguliers sont décomposés en "méta-pièces" rectangulaires à l'aide de la géométrie computationnelle.
Annotation : Le jeu de données inclut des annotations de la structure de la pièce (murs, portes, fenêtres, ouvertures) couplées à des séquences d'actions DSL synthétiques générées par le générateur DSL.
Échelle : Le jeu de données contient 9 305 paires d'aménagements de méta-pièces.

3. Pipeline d'Entraînement

Le cadre utilise un processus d'entraînement en deux étapes :

Ajustement Supervisé (SFT - Supervised Fine-Tuning) : Le LLM est aligné avec la syntaxe et la sémantique du Layout DSL en utilisant le jeu de données 3D-FrontDSL. Le modèle apprend à générer des séquences d'actions DSL structurées conditionnées par les informations structurelles de la pièce.
Apprentissage par Renforcement (RL) avec Récompenses Vérifiables : Pour améliorer la plausibilité physique et la logique de conception, la politique est optimisée via l'Optimisation de Politique Relative de Groupe (GRPO - Group Relative Policy Optimization). La fonction de récompense est composée de cinq métriques vérifiables fondées sur les principes de la décoration d'intérieur :
- Collision (COL) : Pénalise le chevauchement des boîtes englobantes.
- Hors Limites (OOB - Out-of-Bounds) : Pénalise les meubles s'étendant au-delà des limites de la pièce.
- Placement Interdit (FP - Forbidden-Placement) : Pénalise le placement de meubles dans des zones restreintes (ex: bloquant les portes ou les devant de fenêtres).
- Accessibilité de l'Itinéraire (REA - Route Reachability) : Assure la connectivité globale et l'accessibilité des objets.
- Logique de l'Espace (LOG - Space Logicality) : Évalue la cohérence fonctionnelle (ex: orientation du lit par rapport aux portes) et l'harmonie spatiale.
- Note : Une pénalité anti-piratage (anti-hacking) est incluse pour empêcher le modèle de générer des aménagements clairsemés afin d'échapper aux pénalités de collision ou d'accessibilité.

Principales Contributions

Apprentissage de Politique basé sur le DSL : L'introduction d'un langage spécifique au domaine de l'aménagement qui transforme la génération de scènes intérieures en un problème d'apprentissage de politique sur un espace d'action structuré et interprétable, s'éloignant de la régression directe de coordonnées.
Jeu de Données 3D-FrontDSL : La création d'un nouveau jeu de données présentant des annotations de structure de pièce (incluant les portes et fenêtres) couplées à des énoncés DSL synthétiques, permettant une génération d'aménagement conditionnée par la structure.
Récompenses RL Vérifiables : La proposition d'un système de récompense complet intégrant la faisabilité géométrique et les principes de conception alignés sur l'humain, démontrant que le RL améliore considérablement la qualité de l'aménagement.

Résultats Expérimentaux

Les auteurs ont évalué LayoutDSL sur RealHome60, un ensemble de test de 60 pièces résidentielles réelles.

Performance vs Baselines : Un LLM de 4 milliards de paramètres (Qwen3-4B-Instruct) affiné avec LayoutDSL et RL a atteint un score moyen de 0,878 sur cinq métriques (COL, OOB, FP, REA, LOG).
Comparaison avec les Grands Modèles : Ce modèle de 4B a surpassé de nombreux LLM leaders de l'industrie non affinés et beaucoup plus grands (ex: Gemini-3.1, GPT-5.1) en configuration few-shot, dépassant Gemini-3.1 de 26,4 points de pourcentage.
Comparaison avec les Méthodes Existantes : LayoutDSL a surpassé la meilleure baseline existante (I-Design) de 28,4 points, excellant particulièrement dans la gestion des contraintes structurelles (métriques FP et LOG).
Études d'Ablation :
- DSL vs Paramètres Directs : La génération basée sur le DSL a systématiquement surpassé la prédiction directe de paramètres, tant lors des étapes SFT que RL.
- SFT et RL : Le SFT a amélioré le score moyen de 0,357 (baseline) à 0,685, tandis que le RL l'a encore porté à 0,878.
- Anti-Hacking : Le retrait de la pénalité anti-piratage a dégradé les performances, confirmant sa nécessité pour une densité d'objets réaliste.

Signification et Revendications

L'article affirme qu'en projetant le calcul spatial dans un espace d'action DSL, LayoutDSL permet aux LLM d'apprendre la logique de raisonnement de la décoration d'intérieur plutôt que de simplement mémoriser des distributions de coordonnées. Les auteurs soutiennent que cette approche :

Améliore substantiellement la plausibilité spatiale et la logique de conception.
Permet à de plus petits modèles (4B) de surpasser de plus grands modèles non entraînés en exploitant le raisonnement structuré et le feedback vérifiable.
Fournit un cadre évolutif et interprétable pour la conception d'intérieur automatisée, avec des applications potentielles dans la génération de données par simulation et la synthèse de scènes commerciales.

Les auteurs concluent que bien que le travail actuel se concentre sur les pièces structurées, les directions futures incluent la gestion de géométries de pièces irrégulières et de diverses exigences d'utilisateurs, suggérant qu'un RL à grande échelle pourrait davantage faciliter le déploiement dans des applications de conception intelligente complexes.