Résumé Technique : STABLE – Génération de Dispositions de Table Prêtes pour la Simulation via un Système Dual Sémantique-Physique

1. Énoncé du Problème

La génération de scènes de table prêtes pour la simulation à partir d'instructions de tâches en langage naturel est un composant critique pour l'entraînement et l'évaluation de l'IA incarnée. Bien que les Grands Modèles de Langage (LLM) aient montré des promesses dans l'interprétation de la sémantique de haut niveau pour générer des dispositions de scènes structurées, ils souffrent de limitations inhérentes au raisonnement spatial 3D. Par conséquent, les approches basées uniquement sur les LLM produisent fréquemment des scènes comportant des impossibilités physiques, telles que l'interpénétration d'objets (collisions), des artefacts flottants ou des empilements instables.

Les tentatives existantes pour résoudre ces problèmes se divisent en deux catégories, toutes deux présentant des inconvénients majeurs :

1. Méthodes centrées sur le LLM : Génèrent souvent des scènes alignées sémantiquement mais physiquement invalides.
2. Optimisation a posteriori : Les méthodes appliquant des solveurs basés sur la physique après la génération peuvent résoudre les collisions, mais entraînent souvent des coûts computationnels élevés, échouent à trouver des solutions réalisables dans des scènes fortement encombrées, et peuvent perturber la disposition sémantique originale, provoquant un décalage de la scène par rapport aux instructions de l'utilisateur (par exemple, déplacer un objet du mauvais côté d'une table pour résoudre une collision).

Le défi central consiste à générer des dispositions de table qui adhèrent strictement aux instructions de la tâche tout en assurant la plausibilité physique (préparation à la simulation), sans compromettre la diversité de la scène ni l'alignement sémantique.

2. Méthodologie : Le Cadre STABLE

Les auteurs proposent STABLE, un cadre dual « Sémantique-Physique » conçu pour découpler la génération de dispositions sémantiques de la correction de poses consciente de la physique. Le système fonctionne selon un paradigme d'inférence progressive, alternant entre deux modules complémentaires.

2.1. Raisonneur Sémantique (RS)

Le Raisonneur Sémantique est un Grand Modèle de Langage finement ajusté (basé sur Qwen3-8B) entraîné sur un ensemble de données structuré de scènes de table (MesaTask-10K).

• Fonction : Il interprète les instructions de la tâche pour générer des dispositions de scènes grossières et alignées sur la tâche.
• Génération Progressive : Contrairement à la génération standard en une seule étape, STABLE emploie un processus de construction progressif en trois étapes :
  1. Objets orientés tâche ($O_t$) : Objets explicitement spécifiés dans l'instruction.
  2. Objets d'arrière-plan importants ($O_B$) : Objets en contact physique ou à proximité immédiate des objets de la tâche.
  3. Objets d'arrière-plan secondaires ($O_b$) : Désordre contextuel restant.
• Sortie : Le RS produit une disposition structurée JSON spécifiant les identités des objets, leurs tailles et leurs poses initiales. Il est entraîné à produire ces étapes séquentiellement, renforçant l'ancrage dans l'instruction et réduisant le risque d'omission d'objets critiques.

2.2. Correcteur Physique (CP)

Le Correcteur Physique est un modèle de débruitage léger basé sur les flux, conçu pour affiner les poses grossières générées par le RS.

• Fonction : Il prédit des mises à jour de pose (translation 3D et rotation de lacet) pour éliminer les violations physiques tout en préservant les identités des objets, leurs tailles et leurs descriptions sémantiques.
• Conditionnement Conscient de la Géométrie : Pour gérer des relations complexes comme l'empilement et le contenu, le CP est conditionné par des caractéristiques géométriques explicites. Il récupère des assets 3D, les met à l'échelle selon les tailles prédites, échantillonne des nuages de points de surface et les encode à l'aide d'un encodeur PointTransformerV3 figé.
• Appariement de Flux (Flow Matching) : Le modèle utilise l'appariement de flux pour apprendre un champ vectoriel continu qui transporte une pose grossière bruitée vers une pose cible physiquement valide.
• Contraintes Physiques (Fonctions de Perte) : Pour assurer la préparation à la simulation, l'objectif d'entraînement inclut des contraintes différentiables au niveau du maillage :
  • Perte SDF Objet-Objet : Pénalise l'interpénétration entre les objets en utilisant des Champs de Distance Signée (SDF).
  • Perte SDF Objet-Table : Empêche les objets de pénétrer la surface de la table.
  • Perte de Contact-Soutien : Encourage un contact de repos stable pour éliminer les artefacts flottants, assurant que les objets sont soutenus par la table ou d'autres objets dans une petite tolérance.

2.3. Pipeline d'Inférence

Le système fonctionne via une boucle alternée :

1. Le Raisonneur Sémantique étend la scène en ajoutant une nouvelle étape d'objets (par exemple, de $O_t$ à $O_t \cup O_B$).
2. Des assets sont récupérés en fonction des nouveaux objets.
3. Le Correcteur Physique affine immédiatement les poses de l'ensemble de la scène actuelle pour résoudre toute nouvelle collision ou tout problème de flottaison introduit par l'extension.
4. La disposition corrigée sert de contexte pour l'étape suivante de l'expansion sémantique.

Ce pipeline permet un traitement par lots où différentes scènes peuvent se trouver à des étapes différentes de la boucle, améliorant le débit.

3. Contributions Clés

1. Cadre Dual : STABLE est le premier cadre à découpler explicitement la génération de dispositions sémantiques (via LLM) de la correction de poses consciente de la physique (via un modèle appris basé sur les flux), mappant directement les instructions de tâche vers des dispositions prêtes pour la simulation.
2. Correction de Poses Consciente de la Géométrie : L'introduction d'une cible de débruitage conditionnée par des nuages de points au niveau du maillage permet au système de résoudre des relations spatiales complexes (empilement, contenu) que les approximations par boîtes englobantes ne peuvent pas gérer.
3. Inférence Progressive : La stratégie de génération par étapes (Tâche $\to$ Arrière-plan Important $\to$ Arrière-plan Secondaire) atténue l'accumulation d'erreurs et permet une édition incrémentale de la scène.
4. Contraintes Physiques au Niveau du Maillage : L'intégration de pertes de collision et de soutien basées sur les SDF pendant l'entraînement garantit que les scènes générées sont physiquement valides sans dépendre d'une optimisation coûteuse a posteriori.

4. Résultats Expérimentaux

Les auteurs ont évalué STABLE sur l'ensemble de données MesaTask-10K, en le comparant à des bases de référence basées sur les LLM (MesaTask, Holodeck-Table, I-Design-Table), des méthodes de post-traitement (Steerable) et des modèles propriétaires (GPT-4o).

• Validité Physique : STABLE a atteint un taux de 0 % de Collision d'Objets (OC) et un taux de 0 % de Flottaison, surpassant nettement les bases de référence qui souffraient de taux de collision élevés (par exemple, MesaTask présentait 15,6 % d'OC) ou nécessitaient un post-traitement dégradant l'alignement avec la tâche.
• Alignement avec la Tâche : STABLE a obtenu le score le plus élevé d'Alignement avec la Tâche (AwT) (99,4 %) et d'Alignement avec le Graphe de Scène (AwS) (99,0 %), démontrant une adhérence supérieure aux instructions par rapport aux méthodes qui dérivent lors de l'optimisation.
• Robustesse : Dans les tests de résolution de collisions, le Correcteur Physique de STABLE a résolu avec succès des dispositions comportant jusqu'à 40 collisions initiales, tandis que les optimiseurs itératifs a posteriori (MesaTask, Steerable) échouaient à mesure que le nombre de collisions augmentait.
• Études d'Ablation : Le retrait de toute contrainte physique (SDF ou perte de soutien) a considérablement dégradé la préparation à la simulation. De même, le retrait de la stratégie de construction progressive a réduit l'alignement avec la tâche, confirmant la nécessité des deux composants.
• Applications en Aval : La méthode a démontré son efficacité dans des tâches de réarrangement de scènes et sa généralisation à des types de tables non vus (par exemple, meubles TV, tables de chevet) et à des assets d'objets non vus.

5. Signification et Revendications

L'article revendique que STABLE adresse un goulot d'étranglement critique dans l'IA incarnée : le manque de données synthétiques de haute qualité, diversifiées et physiquement valides pour la manipulation robotique. En combinant la compréhension sémantique des LLM avec le rigoureux géométrique de la correction physique apprise, STABLE génère des scènes qui sont non seulement riches sémantiquement, mais immédiatement utilisables dans des simulateurs physiques.

Les auteurs soulignent que leur approche évite le compromis observé dans les travaux antérieurs, où l'amélioration de la validité physique se faisait souvent au détriment de l'alignement sémantique. STABLE maintient un ancrage strict dans la tâche tout en assurant la préparation à la simulation, offrant une solution évolutive pour la génération de données d'entraînement destinées aux politiques robotiques généralistes. Ce travail est présenté comme une étape vers une génération de données synthétiques plus robuste et fiable pour l'intelligence incarnée, bien que les auteurs reconnaissent des limitations concernant la prédiction complète de la pose à 6 degrés de liberté et l'accent actuel mis sur les environnements de table.