💻 computer science

TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation

TabletopGen est un moteur automatisé et sans entraînement qui génère des scènes de table physiquement plausibles et interactives à partir de textes ou d'images uniques afin de permettre la synthèse de données de manipulation robotique à grande échelle et de haute fidélité ainsi que le transfert de politique en zéro étape vers le monde réel.

Auteurs originaux : Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su

Publié 2026-07-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à un robot comment ranger un plan de travail de cuisine en désordre. Pour faire cela de manière sûre et économique, vous préféreriez vous entraîner dans un jeu vidéo (une simulation) plutôt que de risquer de casser de la vraie vaisselle. Mais voici le problème : la plupart des mondes de jeux vidéo sont soit trop simples (comme une table plate avec des objets flottants), soit trop désordonnés (les objets s'entremêlent ou défient la gravité). Si le robot s'entraîne sur un monde défectueux, il prend de mauvaises habitudes et échoue lorsqu'il essaie de faire son travail dans la vie réelle.

TabletopGen est un nouvel outil qui agit comme un « architecte magique » pour les mondes d'entraînement des robots. Il construit des scènes de table réalistes et respectant les lois de la physique à partir de zéro, simplement en lisant une description textuelle ou en regardant une seule photo.

Voici comment cela fonctionne, divisé en trois étapes simples :

1. Le « Sculpteur d'Argile » (Extraction d'Instances Générative)

Imaginez que vous avez la photo d'un bureau encombré. Vous voulez transformer chaque article de cette photo (un mug, un ordinateur portable, une agrafeuse) en un objet 3D que vous pouvez manipuler.

Le Problème : Si vous copiez simplement la photo, les objets paraîtront plats ou présenteront des trous parce que vous ne voyez pas l'arrière.
La Solution de TabletopGen : Il agit comme un sculpteur habile. Il regarde la photo, identifie chaque article et « remplit les vides » pour créer un modèle 3D complet et solide pour chacun d'eux. Il les redresse ensuite tous bien droit, comme un potier alignant des pots en argile sur un tour, afin qu'ils soient prêts à être placés sur une table.

2. Le « Maître du Feng Shui » (Alignement de la Pose et de l'Échelle)

Vous avez maintenant un tas d'objets 3D. Vous devez les disposer sur la table pour qu'ils ressemblent à la photo et qu'ils ne flottent pas dans les airs ou ne s'enfoncent pas dans le bois.

Le Problème : Si vous devinez simplement où les placer, un livre pourrait être à l'envers, ou une tasse pourrait flotter à deux mètres au-dessus de la table.
La Solution de TabletopGen : Il utilise deux outils spéciaux pour rendre l'arrangement parfait :
- Le Régulateur de Rotation (DRO) : Il fait pivoter chaque objet légèrement jusqu'à ce que sa forme et ses ombres correspondent parfaitement à la photo originale.
- Le Planificateur de Vue de Dessus (TSA) : Il imagine regarder la table directement d'en haut (comme un drone). Il utilise le « bon sens » de la physique (par exemple, « une tasse repose sur une table, pas à l'intérieur d'elle ») pour déterminer exactement comment les objets doivent être dimensionnés et où ils doivent se situer pour ne pas s'entrechoquer. Il choisit un objet fiable comme « règle » pour s'assurer que tout est à la bonne taille.

3. Le « Créateur de Jeu » (Simulation Interactive)

Une fois les objets disposés, l'outil les dépose dans un moteur de physique (un moteur de jeu vidéo).

Le Résultat : Il transforme la scène en un niveau jouable. Le robot peut maintenant essayer de « ramasser » la tasse ou de « déplacer » le livre. Si le robot essaie de pousser un livre hors de la table, celui-ci tombe. S'il essaie de pousser un livre à travers un mur, il rebondit.
Le Bonus : Comme les objets sont séparés et indépendants, vous pouvez facilement remplacer un mug par une théière, ou déplacer un ordinateur portable de l'autre côté, créant ainsi des milliers de nouveaux scénarios d'entraînement instantanément sans reconstruire tout le monde.

Pourquoi est-ce important ?

L'article prouve que les robots entraînés dans ces mondes d'« architectes magiques » peuvent réellement accomplir la tâche dans le monde réel.

Le Test : Ils ont pris la photo d'une vraie table, construit une simulation de celle-ci, entraîné un bras de robot dans la simulation pour déplacer des fruits et des blocs, puis ont dit au robot de réaliser exactement la même tâche sur la vraie table.
Le Résultat : Le robot a réussi ! Il n'a pas eu besoin d'entraînement supplémentaire sur la vraie table. Cela montre que l'« architecte magique » a construit un monde suffisamment précis pour enseigner au robot des compétences du monde réel.

En bref : TabletopGen est un outil qui transforme une simple photo ou une phrase en un terrain d'entraînement parfait et respectant la physique pour les robots, leur permettant d'apprendre des tâches complexes rapidement et en toute sécurité, sans avoir besoin de collecter des données coûteuses dans le monde réel.

Résumé Technique : TabletopGen

Problématique

La manipulation robotique, particulièrement dans les environnements de type table, repose fortement sur des données d'interaction à grande échelle et de haute qualité pour l'entraînement des modèles Vision-Language-Action (VLA). Bien que la collecte de données en conditions réelles soit coûteuse et difficile à mettre à l'échelle, la simulation offre une alternative prometteuse. Cependant, les méthodes existantes de génération de scènes 3D ne parviennent pas à produire efficacement des environnements de table prêts pour la simulation.

Les méthodes basées sur la recherche (retrieval) souffrent d'une diversité insuffisante et de décalages géométriques dus à des bibliothèques d'actifs fixes.
Les méthodes pilotées par le texte basées sur les LLM se concentrent généralement sur l'agencement de pièces entières, échouant à gérer les agencements fonctionnels à haute densité d'objets de petite taille et les fortes contraintes sémantiques propres aux surfaces de table.
Les méthodes de reconstruction à partir d'une image unique produisent souvent des agencements physiquement implausibles (par exemple, interpénétration d'objets ou objets flottants) et des maillages incomplets en raison des occlusions par vue unique et d'un manque de priors physiques.

Par conséquent, ces scènes ne peuvent pas être importées de manière fiable dans des simulateurs physiques pour la planification de mouvement, ce qui crée un goulot d'étranglement pour la synthèse automatisée de données de manipulation.

Méthodologie

TabletopGen est un cadre de travail (framework) entièrement automatisé et sans entraînement, qui génère des scènes de table interactives de haute fidélité au niveau de l'instance à partir d'une description textuelle ou d'une image unique. Le cadre fonctionne en trois étapes progressives :

1. Extraction d'instances générative

Le système convertit d'abord les entrées textuelles en invites détaillées et synthétise une image de référence (ou utilise une image fournie). Il extrait ensuite et reconstruit les actifs 3D :

Segmentation et Complétion : Un Modèle de Langage Multimodal (MLLM) effectue une reconnaissance de catégories en vocabulaire ouvert, combinée à GroundedSAM-v2 pour le masquage d'instances. Pour traiter les occlusions, un modèle génératif multimodal complète et redessine les masques d'instances plutôt que d'utiliser un inpainting traditionnel.
Reconstruction 3D et Canonicalisation : Les instances 2D complétées sont reconstruites en maillages 3D à l'aide de modèles Image-to-3D. Crucialement, le système applique une correction de rotation pour aligner l'axe vertical local de chaque objet avec la direction Z-up du monde, garantissant que les actifs sont « Z-up canonicalisés » et directement plaçables.

2. Alignement de la Pose et de l'Échelle

Il s'agit de l'innovation centrale, qui découple l'estimation de la rotation, de la translation et de l'échelle en deux phases spécialisées pour garantir la plausibilité physique :

Optimiseur de Rotation Différentiable (DRO) : Cette phase optimise la rotation ( $r_i$ ) de chaque instance autour de l'axe vertical. Elle utilise un rendu différentiable pour générer une image texturée, une silhouette douce et une carte de contours, minimisant une perte trimodale (cohérence de forme via l'IoU douce, correspondance de contour via la perte de Chamfer et similitude d'apparence via les caractéristiques DINOv2) par rapport à l'instance cible.
Alignement Spatial en Vue de Dessus (TSA) : Cette phase infère la translation ( $t_i$ $t_{i}$ ) et l'échelle ( $s_i$ $s_{i}$ ) en utilisant des priors physiques :
- Priors d'empilement : Un MLLM infère les relations d'empilement pour éviter les objets flottants ou l'interpénétration verticale.
- Synthèse de Vue de Dessus : Un modèle génératif synthétise une vue de dessus de la scène pour extraire les boîtes englobantes (bounding boxes) 2D, garantissant que les objets restent dans les limites de la table.
- RMA-Score : Un score « Ratio-Matched and Area-Weighted » sélectionne un objet ancre fiable basé sur la cohérence du rapport d'aspect et l'aire de pixels. Cet ancre détermine un facteur d'échelle global pour inférer les échelles 3D métriques et les translations horizontales de tous les objets.

3. Simulation Interactive

Les instances alignées sont assemblées dans un simulateur physique (Isaac Sim). Les géométries de collision sont générées via la décomposition convexe, et les propriétés physiques (gravité, friction) sont activées. Le cadre prend en charge :

Génération de Tâches : Génération automatique de tâches de manipulation (ex: « mettre la tasse dans la boîte ») basées sur des étiquettes sémantiques.
Synthèse de Données : Exécution de trajectoires sans collision pour collecter des données multimodales (RGB, états articulaires, actions).
Expansion de Scène : Édition de scène (ajouter, supprimer, remplacer, réorganiser) pour générer des variantes de scènes diverses sans relancer l'ensemble du pipeline.

Contributions Clés

Framework TabletopGen : Un moteur automatisé et sans entraînement qui génère des scènes de table prêtes pour la simulation à partir de textes ou d'images uniques, atteignant simultanément le réalisme visuel, l'interactivité au niveau de l'instance et la plausibilité physique.
Nouvelle Méthode d'Alignement : Une approche d'alignement de pose et d'échelle découplée utilisant le DRO pour une optimisation précise de la rotation et le TSA pour l'inférence de la translation et de l'échelle sous contraintes physiques, surmontant les limitations de la reconstruction par vue unique.
Validation Complète : Expérimentations approfondies démontrant des performances de pointe en termes de fidélité visuelle et de validité physique, validées par un transfert de politique zero-shot real-to-sim-to-real.

Résultats

Performance Quantitative : En comparaison avec les bases de référence pilotées par l'image (ACDC, Gen3DSR, MIDI) et les méthodes pilotées par le texte (MesaTask, Holodeck-table), TabletopGen a obtenu les scores les plus élevés dans les métriques visuelles/perceptuelles (LPIPS, DINOv2, CLIP) et les évaluations GPT-4o.
Plausibilité Physique : TabletopGen a considérablement réduit les taux de collision. Alors que les bases de référence présentaient des taux de collision au niveau de la scène (Col_S) compris entre 67 % et 98 %, TabletopGen a atteint un Col_S de seulement 7,69 % et un taux de collision au niveau du maillage (Col_O) de 0,42 %.
Étude Utilisateur : Dans une étude avec 128 participants, TabletopGen a été préféré dans 83,13 % des cas, surpassant nettement les bases de référence en termes de fidélité visuelle, d'alignement d'image et de plausibilité physique.
Transfert Réel : Dans une expérience zero-shot real-to-sim-to-real, des politiques entraînées uniquement sur des données synthétiques générées par TabletopGen ont été déployées sur un bras réel AgileX PiPER. Les politiques ont obtenu des taux de réussite élevés (ex: 84 % pour placer une mangue, 80 % pour placer une fraise) sans aucun ajustement (fine-tuning) dans le monde réel, validant l'exactitude physique des scènes générées.

Signification

L'article affirme que TabletopGen sert de moteur de données fiable pour la manipulation robotique. En résolvant le goulot d'étranglement de la génération de scènes interactives au niveau de l'instance et physiquement plausibles, il permet la synthèse à faible coût et à grande échelle de données de manipulation multimodales. Cette capacité est cruciale pour l'entraînement de modèles VLA généralisables et soutient le paradigme « sim-to-real », permettant aux robots d'apprendre des politiques de manipulation complexes en simulation qui se transfèrent efficacement dans le monde physique sans collecte massive de données réelles. La capacité du framework à supporter l'expansion de scène via l'édition de scène offre également une voie évolutive pour couvrir divers environnements de simulation pour l'IA incarnée (embodied AI).