💻 computer science

TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation

TabletopGen is een training-vrije, geautomatiseerde engine die fysiek plausibele en interactieve tafelscènes genereert vanuit tekst of een enkele afbeelding om grootschalige, hoogwaardige synthese van robotmanipulatiegegevens en zero-shot real-world policy transfer mogelijk te maken.

Oorspronkelijke auteurs: Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su

Gepubliceerd 2026-07-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe hij een rommelig aanrecht kan opruimen. Om dit veilig en goedkoop te doen, oefen je liever in een videogame (een simulatie) dan dat je het risico loopt om echt servies te breken. Maar hier is het probleem: de meeste videogamelanden zijn óf te simpel (zoals een platte tafel met zwevende objecten), óf te rommelig (objecten die door elkaar heen snijden of de zwaartekracht tarten). Als de robot in een kapotte wereld oefent, leert hij slechte gewoontes aan en faalt hij wanneer hij de taak in het echte leven moet uitvoeren.

TabletopGen is een nieuwe tool die fungeert als een "magische architect" voor deze trainingswerelden voor robots. Het bouwt realistische, natuurkundig kloppende tafelscènes vanaf nul, simpelweg door een tekstbeschrijving te lezen of naar één enkele foto te kijken.

Zo werkt het, opgedeeld in drie eenvoudige stappen:

1. De "Kleibeeldhouwer" (Generatieve Instantie-extractie)

Stel je voor dat je een foto hebt van een rommelig bureau. Je wilt elk item in die foto (een koffiemok, een laptop, een nietmachine) veranderen in een 3D-object dat je kunt oppakken.

Het Probleem: Als je de foto gewoon kopieert, zien de objecten er plat uit of hebben ze gaten in zich omdat je de achterkant niet kunt zien.
De TabletopGen Oplossing: Het fungeert als een bekwame beeldhouwer. Het kijkt naar de foto, identificeert elk item en "vult de gaten in" om een compleet, solide 3D-model van elk object te maken. Vervolgens zet het ze allemaal rechtop, zoals een pottenbakker kleien potten op een draaischijf uitlijnt, zodat ze klaar zijn om op een tafel geplaatst te worden.

2. De "Feng Shui Meester" (Pose en Schaal Aanpassing)

Nu heb je een stapel 3D-objecten. Je moet ze op de tafel arrangeren zodat ze lijken op de foto en niet in de lucht zweven of door het hout heen zakken.

Het Probleam: Als je maar wat gokt waar je ze neerzet, ligt een boek misschien ondersteboven, of zweeft een kopje twee meter boven de tafel.
De TabletopGen Oplossing: Het gebruikt twee speciale hulpmiddelen om de rangschikking perfect te krijgen:
- De Rotatie-afstemmer (DRO): Het draait elk object lichtjes totdat de vorm en schaduwen precies overeenkomen met de originele foto.
- De Bovenaanzicht-planner (TSA): Het stelt zich voor dat het de tafel recht van boven bekijkt (zoals een drone). Het gebruikt "gezond verstand"-natuurkunde (bijv. "een kopje staat op een tafel, niet ín de tafel") om te bepalen hoe groot de objecten moeten zijn en waar ze moeten zitten, zodat ze niet tegen elkaar botsen. Het kiest één betrouwbaar object als "liniaal" om te zorgen dat alles de juiste grootte heeft.

3. De "Game Builder" (Interactieve Simulatie)

Zodod de objecten zijn gerangschikt, plaatst de tool ze in een physics engine (een videogame engine).

Het Resultaat: Het verandert de scène in een speelbaar level. De robot kan nu proberen de mok "op te pakken" of het boek te "verplaatsen". Als de robot probeert een boek van de tafel te duwen, valt het eraf. Als de robot probeert een boek door een muur te duwen, botst hij ertegenaan.
De Bonus: Omdat de objecten apart en onafhankelijk zijn, kun je gemakkelijk een koffiemok vervangen voor een theepot, of een laptop naar de andere kant verplaatsen, waardoor je direct duizenden nieuwe oefenscenario's creëert zonder de hele wereld opnieuw te bouwen.

Waarom is dit belangrijk?

Het paper bewijst dat robots die getraind zijn in deze "magische architect"-werelden, ook daadwerkelijk de taak in de echte wereld kunnen uitvoeren.

De Test: Ze namen een foto van een echte tafel, bouwden een simulatie hiervan, trainden een robotarm in de simulatie om fruit en blokken te verplaatsen, en vertelden de robot vervolgens om exact dezelfde taak op de echte tafel uit te voeren.
De Uitkomst: De robot slaagde! De robot had geen extra oefening op de echte tafel nodig. Dit laat zien dat de "magische architect" een wereld heeft gebouwd die accuraat genoeg was om de robot echte vaardigheden aan te leren.

Kortom: TabletopGen is een tool die een enkele foto of een zin verandert in een perfecte, natuurkundig accurate trainingsgrond voor robots, waardoor ze complexe taken snel en veilig kunnen leren zonder dat er dure dataverzameling in de echte wereld nodig is.

Technische Samenvatting: TabletopGen

Probleemstelling

Robotische manipulatie, in het bijzonder in tabletop-omgevingen (tafelomgevingen), is sterk afhankelijk van grootschalige, hoogwaardige interactiedata voor het trainen van Vision-Language-Action (VLA) modellen. Hoewel real-world dataverzameling kostbaar en moeilijk te schalen is, biedt simulatie een veelbelovend alternatief. Bestaande 3D-scènegeneratiemethoden slagen er echter niet in om effectief simulatie-klare tabletop-omgevingen te produceren.

Retrieval-gebaseerde methoden lijden aan onvoldoende diversiteit en geometrische mismatches door vaste asset-bibliotheken.
LLM-gebaseerde tekstgestuurde methoden richten zich doorga tops op kamerbrede lay-outs, en falen in het afhandelen van de hoge dichtheid, de functionele arrangementen van kleine objecten en de sterke semantische beperkingen die uniek zijn voor own tafels.
Single-image reconstructiemethoden produceren vaak fysiek onwaarschijnlijke lay-outs (bijv. interpenetratie van objecten, zwevende objecten) en incomplete meshes door occlusies vanuit één enkel perspectief en een gebrek aan fysieke priors.

Gevolgdelijk kunnen deze scènes niet betrouwbaar worden geïmporteerd in physics-simulatoren voor bewegingsplanning, wat een bottleneck vormt voor de geautomatiseerde synthese van manipulatiedata.

Methodologie

TabletopGen is een training-vrij, volledig geautomatiseerd framework dat hoogwaardige, instance-level interactieve tabletop-scènes genereert op basis van een tekstbeschrijving of een enkele afbeelding. Het framework werkt in drie progressieve stadia:

1. Generatieve Instance Extractie

Het systeem zet tekstuele inputs eerst om in gedetailleerde prompts en synthetiseert een referentieafbeelding (of gebruikt een verstrekte afbeelding). Vervolgens extraheert en reconstrueert het 3D-assets:

Segmentatie & Completie: Een Multimodal Large Language Model (MLLM) voert open-vocabulary categorisering uit, gecombineerd met GroundedSAM-v2 voor instance masking. Om occlusies aan te pakken, voltooit en tekent een multimodale generatieve model de instance masks opnieuw, in plaats van traditionele inpainting te gebruiken.
3D-reconstructie & Canonicalisatie: Voltooide 2D-instances worden gereconstrueerd tot 3D-meshes met behulp van Image-to-3D modellen. Cruciaal is dat het systeem rotatiecorrectie toepast om de lokale verticale as van elk object uit te lijnen met de wereld Z-up richting, waardoor de assets "Z-up canonicalized" zijn en direct geplaatst kunnen worden.

2. Pose en Schaal Alignment

Dit is de kerninnovatie: het ontkoppelen van de schatting van rotatie, translatie en schaal in twee gespecialiseerde fasen om fysieke plausibiliteit te waarborgen:

Differentiable Rotation Optimizer (DRO): Deze fase optimaliseert de rotatie ( $r_i$ ) van elke instance rond de verticale as. Het gebruikt een differentiabele renderer om een getextureerde afbeelding, een zachte silhouet en een edge map te genereren, waarbij een tri-modale loss wordt geminimaliseerd (vormconsistentie via soft IoU, contour matching via Chamfer loss, en verschijningsgelijkenis via DINOv2 features) ten opzichte van de doel-instance.
Top-View Spatial Alignment (TSA): Deze fase verifieert translatie ( $t_i$ $t_{i}$ ) en schaal ( $s_i$ $s_{i}$ ) met behulp van fysieke priors:
- Stacking Priors: Een MLLM verifieert stapelrelaties om zwevende objecten of verticale interpenetratie te voorkomen.
- Top-View Synthese: Een generatief model synthetiseert een bovenaanzicht van de scène om 2D bounding boxes te extraheren, zodat objecten binnen de grenzen van de tafel blijven.
- RMA-Score: Een "Ratio-Matched and Area-Weighted Score" selecteert een betrouwbaar anker-object op basis van aspect ratio consistentie en pixeloppervlakte. Dit anker bepaalt een globale schalfactor om metrische 3D-schalen en horizontale translaties voor alle objecten af te leiden.

3. Interactieve Simulatie

De uitgelijnde instances worden samengesteld in een physics simulator (Isaac Sim). Collision geometries worden gegenereerd via convex decomposition, en fysieke eigenschappen (zwaartekracht, wrijving) worden geactiveerd. Het framework ondersteunt:

Taakgeneratie: Automatische generatie van manipulatietaken (bijv. "zet de beker in de doos") op basis van semantische labels.
Data Synthese: Executie van collision-vrije trajecten om multimodale data te verzamelen (RGB, joint states, acties).
Scène Expansie: In-scene bewerking (toevoegen, verwijderen, vervangen, herschikken) om diverse scène-varianten te genereren zonder het volledige proces opnieuw te doorlopen.

Belangrijkste Bijdragen

TabletopGen Framework: Een geautomatiseerde, training-vrije engine die simulatie-klare tabletop-scènes genereert vanuit tekst of enkele afbeeldingen, waarbij visuele realisme, instance-level interactiviteit en fysieke plausibiliteit simultaan worden bereikt.
Nieuw Alignment Methode: Een gedecoupleerde pose- en schaal alignment methode die gebruikmaakt van DRO voor precieze rotatie-optimalisatie en TSA voor fysiek beperkte translatie en schaal-inferentie, waarmee de beperkingen van single-view reconstructie worden overwonnen.
Uitgebreide Validatie: Uitgebreide experimenten die een state-of-the-art prestatie aantonen in visuele getrouwheid en fysieke validiteit, gevalideerd door een zero-shot real-to-sim-to-real policy transfer.

Resultaten

Kwantitatieve Prestaties: In vergelijking met image-driven baselines (ACDC, Gen3DSR, MIDI) en text-driven methoden (MesaTask, Holodeck-table), behaalde TabletopGen de hoogste scores in visuele/perceptuele metrieken (LPIPS, DINOv2, CLIP) en GPT-4o evaluaties.
Fysieke Plausibiliteit: TabletopGen verminderde de collision rates aanzienlijk. Waar baselines scène-level collision rates (Col_S) vertoonden tussen 67% en 98%, behaalde TabletopGen een Col_S van slechts 7,69% en een mesh-level collision rate (Col_O) van 0,42%.
Gebruikersstudie: In een studie met 128 deelnemers werd TabletopGen in 83,13% van de gevallen verkozen, waarbij het baselines significant overtrof op het gebied van Visuele Getrouwheid, Afbeelding Alignment en Fysieke Plausibiliteit.
Real-World Transfer: In een zero-shot real-to-sim-to-real experiment werden policies, die uitsluitend getraind waren op door TabletopGen gegenereerde synthetische data, ingezet op een echte AgileX PiPER arm. De policies behaalden hoge succespercentages (bijv. 84% voor het plaatsen van een mango, 80% voor het plaatsen van een aardbei) zonder enige real-world fine-tuning, wat de fysieke nauwkeurigheid van de gegenereerde scènes valideert.

Betekenis

Het artikel stelt dat TabletopGen dient als een betrouwbare data engine voor robotische manipulatie. Door de bottleneck van het genereren van fysiek plausibele, instance-level interactieve scènes op te lossen, maakt het de lage kosten en schaalbare synthese van multimodale manipulatiedata mogelijk. Deze capaciteit is cruciaal voor het trainen van generaliseerbare VLA-modellen en ondersteunt het "sim-to-real" paradigma, waardoor robots complexe manipulatie-policies kunnen leren in simulatie die effectief naar de fysieke wereld worden getransfereerd zonder uitgebreide real-world dataverzameling. Het vermogen van het framework om scène-expansie te ondersteunen via in-scene bewerking biedt verder een schaalbare route naar het dekken van diverse simulatie-omgevingen voor embodied AI.