💻 computer science

TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation

TabletopGen ist eine trainingsfreie, automatisierte Engine, die physikalisch plausible und interaktive Tischszenen aus Text oder Einzelbildern generiert, um die groß angelegte, hochpräzise Synthese von Daten für die robotische Manipulation sowie den Zero-Shot-Transfer auf die reale Welt zu ermöglichen.

Ursprüngliche Autoren: Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, eine unordentliche Küchenarbeitsplatte aufzuräumen. Um dies sicher und kostengünstig zu tun, würden Sie lieber in einem Videospiel (einer Simulation) üben, als das Risiko einzugehen, echtes Geschirr zu zerbrechen. Aber hier liegt das Problem: Die meisten Videowelten sind entweder zu simpel (wie ein flacher Tisch mit schwebenden Objekten) oder zu chaotisch (Objekte, die durcheinandergleiten oder der Schwerkraft trotzen). Wenn der Roboter in einer kaputten Welt übt, lernt er schlechte Angewohnheiten und scheitert, wenn er versucht, die Aufgabe im echten Leben zu erledigen.

TabletopGen ist ein neues Werkzeug, das wie ein „magischer Architekt“ für die Trainingswelten von Robotern fungiert. Es baut realistische, physikalisch korrekte Tischoberflächen von Grund auf neu, indem es lediglich eine Textbeschreibung liest oder ein einzelnes Foto betrachtet.

So funktioniert es, unterteilt in drei einfache Schritte:

1. Der „Bildhauer“ (Generative Instance Extraction)

Stellen Sie sich vor, Sie haben ein Foto eines unordentlichen Schreibtisches. Sie möchten jedes Objekt in diesem Foto (einen Kaffeebecher, einen Laptop, einen Tacker) in ein 3D-Objekt verwandeln, das man aufheben kann.

Das Problem: Wenn Sie das Foto einfach nur kopieren, sehen die Objekte flach aus oder haben Löcher, weil man die Rückseite nicht sehen kann.
Die TabletopGen-Lösung: Es agiert wie ein geschickter Bildhauer. Es betrachtet das Foto, identifiziert jedes Objekt und „füllt die Lücken auf“, um ein vollständiges, solides 3D-Modell für jedes einzelne Objekt zu erstellen. Dann stellt es sie alle aufrecht hin, wie ein Töpfer, der Tongefäße auf einer Drehscheibe ausrichtet, damit sie bereit sind, auf einen Tisch platziert zu werden.

2. Der „Feng-Shui-Meister“ (Pose and Scale Alignment)

Nun haben Sie einen Stapel von 3D-Objekten. Sie müssen sie auf dem Tisch anordnen, damit sie wie auf dem Foto aussehen und nicht in der Luft schweben oder durch das Holz einsinken.

Das Problem: Wenn Sie nur raten, wo Sie sie platzieren sollen, liegt vielleicht ein Buch verkehrt herum oder ein Becher schwebt zwei Fuß über dem Tisch.
Die TabletopGen-Lösung: Es verwendet zwei spezielle Werkzeuge, um die Anordnung perfekt zu machen:
- Der Rotations-Tuner (DRO): Er dreht jedes Objekt leicht, bis seine Form und seine Schatten perfekt mit dem Originalfoto übereinstimmen.
- Der Draufsicht-Planer (TSA): Er stellt sich vor, direkt von oben auf den Tisch zu schauen (wie eine Drohne). Er nutzt „gesunden Menschenverstand“ bezüglich der Physik (z. B. „Ein Becher steht auf einem Tisch, nicht in ihm“), um genau zu bestimmen, wie groß die Objekte sein müssen und wo sie sitzen sollten, damit sie nicht gegeneinander prallen. Er wählt ein zuverlässiges Objekt als „Maßstab“, um sicherzustellen, dass alles die richtige Größe hat.

3. Der „Spiele-Entwickler“ (Interactive Simulation)

Sobiel die Objekte angeordnet sind, lässt das Werkzeug sie in eine Physik-Engine (eine Videospiel-Engine) fallen.

Das Ergebnis: Es verwandelt die Szene in ein spielbares Level. Der Roboter kann nun versuchen, den Becher „aufzuheben“ oder das Buch zu „bewegen“. Wenn der Roboter versucht, ein Buch vom Tisch zu stoßen, fällt es herunter. Wenn er versucht, ein Buch durch eine Wand zu drücken, prallt es ab.
Der Bonus: Da die Objekte separat und unabhängig sind, können Sie ganz einfach einen Kaffeebecher gegen eine Teekanne austauschen oder einen Laptop auf die andere Seite bewegen, wodurch Sie augenblicklich tausende neue Trainingsszenarien erschaffen, ohne die ganze Welt neu bauen zu müssen.

Warum ist das wichtig?

Das Paper beweist, dass Roboter, die in diesen „magischen Architekten“-Welten trainiert wurden, tatsächlich die Aufgabe in der realen Welt bewältigen können.

Der Test: Sie nahmen ein Foto eines echten Tisches, bauten eine Simulation dieses Tisches, trainierten einen Roboterarm in der Simulation, um Obst und Blöcke zu bewegen, und sagten dem Roboter dann, er solle exakt dieselbe Aufgabe auf dem echten Tisch erledigen.
Das Ergebnis: Der Roboter war erfolgreich! Er benötigte kein zusätzliches Training auf dem echten Tisch. Dies zeigt, dass der „magische Architekt“ eine Welt gebaut hat, die genau genug war, um dem Roboter reale Fähigkeiten beizubringen.

Kurz gesagt: TabletopGen ist ein Werkzeug, das aus einem einzigen Foto oder einem Satz einen perfekten, physikalisch korrekten Trainingsplatz für Roboter macht, sodass diese komplexe Aufgaben schnell und sicher lernen können, ohne dass eine teure Datenerhebung in der realen Welt nötig ist.

Technisches Resümee: TabletopGen

Problemstellung

Die robotische Manipulation, insbesondere in Tischumgebungen, ist stark auf groß angelegte, hochwertige Interaktionsdaten für das Training von Vision-Language-Action (VLA)-Modellen angewiesen. Während die Datenerfassung in der realen Welt kostspielig und schwer skalierbar ist, bietet die Simulation eine vielversprechende Alternative. Bestehende Methoden zur 3D-Szenengenerierung scheitern jedoch daran, effektiv simulationsbereite Tischumgebungen zu erzeugen.

Retrieval-basierte Methoden leiden unter unzureichender Diversität und geometrischen Unstimmigkeiten aufgrund fixer Asset-Bibliotheken.
LLM-basierte, textgesteuerte Methoden konzentrieren sich typischerweise auf Raumlayouts im großen Maßstab und versäumen es, die hochdichte, funktionale Anordnung kleiner Objekte und die spezifischen semantischen Randbedingungen zu berücksichtigen, die für Tischoberflächen charakteristisch sind.
Methoden zur Rekonstruktion aus Einzelbildern erzeugen oft physikalisch unplausible Layouts (z. B. Interpenetration oder schwebende Objekte) sowie unvollständige Meshes aufgrund von Verdeckungen aus einer einzigen Perspektive und eines Mangels an physikalischen Prioren.

Infolgedessen können diese Szenen nicht zuverlässig in Physiksimulatoren für die Bewegungsplanung importiert werden, was einen Flaschenhals für die automatisierte Synthese von Manipulationsdaten darstellt.

Methodik

TabletopGen ist ein trainingsfreies, vollautomatisches Framework, das hochgradig realistische, instanzbasierte, interaktive Tischszenen aus einer Textbeschreibung oder einem einzelnen Bild generiert. Das Framework operiert in drei progressiven Stufen:

1. Generative Instanzextraktion

Das System wandelt zunächst Texteingaben in detaillierte Prompts um und synthetisiert ein Referenzbild (oder verwendet ein bereitgestelltes Bild). Anschließend extrahiert und rekonstruiert es 3D-Assets:

Segmentierung & Vervollständigung: Ein Multimodales Großes Sprachmodell (MLLM) führt eine Open-Vocabulary-Kategorieerkennung durch, kombiniert mit GroundedSAM-v2 für die Instanzmaskierung. Um Okklusionen zu adressieren, vervollständigt und zeichnet ein multimodales generatives Modell die Instanzmasken neu, anstatt traditionelles Inpainting zu verwenden.
3D-Rekonstruktion & Kanonisierung: Die vervollständigten 2D-Instanzen werden mittels Image-to-3D-Modellen in 3D-Meshes rekonstruiert. Entscheidend ist, dass das System eine Rotationskorrektur anwendet, um die lokale vertikale Achse jeder Instanz an die Welt-Z-Achse (Z-up) auszurichten, wodurch sichergestellt wird, dass die Assets „Z-up kanonisiert“ und direkt platzierbar sind.

2. Pose- und Skalenanpassung

Dies ist die Kerninnovation, bei der die Schätzung von Rotation, Translation und Skala in zwei spezialisierte Phasen entkoppelt wird, um die physikalische Plausibilität zu gewährleisten:

Differentiable Rotation Optimizer (DRO): In dieser Phase wird die Rotation ( $r_i$ ) jeder Instanz um die vertikale Achse optimiert. Es wird ein differentieller Renderer verwendet, um ein texturiertes Bild, eine weiche Silhouette und eine Kantenkarte zu erzeugen, welche die tri-modale Verlustfunktion (Formkonsistenz via Soft IoU, Konturabgleich via Champtel-Loss und Erscheinungsähnlichkeit via DINOv2-Features) gegen die Zielinstanz minimiert.
Top-View Spatial Alignment (TSA): Diese Phase inferiert Translation ( $t_i$ $t_{i}$ ) und Skala ( $s_i$ $s_{i}$ ) unter Verwendung physikalischer Prioren:
- Stacking-Prioren: Ein MLLM leitet Stapelbeziehungen ab, um schwebende Objekte oder vertikale Interpenetration zu verhindern.
- Draufsicht-Synthese (Top-View Synthesis): Ein generatives Modell synthetisiert eine Draufsicht der Szene, um 2D-Bounding-Boxen zu extrahieren, wodurch sichergestellt wird, dass die Objekte innerhalb der Tischgrenzen bleiben.
- RMA-Score: Ein „Ratio-Matched and Area-Weighted Score“ wählt ein zuverlässiges Ankerobjekt basierend auf dem Aspektverhältnis und der Pixelfläche aus. Dieser Anker bestimmt einen globalen Skalierungsfaktor, um die metrischen 3D-Skalen und horizontalen Translationen aller Objekte abzuleiten.

3. Interaktive Simulation

Die ausgerichteten Instanzen werden in einem Physiksimulator (Isaac Sim) zusammengeführt. Kollisionsgeometrien werden mittels konvexer Zerlegung erstellt, und physikalische Eigenschaften (Gravitation, Reibung) werden aktiviert. Das Framework unterstützt:

Aufgabengenerierung: Automatische Erstellung von Manipulationsaufgaben (z. B. „stelle die Tasse in die Box“) basierend auf semantischen Labels.
Datensynthese: Ausführung kollisionsfreier Trajektorien zur Sammlung multimodaler Daten (RGB, Gelenkzustände, Aktionen).
Szenenerweiterung: In-Szenen-Editierung (Hinzufügen, Entfernen, Ersetzen, Umstellen), um diverse Szenenvarianten zu generieren, ohne die gesamte Pipeline erneut durchlaufen zu müssen.

Zentrale Beiträge

TabletopGen-Framework: Eine automatisierte, trainingsfreie Engine, die simulationsbereite Tischszenen aus Text oder Einzelbilden generiert und dabei visuelle Realität, instanzbasierte Interaktivität und physikalische Plausibilität gleichzeitig erreicht.
Neuartige Alignment-Methode: Ein entkoppelter Ansatz zur Pose- und Skalenanpassung, der DRO für präzise Rotationsoptimierung und TSA für physikalisch beschränkte Translation und Skaleninferenz nutzt, um die Einschränkungen der Einzelansichtsrekonstruktion zu überwinden.
Umfassende Validierung: Umfangreiche Experimente demonstrieren die State-of-the-Art-Leistung in visueller Fidelität und physikalischer Validität, validiert durch einen Zero-Shot Real-to-Sim-to-Real-Transfer.

Ergebnisse

Quantitative Leistung: Im Vergleich mit bildgesteuerten Baselines (ACDC, Gen3DSR, MIDI) und textgesteuerten Methoden (MesaTask, Holodeck-table) erreichte TabletopGen die höchsten Werte in visuellen/perzeptuellen Metriken (LPIPS, DINOv2, CLIP) sowie in GPT-4o-Evaluierungen.
Physikalische Plausibilität: TabletopGen reduzierte die Kollisionsraten signifikant. Während Baselines Szenenkollisionsraten (Col_S) zwischen 67 % und 98 % aufwiesen, erreichte TabletopGen eine Col_S von nur 7,69 % und eine Mesh-Ebene-Kollisionsrate (Col_O) von 0,42 %.
Nutzerstudie: In einer Studie mit 128 Teilnehmern wurde TabletopGen in 83,13 % der Fälle bevorzugt, wobei es die Baselines in den Bereichen Visuelle Fidelität, Bildanpassung und Physikalische Plausibilität deutlich übertraf.
Realwelt-Transfer: In einem Zero-Shot Real-to-Sim-to-Real-Experiment wurden ausschließlich mit den von TabletopGen generierten synthetischen Daten trainierte Policies auf einem realen AgileX PiPER-Arm eingesetzt. Die Policies erreichten hohe Erfolgsraten (z. B. 84 % beim Platzieren einer Mango, 80 % beim Platzieren einer Erdbeere) ohne jegliches Fine-Tuning in der realen Welt, was die physikalische Genauigkeit der generierten Szenen validiert.

Bedeutung

Das Paper behauptet, dass TabletopGen als zuverlässige Data Engine für die robotische Manipulation dient. Durch die Lösung des Engpasses bei der Generierung physikalisch plausibler, instanzbasierter interaktiver Szenen ermöglicht es die kostengünstige, skalierbare Synthese von multimodalen Manipulationsdaten. Diese Fähigkeit ist entscheidend für das Training generalisierbarer VLA-Modelle und unterstützt das „Sim-to-Real“-Paradigma, indem es Robotern ermöglicht, komplexe Manipulationsstrategien in der Simulation zu erlernen, die ohne umfangreiche reale Datenerhebung effektiv in die physische Welt transferierbar sind. Die Fähigkeit des Frameworks, die Szenenerweiterung durch In-Szenen-Editierung zu unterstützen, bietet zudem einen skalierbaren Weg zur Abdeckung diverser Simulationsumgebungen für Embodied AI.