ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing

Das Paper stellt ReSpace vor, ein autoregressives, textgesteuertes Generierungsframework für 3D-Innenszenen, das durch eine kompakte, strukturierte Darstellung mit expliziten Raumgrenzen und eine auf Präferenzabstimmung optimierte Sprachmodellierung sowohl die Synthese als auch die natürliche Sprachsteuerung von Szenenbearbeitungen wie dem Hinzufügen, Entfernen oder Tauschen von Objekten ermöglicht.

Das Wesentliche

Stell dir vor, du bist Innenarchitekt, aber statt mit einem Bleistift und Papier arbeitest du mit einem magischen Sprachzauberstab. Du sagst einfach: „Füge eine gemütliche, dunkelgraue Couch hinzu" oder „Nimm die Pflanze weg", und schon erscheint das neue Möbelstück perfekt im Raum.

Das ist im Kern das, was die Forscher mit ihrer neuen Methode namens ReSpace erreicht haben. Hier ist die Erklärung, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Das Problem: Die alten Architekten waren zu stur

Bisherige Computer-Programme für 3D-Räume waren wie sehr strenge, aber etwas dusselige Assistenten:

• Sie verstanden nur einfache Befehle wie „Stuhl" oder „Tisch" (wie ein One-Hot-Code).
• Wenn du den Raum ändern wolltest, mussten sie oft alles neu berechnen, als würde man ein ganzes Haus abreißen, nur um einen Stuhl zu verschieben.
• Sie ignorierten oft die Wände oder dachten, jeder Raum sei ein perfektes Rechteck.
• Andere Methoden, die auf großen Sprachmodellen (wie Chatbots) basierten, konnten zwar tolle Ideen haben, aber sie konnten die Möbel nicht wirklich hinstellen oder wegnehmen, ohne den ganzen Raum zu zerstören.

2. Die Lösung: ReSpace – Der intelligente Raum-Manager

ReSpace ist wie ein hochintelligenter Assistent, der nicht nur versteht, was du sagst, sondern auch genau weiß, wo die Wände sind und wie Möbel zusammenpassen.

Wie funktioniert das? Drei einfache Schritte:

Schritt A: Der Bauplan (Die „Strukturierte Szene")

Statt dass der Computer ein riesiges, unübersichtliches 3D-Modell aus Millionen von Punkten berechnet, erstellt ReSpace einen klaren, textbasierten Bauplan (ein JSON-Dokument).

• Die Analogie: Stell dir das wie eine Einkaufsliste für einen Umzug vor. Darauf steht nicht nur „Sofa", sondern: „Sofa, grau, 2 Meter lang, genau hier in der Ecke, mit der Rückseite zur Wand."
• Dieser Plan enthält auch die genauen Maße des Raumes (Wände, Decke). Das ist wichtig, damit nichts durch die Wand fällt.

Schritt B: Der Zauberer (Das Sprachmodell)

Hier kommt die Magie ins Spiel. Der Computer nutzt ein großes Sprachmodell (einen „KI-Gelehrten"), das wie ein erfahrener Innenarchitekt denkt.

• Der Trick: Anstatt den ganzen Raum neu zu malen, denkt der Computer: „Okay, der Nutzer will eine Lampe hinzufügen. Wo passt sie hin, ohne dass sie in den Tisch knallt oder durch die Decke ragt?"
• Er berechnet die Position Wort für Wort (wie beim Schreiben eines Textes), bis der perfekte Platz gefunden ist. Das nennt man „autoregressiv" – er fügt Dinge nacheinander hinzu, wie Perlen auf eine Schnur.

Schritt C: Der Material-Lieferant (Die „Asset-Agnostik")

Das ist ein geniales Detail: Der Computer plant den Raum erst einmal nur mit Beschreibungen. Er sagt: „Hier kommt ein moderner Holzschrank." Erst nachdem der Platz feststeht, sucht er sich aus einer riesigen Datenbank (einem digitalen Möbelkatalog) ein passendes 3D-Modell aus.

• Die Analogie: Es ist wie beim Bauen mit Lego. Zuerst entscheidest du: „Hier kommt ein rotes 2x4-Steinchen." Erst danach suchst du dir das passende rote Steinchen aus deinem Kasten. Du kannst also jederzeit die Möbel austauschen, ohne den ganzen Plan neu zu machen.

3. Der neue Maßstab: Der „Voxel-Test"

Früher haben Forscher gemessen, ob Möbel sich berühren, indem sie unsichtbare Boxen um die Möbel gelegt haben (wie Kartons). Das war ungenau.

• Das Problem: Eine Box um einen Stuhl ist groß. Wenn die Box unter den Tisch ragt, dachte der Computer: „Oh nein, Kollision!" Aber in Wirklichkeit passt der Stuhl perfekt unter den Tisch.
• Die neue Methode (Voxelisierung): ReSpace schaut sich den Raum wie ein riesiges 3D-Pixel-Raster an (wie ein riesiges Gummibärchen-Netz). Es prüft jeden einzelnen kleinen Würfel (Voxel).
• Das Ergebnis: Der Computer sieht genau, dass der Stuhl wirklich unter dem Tisch passt und keine Kollision vorliegt. Das macht die Ergebnisse viel realistischer.

4. Was kann ReSpace alles?

• Hinzufügen: „Stell eine Pflanze in die Ecke." -> Klick, fertig.
• Entfernen: „Nimm die Vase weg." -> Klick, weg.
• Tauschen: „Ersetze den alten Schrank durch einen modernen Kleiderschrank." -> Der alte verschwindet, der neue erscheint an der gleichen Stelle.
• Komplexe Räume: Es funktioniert auch in Räumen mit schiefen Wänden oder Ecken, nicht nur in perfekten Rechtecken.

Zusammenfassung

ReSpace ist wie ein digitaler Innenarchitekt, der:

1. Deine Sprache versteht (natürliche Sprache statt Code).
2. Den Raum genau kennt (Wände und Grenzen).
3. Schritt für Schritt plant (erst der Plan, dann die Möbel).
4. Und dabei sehr genau prüft, ob alles physikalisch Sinn macht (kein Durchfallen durch den Boden).

Das Ergebnis: Du kannst mit einem einfachen Chat-Dialog deinen virtuellen Raum gestalten, und der Computer sorgt dafür, dass alles wie in der echten Welt zusammenpasst. Das ist ein riesiger Schritt weg von starren, automatisierten Prozessen hin zu einem echten, kreativen Werkzeug für Designer und Hobbyisten.

Technische Zusammenfassung

1. Problemstellung

Die automatische Synthese und Bearbeitung von 3D-Innenszenen ist eine langjährige Herausforderung in der Computergrafik. Bestehende Ansätze leiden unter mehreren wesentlichen Einschränkungen:

• Semantische Vereinfachung: Viele Modelle nutzen One-Hot-Encodings (z. B. nur „Stuhl" oder „Tisch"), was feine semantische Nuancen (Material, Stil, Farbe) ignoriert.
• Fehlende Bearbeitungsfunktionen: Die meisten Methoden sind auf die einmalige Generierung ganzer Szenen („One-Shot") ausgelegt und bieten keine Möglichkeit, Szenen schrittweise durch natürliche Sprache zu bearbeiten (Hinzufügen, Entfernen, Austauschen von Objekten).
• Räumliche Einschränkungen: Viele Ansätze ignorieren komplexe Raumgrenzen (nicht-rechteckige Grundrisse) oder verlassen sich auf feste Raster, die bei komplexen Layouts versagen.
• Schwache räumliche Logik: LLM-basierte Agenten nutzen oft implizite Weltmodelle, die für präzise 3D-Platzierung und das Vermeiden von Kollisionen unzureichend sind.

Das Ziel von ReSpace ist es, einen Framework zu schaffen, der 3D-Innenszenen basierend auf natürlichen Sprachbefehlen sowohl synthetisiert als auch iterativ bearbeitet, wobei explizite Raumgrenzen und feine semantische Details berücksichtigt werden.

2. Methodik

ReSpace kombiniert strukturierte Szenendarstellungen, autoregressive Sprachmodelle und probabilistische Asset-Auswahl.

A. Strukturierte Szenendarstellung (Structured Scene Representation - SSR)

Anstelle von rohen Meshes oder Voxel-Grids verwendet ReSpace eine kompakte, JSON-basierte Darstellung:

• Raumgrenzen: Explizit definiert als geordnete Punktmengen für Decke (bounds_top) und Boden (bounds_bottom), die nicht-rechteckige Geometrien unterstützen.
• Objekte: Jedes Objekt wird als Dictionary mit folgenden Attributen gespeichert:
  • desc: Natürlichsprachliche Beschreibung (Stil, Material, Farbe).
  • size, pos, rot: Exakte numerische Werte für Größe, Position und Rotation (Quaternionen).
  • sampled_asset_jid: Ein Verweis auf das gewählte 3D-Asset aus einer Katalogdatenbank.
• Vorteil: Diese Darstellung ist asset-agnostisch (das Layout ist vom konkreten 3D-Modell entkoppelt), leichtgewichtig und direkt editierbar.

B. Autoregressive Szenenmanipulation als Next-Token-Vorhersage

Die Szene wird als Sequenz von Tokens behandelt. Das Kernmodell, SG-LLM (Scene Graph LLM), ist ein spezialisiertes Sprachmodell, das die Aufgabe als Next-Token Prediction formuliert:

• Eingabe: Ein bestehender SSR-Zustand (JSON) + ein natürlichsprachlicher Prompt (z. B. „Füge eine moderne Lampe hinzu").
• Ausgabe: Die Tokens für das neue Objekt, die direkt in den JSON-String eingefügt werden.
• Workflow:
  1. Ein Zero-Shot LLM (z. B. GPT-4o) zerlegt komplexe Benutzeranweisungen in atomare Befehle (Hinzufügen/Entfernen).
  2. Für Hinzufügen generiert das trainierte SG-LLM die Objekt-Parameter.
  3. Für Entfernen bearbeitet das Zero-Shot LLM den SSR-JSON-String direkt.
  4. Asset-Sampling: Basierend auf der generierten Beschreibung und Größe wird stochastisch ein passendes 3D-Modell aus einem Katalog ausgewählt (unter Verwendung von SigLIP für semantische Ähnlichkeit und Gaußschen Ähnlichkeiten für die Größenanpassung).

C. Trainingspipeline und Preference Alignment

Das SG-LLM wird in zwei Phasen trainiert:

1. Supervised Fine-Tuning (SFT): Das Modell lernt, Objekte basierend auf Prompts und dem aktuellen Szenenzustand hinzuzufügen.
2. Preference Alignment (RLVR): Um die Qualität zu steigern, wird Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) eingesetzt. Da menschliches Feedback teuer ist, wird eine verifizierbare Belohnungsfunktion genutzt, die auf einem neuen Metrik basiert (siehe unten). Das Modell wird optimiert, um Szenen zu erzeugen, die diese Kriterien erfüllen.

D. Neue Evaluierungsmetrik: Voxelization-Based Loss (VBL)

Herkömmliche Metriken basieren oft auf 3D-Bounding-Boxen, die realistische Platzierungen (z. B. ein Stuhl, der teilweise unter einem Tisch steht) nicht erfassen können.

• VBL voxelisiert die Raumgrenzen und die 3D-Meshes der Objekte in ein feinkörniges Gitter.
• Es berechnet zwei Fehlerarten:
  1. Out-of-Bounds (OOB): Voxel, die außerhalb der Raumgrenzen liegen.
  2. Mesh Boundary Loss (MBL): Überlappende Voxel zwischen verschiedenen Objekten (Kollisionen).
• Diese Metrik dient als strikte Belohnungssignale während des Trainings und als Hauptmetrik für die Evaluation.

3. Schlüsselbeiträge

1. ReSpace Framework: Ein neuartiger Ansatz für textgesteuerte, autoregressive Synthese und Bearbeitung von 3D-Innenszenen, der Hinzufügen, Entfernen und Austauschen von Objekten unterstützt.
2. Strukturierte Szenendarstellung (SSR): Eine JSON-basierte Abstraktion, die explizite Raumgrenzen und natürliche Sprachbeschreibungen kombiniert, was eine asset-agnostische Bereitstellung ermöglicht.
3. Spezialisiertes SG-LLM mit RLVR: Ein Trainingspipeline, die SFT mit Preference Alignment (insbesondere Rejection Sampling Fine-Tuning - RFT) kombiniert, um die Platzierungsqualität zu maximieren.
4. Voxelization-Based Loss (VBL): Eine neue, geometrie-bewusste Metrik, die feine räumliche Interaktionen und Kollisionen präziser bewertet als herkömmliche Bounding-Box-Metriken.

4. Ergebnisse

Die Experimente wurden auf dem 3D-FRONT Datensatz durchgeführt und umfassten Aufgaben wie das Hinzufügen einzelner Objekte, das Entfernen, sequenzielle Bearbeitung und die vollständige Szenensynthese.

• Objekt-Hinzufügen: ReSpace übertrifft State-of-the-Art-Methoden (wie ATISS und Mi-Diff) signifikant in allen Metriken, insbesondere bei der Reduzierung von Layout-Verletzungen (VBL). Die Methode ist robust gegenüber nicht-rechteckigen Grundrissen.
• Menschliche Bewertung: Bei der vollständigen Szenensynthese erzielt ReSpace eine Siegesrate von 75,3% in direkten Vergleichen gegen andere Methoden (darunter LayoutGPT, LayoutVLM, Mi-Diff), was über 18 Prozentpunkte besser ist als der zweitbeste Ansatz. Dies zeigt, dass die menschliche Wahrnehmung von Qualität stark von korrekten Layouts profitiert, auch wenn die reinen FID-Scores (Verteilungsnähe) leicht variieren.
• Bearbeitung: Das System kann komplexe, mehrstufige Bearbeitungsszenarien (Hinzufügen und Entfernen in Sequenzen) erfolgreich handhaben. Die Genauigkeit bleibt auch bei längeren Sequenzen stabil, wenn Test-Time-Compute-Techniken (wie Best-of-N Sampling und Rotation) angewendet werden.
• Effizienz: Trotz der komplexen Pipeline ist ReSpace konkurrenzfähig in der Laufzeit und deutlich schneller als einige optimierungsbasierte Baselines.

5. Bedeutung und Ausblick

ReSpace markiert einen Paradigmenwechsel in der 3D-Szenengenerierung:

• Von „One-Shot" zu „Iterativ": Es adressiert die reale Anforderung von Innenarchitekten und Designern, Szenen schrittweise zu verfeinern, anstatt nur einmalige Generierungen zu liefern.
• Präzision durch Struktur: Durch die Entkopplung der semantischen Beschreibung von der Asset-Auswahl und die Nutzung expliziter geometrischer Grenzen ermöglicht das System eine viel höhere räumliche Genauigkeit als rein generative oder rein LLM-basierte Ansätze.
• Skalierbarkeit: Der Ansatz ist nicht auf einen festen Asset-Katalog beschränkt und kann theoretisch auf beliebige 3D-Datenbanken angewendet werden, was ihn für reale Anwendungen (z. B. Virtual Staging, Robotik) hochrelevant macht.

Zusammenfassend demonstriert ReSpace, dass die Kombination aus strukturierten Darstellungen, spezialisierten Sprachmodellen und verifizierbaren geometrischen Belohnungen zu überlegenen Ergebnissen in der 3D-Innenszenengenerierung führt.