ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing

ReSpace is een autoregressief generatief framework dat natuurlijke taal gebruikt voor het synthetiseren en bewerken van complexe 3D-interieurs met expliciete kamergrenzen, waarbij het via next-token predictie en voorkeursuitlijning superieure resultaten behaalt op objectaanvulling en ruimtelijke coherentie.

De kern

Stel je voor dat je een virtuele interieurontwerper hebt die niet alleen luistert naar wat je zegt, maar ook echt begrijpt hoe meubels in een kamer passen. Dat is precies wat ReSpace doet.

Hier is een uitleg van dit nieuwe systeem, vertaald naar alledaags Nederlands met een paar leuke vergelijkingen.

Wat is ReSpace eigenlijk?

ReSpace is een slimme computerprogrammatuur die 3D-ruimtes (zoals slaapkamers of woonkamers) kan ontwerpen en aanpassen, puur op basis van wat je in tekst schrijft.

Stel je voor dat je een virtuele kamer hebt. Vroeger was het heel moeilijk om die kamer te veranderen. Je moest vaak zelf sleutels draaien, codes invoeren of wachten tot een computer een heel nieuw ontwerp maakte. ReSpace werkt anders: het is alsof je tegen een intelligent assistent praat.

Hoe werkt het? (De Drie Magische Trucs)

1. De "Bouwpakket"-Taal (SSR)
De meeste computers zien een kamer als een wirwar van lijnen en pixels. ReSpace ziet het als een strakke bouwopdracht.

• De analogie: Denk aan een lego-instructieboekje. In plaats van te zeggen "zet hier een blokje", zegt ReSpace: "Hier staat een moderne, donkergrijze, gestoffeerde bank op positie X, Y, Z."
• Dit maakt het heel makkelijk om dingen te veranderen. Als je zegt "verwijder die plant", weet de computer precies welke plant hij moet pakken omdat alles in een duidelijke lijst staat, net als een boodschappenlijstje.

2. De "Oneindige Meubelkast" (Asset Sampling)
Soms wil je een bank, maar heb je geen idee welke bank je precies wilt.

• De analogie: Stel je voor dat je een magische meubelwinkel hebt met duizenden banken. ReSpace kijkt naar je zin ("Ik wil een donkergrijze, gestoffeerde bank") en zoekt in die winkel de perfecte match. Het kiest niet zomaar een willekeurige bank, maar zoekt er eentje die qua grootte en stijl precies past bij wat je vraagt.
• Het mooie is: het maakt niet uit welke meubels er in die winkel hangen. Je kunt de hele collectie vervangen, en ReSpace blijft werken alsof er niets is veranderd.

3. De "Slimme Bouwer" (SG-LLM)
Dit is het brein achter het systeem. Het is een speciaal getrainde taalcomputer (een LLM) die niet alleen tekst begrijpt, maar ook ruimtelijk inzicht heeft.

• De analogie: Stel je voor dat je een meubelverhuizer bent die ook een architect is. Als je zegt "zet de bank hier", kijkt deze verhuizer niet alleen naar de bank, maar ook naar de muren, de vloer en de andere meubels. Hij zorgt ervoor dat de bank niet door de muur zakt en niet te dicht tegen de lamp staat.
• In het verleden maakten computers vaak fouten: stoelen die half in de tafel zaten of lampen die door het plafond staken. ReSpace leert van deze fouten en wordt steeds beter in het voorkomen ervan.

Wat kan het allemaal?

Het systeem is ontworpen voor de echte wereld, waar mensen dingen stap voor stap aanpassen:

• Toevoegen: "Voeg een moderne, bolvormige lamp toe." -> Klik, en hij staat er.
• Verwijderen: "Haal die plant met de zwarte pot weg." -> Klik, en hij is weg.
• Vervangen: "Vervang de boekenkast door een houten kledingkast." -> Klik, en de kast is omgetoverd.
• Hele kamer maken: "Maak een slaapkamer met 7 objecten." -> Klik, en de hele kamer staat er.

Waarom is dit zo speciaal?

Vroeger waren deze systemen vaak als een stijve robot: ze konden alleen rechthoekige kamers maken of ze snapten niet goed wat je bedoelde als je "een gezellige hoek" vroeg.

ReSpace is als een creatieve ontwerper:

• Het kan kamers met rare vormen (niet alleen rechthoekig) aan.
• Het begrijpt subtiele details (zoals "donkergrijs" vs. "zwart").
• Het maakt minder fouten met de ruimte (geen muren die door elkaar heen lopen).

Samenvatting

ReSpace is als een virtuele interieurontwerper die niet alleen luistert, maar ook echt "ziet" waar meubels passen. Je geeft een opdracht in gewone taal, en het systeem bouwt, verwijdert of verwisselt meubels alsof het een magische knop is. Het maakt het ontwerpen van 3D-ruimtes voor games, virtual reality of interieurontwerp veel makkelijker en natuurlijker voor iedereen.

Technische samenvatting

Probleemstelling

Het genereren en bewerken van 3D-interieurscènes is een langdurige uitdaging in computergraphics. Bestaande methoden hebben verschillende beperkingen:

• Semantische vereenvoudiging: Veel modellen gebruiken "one-hot" classificaties (bijv. alleen "stoel" of "tafel") in plaats van rijke, natuurlijke taalbeschrijvingen.
• Gebrek aan redenering: Methodes negeren vaak de exacte grenzen van de kamer of vertrouwen op vaste vloerplannen die complexe, niet-rechthoekige lay-outs niet kunnen hanteren.
• Beperkte bewerkingsmogelijkheden: Bestaande LLM-gebaseerde (Large Language Model) methoden missen vaak directe bewerkingsfuncties (zoals objecten verwijderen of vervangen) of vertrouwen op zwakke ruimtelijke redenering.
• Geometrische fouten: Veel systemen gebruiken 3D-bounding boxes voor evaluatie, wat niet in staat is om fijne geometrische interacties te detecteren (bijv. een stoel die deels onder een tafel staat) of kleine overlappingen.

Het doel is een systeem te creëren dat 3D-interieurs kan synthetiseren en bewerken via natuurlijke taalopdrachten, met name gericht op iteratieve verfijning (objecten toevoegen, verwijderen, vervangen) in plaats van alleen eenmalige generatie.

Methodologie: ReSpace

ReSpace is een generatief framework dat tekstgedreven 3D-scènes synthetiseert en bewerkt door gebruik te maken van autoregressieve taalmodellen. De kerncomponenten zijn:

1. Gestructureerde Scène Representatie (SSR)
In plaats van pixels of voxelnetwerken, gebruikt ReSpace een compacte, JSON-gebaseerde representatie. Deze bevat:

• Ruimgrenzen: Expliciete, geordende lijsten van 3D-coördinaten voor de vloer en het plafond (ondersteunend voor niet-rechthoekige ruimtes).
• Objecten: Een lijst van objecten, elk beschreven door een natuurlijke taaltekst (kleur, materiaal, stijl), grootte, positie, rotatie en een ID voor het 3D-asset.
• Voordeel: Deze representatie is "asset-agnostisch" (onafhankelijk van specifieke 3D-modellen) en lichtgewicht, waardoor directe bewerking mogelijk is.

2. Autoregressieve Generatie via SG-LLM
Het proces wordt geframed als een next-token prediction taak:

• Een gespecialiseerd taalmodel, SG-LLM (Scene Graph LLM), wordt getraind om objecten toe te voegen aan een bestaande scène op basis van een tekstprompt.
• Het model voert supervised fine-tuning (SFT) uit op instructies.
• Voor het toevoegen van objecten genereert het model de token-sequentie voor het nieuwe object (beschrijving, positie, etc.).
• Een stochastische asset-sampler kiest vervolgens een concreet 3D-mesh uit een catalogus dat past bij de gegenereerde beschrijving en grootte, gebaseerd op semantische (SigLIP) en geometrische (Gaussian similarity) overeenkomsten.

3. Bewerking en Verwijdering

• Toevoegen: Handled door de SG-LLM.
• Verwijderen/Vervangen: Een zero-shot LLM (zoals GPT-4o) fungeert als interface. Deze deconstrueert complexe gebruikersinstructies in atomische commando's (bijv. "verwijder de plant") en bewerkt de JSON-SSR direct voor verwijderingen. Voor vervangingen wordt eerst verwijderd en daarna toegevoegd.

4. Evaluatiemetric: Voxelization-Based Loss (VBL)
De auteurs introduceren een nieuwe metric om geometrische fouten nauwkeuriger te meten dan met alleen bounding boxes:

• De scène en objecten worden omgezet in een voxelgrid.
• OOB (Out-of-Bounds): Telt voxels die buiten de kamerwanden vallen.
• MBL (Mesh Boundary Loss): Meet overlappingen tussen objecten (bijv. een stoel die door een tafel heen gaat).
• VBL: De som van OOB en MBL. Deze metric wordt gebruikt als een "verifieerbare beloning" (reward) tijdens het trainen.

5. Training met Preferentie-Alignement (RLVR)
Na SFT wordt het model verder verfijnd met Reinforcement Learning with Verifiable Rewards (RLVR), specifiek via Rejection Sampling Fine-Tuning (RFT). Het model genereert meerdere kandidaat-antwoorden; alleen die welke voldoen aan strenge criteria (lage VBL, hoge prompt-match score, juiste grootte) worden gebruikt voor verdere training. Dit voorkomt "reward hacking" en verbetert de menselijke perceptie van de kwaliteit.

Belangrijkste Bijdragen

1. ReSpace Framework: Een nieuw systeem voor tekstgedreven, autoregressieve synthese en bewerking van 3D-interieurs, ondersteunend voor toevoeging, verwijdering en vervanging.
2. Gestructureerde Representatie (SSR): Een JSON-formaat met expliciete ruimtelijke grenzen en natuurlijke taalbeschrijvingen, wat asset-agnostische implementatie mogelijk maakt.
3. Voxelization-Based Loss (VBL): Een nieuwe evaluatiemetric die fijne geometrische interacties en grensoverschrijdingen detecteert, superieur aan traditionele bounding-box metrics.
4. RLVR Training: Een pijplijn die SFT combineert met preferentie-alignement op basis van verifieerbare ruimtelijke rewards, wat leidt tot state-of-the-art resultaten.
5. Superieure Prestaties: Het model presteert beter dan bestaande methoden op object-plaatsing en bereikt een hogere menselijke kwaliteitsscore voor volledige scènes, zelfs zonder end-to-end training op volledige scènes.

Resultaten

Experimenten zijn uitgevoerd op het 3D-FRONT dataset:

• Object Toevoeging: ReSpace overtreft state-of-the-art methoden (zoals ATISS en Mi-Diff) aanzienlijk op alle metrics, inclusief layout-fouten (VBL) en prompt-volging (PMS).
• Volledige Scène Synthese: Hoewel ReSpace niet end-to-end is getraind voor volledige scènes, bereikt het een 75.3% win-rate in menselijke evaluaties tegenover de beste concurrenten (Mi-Diff: 56.7%). Mensen prefereren de lay-outkwaliteit van ReSpace, ondanks dat de FID-scores (vergelijking met trainingsdata) iets hoger zijn.
• Bewerking: Het systeem kan succesvol objecten verwijderen en vervangen, hoewel de nauwkeurigheid daalt bij zeer lange scènes (>500 woorden) door contextlimieten van het gebruikte 8B model.
• Test-Time Compute: Het gebruik van technieken zoals "Best-of-N" (meerdere pogingen) en rotatie-augmentatie verbetert de kwaliteit aanzienlijk en verlaagt de VBL, zonder de runtime onredelijk te verhogen.

Betekenis en Impact

ReSpace markeert een verschuiving in 3D-scène synthese:

• Van generatie naar bewerking: Het benadrukt dat interieurontwerp een iteratief proces is. De mogelijkheid om scènes stap-voor-stap te bewerken via natuurlijke taal is praktischer dan eenmalige generatie.
• Ruimtelijk Redeneren: Het bewijst dat taalmodellen effectief ruimtelijke redenering kunnen leren via gestructureerde tekst (JSON) zonder directe visuele input of mesh-modellering.
• Flexibiliteit: Door de asset-agnostische aanpak kan het systeem worden toegepast op willekeurige catalogi van 3D-objecten, wat essentieel is voor real-world toepassingen zoals virtuele staging en retail.
• Nieuwe Evaluatiestandaard: De introductie van Voxelization-Based Loss biedt een robuustere manier om de fysieke haalbaarheid van gegenereerde scènes te beoordelen.

Kortom, ReSpace combineert de kracht van Large Language Models met strikte ruimtelijke constraints om een nieuw niveau van controle en realisme in 3D-interieurontwerp te bereiken.