DreamAnywhere: Object-Centric Panoramic 3D Scene Generation

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een magische schrijver bent die alleen maar met woorden kan werken. Je zegt: "Ik wil een strand met reuze krabben die hoeden dragen," en poef! In plaats van een platte tekening, krijg je een volledig betoverde wereld waar je echt doorheen kunt lopen, rondkijken en zelfs de krabben kunt verplaatsen.

Dat is precies wat DreamAnywhere doet. Het is een nieuw systeem dat tekst omzet in een 360-graden 3D-wereld, en het doet dit op een slimme manier die veel beter werkt dan de oude methoden.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Grote Foto (De 360° Panoramafoto)

Stel je voor dat je een foto maakt van een kamer, maar dan niet van één kant, maar van alle kanten tegelijk. Je kijkt naar voren, achterom, links, rechts, boven en onder. Dat is een 360-graden foto.

Het oude probleem: Als je in zo'n foto probeert te "wandelen" (bijvoorbeeld naar links kijkt), ziet de rest van de wereld er vaak raar uit of verdwijnt hij. Het is alsof je door een spiegelkabinet loopt waar de spiegels niet goed passen.
De DreamAnywhere-oplossing: Het systeem maakt eerst die perfecte, complete 360-graden foto op basis van jouw tekst. Dit is het fundament van de wereld.

2. De Grote Schaar en de Magische Vuller

Nu de foto er is, wil je de dingen erin aanpassen.

De Schaar: Het systeem kijkt naar de foto en zegt: "Ah, daar zie ik een krab, daar een boom en daar een huis." Het knipt deze objecten eruit, alsof je ze met een schaar uit de foto knipt.
De Magische Vuller: Nu heb je een gat in de foto waar de krab zat. Het systeem vult dat gat direct weer in met de juiste achtergrond (het zand, de lucht), zodat de foto weer perfect intact is, maar dan zonder de krab.

3. Het 3D-Transformeren (Van Plakkaat naar Pop)

Dit is het magische deel. De "uitgeknipte" krab is nu nog maar een platte foto.

De Slimme Hercreatie: Het systeem maakt een nieuwe, super-scherpe foto van die krab, maar dan vanuit een perfecte hoek.
Het 3D-Model: Vervolgens verandert het die foto in een 3D-pop. Je kunt deze krab nu van alle kanten bekijken. Hij is niet langer een plakkerige sticker op de muur, maar een echt object dat in de ruimte zweeft.
De Plaatsing: Het systeem zet deze 3D-pop precies terug op de plek waar hij vandaan kwam, maar nu als een echt 3D-object.

4. Het Achtergrond-Opvullen (Wanneer je wegloopt)

Stel je voor dat je in deze wereld loopt en je kijkt naar links, naar een plek waar eerst de krab stond. Wat zie je dan?

Het oude probleem: Bij andere systemen zie je daar vaak een leeg gat of een wazige vlek.
De DreamAnywhere-oplossing: Omdat het systeem de achtergrond al als een 3D-wereld heeft opgebouwd (met behulp van een techniek die "Gaussian Splatting" heet, wat je kunt zien als duizenden kleine, glinsterende deeltjes die samen een beeld vormen), vult het automatisch de gaten in. Als je naar een nieuwe hoek kijkt, "verft" het systeem de ontbrekende delen in, zodat de wereld er altijd compleet en logisch uitziet.

Waarom is dit zo speciaal?

Vroeger waren 3D-werelden uit tekst vaak:

Klein: Je kon maar een klein stukje van de kamer zien.
Raar: Als je omkeek, zag je dat muren verdwenen of objecten vervormden.
Statisch: Je kon de objecten niet makkelijk verplaatsen.

DreamAnywhere is als een LEGO-set voor dromen:

Je geeft de opdracht (de tekst).
Het bouwt de basis (de 360° foto).
Het haalt de losse stukken (objecten) eruit en maakt ze tot stevige LEGO-blokken (3D-modellen).
Het zet ze terug in een wereld die je kunt verkennen, waar je kunt lopen, draaien en zelfs de krab met zijn hoed kunt verplaatsen.

Samenvattend

Dit systeem is een droom voor filmmakers, gameontwikkelaars en iedereen die snel een visueel idee wil testen. Je hoeft geen dure 3D-modeller te zijn. Je typt gewoon een zin, en binnen een paar minuten heb je een wereld waar je echt doorheen kunt lopen, zonder dat de muren instorten of de objecten verdwijnen. Het is alsof je een boek opent en eruit kunt stappen.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Het genereren van grote, meeslepende virtuele 3D-scènes op basis van tekstprompts blijft een aanzienlijke uitdaging. Bestaande methoden hebben vaak te kampen met de volgende beperkingen:

Beperkte coherentie: Scènes zijn vaak alleen coherent binnen een klein camera-bereik. Bij het verkennen van het gebied verder dan deze grenzen ontstaan structurele instabiliteit en hallucinaties.
Gebrek aan visuele kwaliteit: Veel methoden genereren voornamelijk front-facing omgevingen of missen de nodige visuele trouw.
Beperkt begrip van de scène: Bestaande systemen hebben moeite met het integreren van diepteschatten in één coherent 3D-voorstelling, wat leidt tot semantische drift.
Rigiditeit: Veel modellen zijn fijnge tuned voor specifieke scenario's (binnen of buiten) en bieden weinig flexibiliteit voor object-niveau bewerkingen.

Methodologie: DreamAnywhere

DreamAnywhere is een modulair systeem dat een 360° panoramische afbeelding gebruikt als tussenliggende representatie om objecten te extraheren, te reconstrueren en te compositeren. De pijplijn bestaat uit drie hoofdfasen (zoals weergegeven in Figuur 2):

1. Afbeeldingsgeneratie en Segmentatie

360° Panorama Diffusie: Het systeem genereert eerst een 360° panoramische afbeelding ( $I_F$ ) vanuit een tekstprompt. Om de generalisatie en stijlgetrouwheid te verbeteren, wordt een IP-Adapter-mechanisme gebruikt. Dit combineert de tekstprompt met een perspectiefafbeelding (als zachte conditionering) via decoupled cross-attention layers. Dit wordt jointly gefinetuned met een LoRA (Low-Rank Adaptation) voor equirectangulaire afbeeldingen, wat zorgt voor betere stijltransfer dan post-hoc toevoeging.
Instance Segmentation: Met behulp van Grounded-SAM (vervanging van de klassieke RAM-module door GPT-4V voor betere herkenning) worden voorgrondobjecten geïdentificeerd en gesegmenteerd.
2D Inpainting: De geïdentificeerde objecten worden uit de panorama verwijderd om een schone achtergrond ( $I_B$ ) te creëren. Een gespecialiseerde inpainting-pijplijn (met Dreamshaper-8 en een aangepaste LoRA) vult de gaten in om een coherent, object-vrij achtergrondbeeld te genereren.
Diepteschatting: Er worden aparte strategieën gebruikt voor binnen- en buitenomgevingen (respectievelijk EGformer en 360MonoDepth). De dieptekaarten van de originele en de ingepainte achtergrond worden op elkaar afgestemd om een uniforme dieptekaart te verkrijgen.

2. Hoogwaardige Objectgeneratie

Om objecten te reconstrueren die visueel consistent zijn met de scène, maar geometrisch compleet, wordt een "resynthesis"-stap ingevoerd:

Referentieafbeelding Generatie: In plaats van rechtstreeks te werken met de vaak onvolledige of vervormde geselecteerde objecten, wordt een nieuwe, hoogwaardige referentieafbeelding gegenereerd. Dit gebeurt door een diffusiemodel te conditioneren op:
1. Een tekstuele beschrijving (gegenereerd door een Vision-Language Model).
2. Een gedeeltelijke dieptekaart (gebaseerd op de segmentatiemasker en geschatte diepte).
3. Een stijlafbeelding (uit de panoramageneratie).
3D Object Generatie: Op basis van deze referentie worden meerdere weergaven gegenereerd (met Zero123++) en omgezet naar een NeRF-representatie (InstantMesh), die vervolgens wordt geconverteerd naar 3D Gaussian Splatting (3DGS) voor efficiënte rendering.
Poseschatting: De positie en oriëntatie van het gegenereerde 3D-object worden berekend door het object te aligneren met de oorspronkelijke crop in de panorama, gebruikmakend van MAST3R voor relatieve transformaties.

3. 3D Achtergrondgeneratie en Compositie

Hybride Inpainting: De achtergrond ( $I_B$ $I_{B}$ ) wordt omgezet in een 3DGS-puntenwolk. Omdat het omzetten van een enkele 360°-afbeelding naar 3D een onderbepaald probleem is, worden "disocclusies" (gebieden die zichtbaar zijn vanuit nieuwe hoeken maar niet in de originele afbeelding) ingevuld.
- Grote gaten worden eerst in de 2D-afbeelding ingevuld.
- Kleinere gaten veroorzaakt door 3D-projectie worden opgelost via 3D Inpainting: nieuwe Gaussians worden incrementeel toegevoegd aan de puntenwolk, geconditioneerd op de bestaande structuur.
Multi-view Consistentie: Score Distillation Sampling (SDS) wordt toegepast op willekeurige nieuwe weergaven om visuele inconsistenties te verwijderen en de coherentie te garanderen.
Compositie: De 3D-objecten en de achtergrond worden samengevoegd. Om fysieke plausibiliteit te waarborgen, worden objecten automatisch "vastgezet" op dominante steunvlakken (zoals de vloer) en worden contactschaduwen toegevoegd via een shadow-mapping pass.

Belangrijkste Bijdragen

Unificatie en Modulariteit: Een nieuw systeem dat hoge 3D-coherentie en visuele kwaliteit combineert met interactieve bewerkingsmogelijkheden.
Geavanceerde Panorama-Generatie: Een methode die een 360° diffusiemodel fijnstelt met perspectief-conditionering (IP-Adapter), wat leidt tot betere sampling buiten de trainingsdistributie.
Robuuste Objectreconstructie: Een pipeline die multimodale cues (tekst, geometrie, stijl) gebruikt om een hoogwaardige referentieafbeelding te synthetiseren, wat de kwaliteit van de uiteindelijke 3D-reconstructie aanzienlijk verbetert, zelfs bij slechte invoer.
Hybride Inpainting Strategie: Een unieke combinatie van 2D-inpainting voor globale coherentie en 3D-inpainting voor lokale disocclusies, wat essentieel is voor navigeerbare scènes.

Resultaten

Kwantitatieve Evaluatie: DreamAnywhere presteert beter dan state-of-the-art methoden zoals Text2Room, DreamScene360 en LayerPano3D op metrics voor beeldkwaliteit (CLIP-IQA+, Q-Align) en esthetiek. Hoewel de CLIP-scores (tekst-afbeelding alignement) vergelijkbaar zijn, is de visuele kwaliteit superieur.
Nieuwe Weergave Synthese (Novel View Synthesis): De methode behoudt structurele coherentie zelfs bij grote camera-offsets (bijv. zijwaartse bewegingen), waar concurrerende methoden vaak instorten of artefacten vertonen.
Gebruikersstudie: Een studie met 28 deelnemers toonde een statistisch significante voorkeur ( $p < .001$ ) voor DreamAnywhere op alle aspecten: coherentie, compatibiliteit met de prompt, meeslependheid en algemene voorkeur. De deelnemers prezen met name de geometrische structuur bij het verkennen van de scène.
Efficiëntie: Het genereren van een scène met gemiddeld 7,5 objecten duurt ongeveer 15 minuten op één H100 GPU.

Betekenis en Toekomstperspectief

DreamAnywhere biedt een krachtige oplossing voor het creëren van meeslepende 3D-inhoud met minimale handmatige modellering. De modulaire aard van de pijplijn maakt het ideaal voor:

Filmproductie: Snelle iteraties van scène-opstellingen en visuele toon voor low-budget producties.
Game-ontwikkeling: Prototyping van omgevingen.
VR/AR: Het genereren van navigeerbare 3D-omgevingen met hoge kwaliteit.

De benadering van "object-centric" generatie, gekoppeld aan een panoramische achtergrond, overbrugt de kloof tussen image-based generatie (goede globale coherentie) en compositional generatie (goede controle over individuele objecten), wat een nieuwe standaard zet voor tekst-naar-3D-scènegeneratie.