One2Scene: Geometric Consistent Explorable 3D Scene Generation from a Single Image

One2Scene is een innovatief framework dat uit één enkele afbeelding een geometrisch consistente en volledig verkennbare 3D-scene genereert door het probleem op te splitsen in het aanmaken van ankerweergaven, het reconstrueren van een 3D-skelet via Gaussian Splatting en het genereren van nieuwe weergaven, waardoor het aanzienlijk beter presteert dan bestaande methoden bij het vermijden van vervormingen tijdens vrije camera-beweging.

De kern

One2Scene: Van één foto naar een hele wereld om in te wandelen

Stel je voor dat je een prachtige foto maakt van een kamer of een straat. Normaal gesproken is dat een vast, plat plaatje. Je kunt er niet omheen lopen, niet naar achteren kijken en je kunt niet zien wat er achter de hoek zit.

De onderzoekers van deze paper (One2Scene) hebben een slimme manier bedacht om van zo'n één enkele foto een volledige, betrouwbare 3D-wereld te maken waarin je vrij kunt rondlopen. Ze noemen dit "explorable 3D scene generation".

Hier is hoe het werkt, uitgelegd met een paar simpele vergelijkingen:

1. Het probleem: De "Gok" van de oude methoden

Vroeger probeerden computers een 3D-wereld te maken door gewoon te "gokken" wat er aan de andere kant van de muur zit.

• De analogie: Stel je voor dat je een blindeman bent die een muur aanraakt en probeert de rest van het huis te tekenen op basis van dat ene stukje muur. Als hij een paar stappen opzij doet, begint hij te twijfelen. De muren worden krom, de vloer loopt scheef en de kamer verandert in een surrealistische droom.
• Het resultaat: Bestaande methoden maakten vaak prachtige beelden, maar als je ver weg keek, zag je rare vervormingen en "glijdende" objecten. Het was niet stabiel.

2. De oplossing: One2Scene in drie stappen

One2Scene lost dit op door het probleem op te splitsen in drie logische stappen, net als het bouwen van een huis.

Stap 1: De "Panorama-Bal" (De basis leggen)

Eerst nemen ze de ene foto en maken er een 360-graden panorama van.

• De analogie: Het is alsof je de foto uitrekt tot een grote, ronde ballon die je hele zichtveld vult. Je ziet nu alles om je heen, maar het is nog steeds een platte, zwevende ballon zonder diepte. Je weet niet hoe ver de muur echt is.

Stap 2: Het "Stalen Gerust" (De 3D-skelet bouwen)

Dit is het slimste deel. In plaats van te raden, bouwen ze eerst een 3D-gerust (een skelet) van de wereld.

• De analogie: Stel je voor dat je een bouwpakket hebt. Je neemt de panorama-bal en projecteert hem op zes vlakke vlakken (zoals een dobbelsteen). Vervolgens gebruikt de computer een slimme "meetlat" (een AI die getraind is op duizenden foto's) om voor elk punt op die vlakken de diepte te berekenen.
• Het resultaat: Ze krijgen een 3D-skelet van de hele ruimte. Dit skelet is als het stevige frame van een huis. Het zorgt ervoor dat de muren recht blijven en de vloer plat ligt, ongeacht waar je kijkt. Dit noemen ze een "geometric scaffold".

Stap 3: De "Schilder" (De details toevoegen)

Nu dat het stevige skelet er staat, komt de kunstenaar aan het werk.

• De analogie: De schilder (de laatste AI) kijkt naar het stevige skelet en zegt: "Oké, de muur is hier, de vloer is daar. Nu ga ik de verf en de textuur toevoegen." Omdat hij weet waar de muren echt zitten (dankzij het skelet), hoeft hij niet meer te gokken.
• Het resultaat: Als je nu door de kamer loopt, zie je prachtige, realistische beelden. De muren blijven recht, de meubels staan op hun plek en er ontstaan geen rare vervormingen, zelfs niet als je heel ver weg kijkt.

Waarom is dit zo speciaal?

De meeste andere methoden proberen de verf en het skelet tegelijkertijd te doen, wat leidt tot chaos. One2Scene zegt: "Eerst het skelet, dan pas de verf."

• Stabiliteit: Omdat ze eerst een stevig 3D-gerust bouwen, "glijdt" de wereld niet weg als je beweegt.
• Snelheid: Het hele proces gaat razendsnel (binnen een seconde).
• Realisme: Je kunt er echt doorheen lopen alsof je in een videogame zit, maar dan gegenereerd vanuit één foto.

Kortom: One2Scene is als een slimme architect die eerst een onwrikbaar fundament legt, zodat je vervolgens een prachtige, betrouwbare wereld kunt bouwen waarin je kunt wandelen, zonder dat de muren in elkaar zakken.

Technische samenvatting

Probleemstelling

Het genereren van volledig verkennbare 3D-scènes uit één enkele inputafbeelding is een fundamenteel uitdagend probleem in de 3D-vision. Bestaande methoden kampen met twee hoofdproblemen:

1. Geometrische inconsistentie: Wanneer het camera-punt van uitzicht (viewpoint) sterk verschuift, ontstaan er ernstige geometrische vervormingen en artefacten.
2. Beperkte exploratie: Methodes die gebaseerd zijn op video-diffusie of iteratieve inpainting (zoals WonderJourney of DreamScene360) lijden vaak onder "semantische drift" en cumulatieve fouten. Dit resulteert in onrealistische scènes waarbij objecten vervormen of de geometrie instort bij langere trajecten.

Er is dus behoefte aan een methode die niet alleen fotorealistische nieuwe weergaven genereert, maar ook een stabiele, geometrisch consistente 3D-structuur behoudt over grote afstanden en hoekveranderingen.

Methodologie: One2Scene Framework

One2Scene lost dit "ill-posed" probleem op door het te decomponeren in drie beheersbare sub-taken, uitgevoerd in een sequentieel proces:

1. Panoramische Generatie (Ankerweergaven)
Om het gebrek aan informatie in één enkele afbeelding te overbruggen, wordt eerst een 360°-panorama gegenereerd uit de inputafbeelding met behulp van een gespecialiseerd model (Hunyuan-Pano-DiT). Dit panorama dient als globale dekking van de scène. Vervolgens wordt dit panorama geprojecteerd naar een set van zes perspectiefische "ankerweergaven" (cubemap), die dienen als input voor de volgende stap.

2. Feed-forward 3D Geometrisch Steiger (Scaffold)
Dit is de kerninnovatie van het paper. In plaats van het panorama als één vlakke afbeelding te behandelen, worden de 2D ankerweergaven "opgetild" naar een expliciete 3D-structuur:

• Herformulering: Het probleem van monocular panoramische dieptebepaling wordt herschreven als een multi-view stereo matching probleem tussen de zeer schaarse ankerweergaven.
• Bidirectionele Fusie: Omdat de overlap tussen de ankerweergaven minimaal is (2,5°), gebruikt het model een aangepaste architectuur (gebaseerd op VGGT) met een Bidirectionele Fusion Module. Deze module transformeert features van de kubusweergaven naar een equirectangulair latent (C2E), fuseert ze, en projecteert ze terug (E2C) met behulp van residual connections. Dit zorgt voor geometrische consistentie over de grenzen van de weergaven heen zonder details te verliezen.
• Output: Een feed-forward netwerk voorspelt direct de parameters van 3D Gaussian Splatting (Gaussian parameters: positie, opaciteit, covariantie, kleur) voor elk pixel. Dit resulteert in een expliciete 3D geometrische steiger in slechts 0,5 seconden. Deze steiger biedt een robuuste geometrische prior die schaal-ambiguïteit oplost.

3. Geleidde Nieuwe Weergave Synthese (NVS)
De gegenereerde 3D-steiger wordt gebruikt als sterke prior voor de definitieve generatie van nieuwe weergaven:

• Dual-LoRA Training: Om nieuwe weergaven te genereren vanuit willekeurige camera-posities, wordt een synthesenetwerk getraind dat twee soorten condities combineert:
  1. De hoge kwaliteit, maar geometrisch ambiguë originele ankerweergaven.
  2. De ruwe, maar geometrisch rijke weergaven gerenderd vanuit de 3D-steiger.
     Het model gebruikt twee aparte LoRA-modules (Low-Rank Adaptation) om deze heterogene signalen onafhankelijk te verwerken voordat ze worden gefuseerd via een 3D-attentie-mechanisme.
• Memory Condition: Voor continue video-generatie wordt een "memory bank" gebruikt die de dichtstbijzijnde eerder gegenereerde frame selecteert om temporale en ruimtelijke consistentie te garanderen, vooral in verduisterde gebieden.

Belangrijkste Bijdragen

1. Decompositie van het probleem: Een nieuwe aanpak die het genereren van 3D-scènes splitst in panorama-generatie, expliciete 3D-steiger-construktie en geleide synthese.
2. Feed-forward 3D GS Model: Een nieuw model dat panoramische dieptebepaling omzet in multi-view stereo matching met een bidirectionele fusie-module, waardoor robuuste geometrie wordt gegenereerd uit zeer schaarse inputs.
3. Dual-LoRA Strategie: Een effectieve trainingsmethode die de sterke punten van zowel de input-afbeelding als de geometrische steiger combineert om schaal-drift en geometrische instabiliteit te voorkomen.
4. State-of-the-Art Prestaties: Het framework levert fotorealistische en geometrisch accurate resultaten die significant beter zijn dan bestaande methoden, zelfs bij grote camera-bewegingen.

Resultaten

One2Scene werd geëvalueerd op diverse benchmarks (inclusief DL3DV, Matterport3D, Stanford2D3D) en vergeleken met SOTA-methoden zoals DreamScene360, WonderJourney, SEVA en VMem.

• Geometrische Stabiliteit: One2Scene behaalde een CamMC (Camera Motion Consistency) score van 0,389, wat aanzienlijk beter is dan VMem (0,998) en SEVA (0,558). Dit betekent dat de gegenereerde camera-trajecten veel consistenter zijn met de werkelijkheid.
• Visuele Kwaliteit: Het model scoorde het hoogst op NIQE (4,43) en Q-Align (4,13), wat aangeeft dat de gegenereerde beelden natuurlijker en van hogere kwaliteit zijn.
• Semantische Consistentie: Met een CLIP-I score van 89,95 behield het model de semantische inhoud van de originele afbeelding beter dan concurrenten.
• Efficiëntie: De reconstructie van de 3D-steiger duurt slechts 0,5 seconden op een H20 GPU (5,6x sneller dan AnySplat).
• Dieptebepaling: Zelfs zonder fine-tuning (zero-shot) presteerde het model beter dan bestaande panorama-dieptemethoden op de Stanford2D3D dataset.

Significantie

One2Scene markeert een doorbraak in het veld van 3D-scène-generatie. Door de afhankelijkheid van iteratieve foutenaccumulatie te doorbreken en te vertrouwen op een expliciete, geometrisch consistente 3D-steiger, maakt het mogelijk om immersive en volledig verkennbare 3D-werelden te creëren uit één enkele foto. Dit heeft grote implicaties voor toepassingen zoals videogames, virtuele realiteit (VR), mixed reality en 3D-content creatie, waar de noodzaak aan hoge kwaliteit en geometrische nauwkeurigheid onder grote perspectiefveranderingen cruciaal is. De methode lost het fundamentele probleem van schaal-ambiguïteit en geometrische instabiliteit op dat andere generatieve modellen nog steeds worstelen.