Technische Samenvatting: PanoWorld

Probleemstelling

Het synthetiseren van meeslepende, consistente virtuele realiteit (VR)-tours door een heel huis, vertrekkende van schaarse architecturale inputs (plattegronden) en stijlreferenties, vormt een aanzienlijke uitdaging in ruimtelijke generatie. Bestaande paradigma's worstelen om tegelijkertijd te voldoen aan de eisen van fotorealisme en ruimtelijke coherentie tussen verschillende gezichtspunten:

• Pure 2D-generatoren: Hoewel ze in staat zijn om hoogwaardige, fotorealistische enkele panorama's te produceren met realistische verlichting en texturen, ontbreekt het hen aan persistente ruimtelijke geheugen. Naarmate het gezichtspunt verandert, "herbeelden" deze modellen vaak geometrie en materialen, wat leidt tot inconsistenties in de vorm van deuropeningen, de positie van muren en de indeling van meubilair tussen verschillende knooppunten.
• Monolithische 3D-generatie: Methoden die vertrouwen op globale 3D-representaties (bijv. NeRF, 3DGS, meshes) bieden een natuurlijke route naar consistentie, maar worden computatierijk duur en verliezen fijne textuurtrouw wanneer ze worden geschaald naar omgevingen met meerdere kamers in een huis. Ze kampen vaak met hoog geheugengebruik, trage inferentie en een verslechtering van de visuele kwaliteit, wat 2D-modellen aantrekkelijk maakt voor commerciële visualisatie.

Huidige commerciële VR-tours werken op een knooppunt-gebaseerde logica (gebruikers staan bij een panorama en springen naar aangrenzende knooppunten) in plaats van continue navigatie met 6 vrijheidsgraden (6-DoF). Bestaande generatieve modellen maken echter geen effectief gebruik van deze discrete structuur om langeafstandsconsistentie tussen kamers en deuropeningen te waarborgen.

Methodologie

PanoWorld introduceert een generatief ruimtelijk wereldmodel dat synthese van een heel huis behandelt als een autoregressieve generatie van knooppunt-gebaseerde 360-graden panorama's. Het systeem ontkoppelt geometrische geleiding van visueel geheugen om hoogfrequente 2D-synthesekwaliteit te behouden, terwijl het tegelijkertijd consistentie tussen knooppunten waarborgt.

1. Globale Geometrische Proxy

Het systeem converteert een 2D-plattegrond naar een ruwe 3D-schil die muren, vloeren, plafonds, kamernamen en deuropeningsconnectiviteit bevat. Deze schil fungeert als een structurele interface, niet als een definitief visueel asset. Het wordt gerenderd op doel- en hulpgezichtspunten om een geometrische proxy (normaalvectoren en semantische segmentatie) te leveren die de grote lay-out, openingen en de omvang van kamers beperkt, zonder de uiteindelijke texturen te dicteren.

2. Autoregressieve Syntheselus

PanoWorld genereert panorama's sequentieel langs een navigatiepad:

1. Initialisatie: Het startpanorama wordt gesynthetiseerd vanuit de schil-afgeleide geometrische proxy en een stijlreferentie.
2. Lifting: Dit initiële panorama wordt omgezet in een initiële 3D Gaussian Splatting (3DGS)-cache met behulp van een panoramisch Large Reconstruction Model (LRM).
3. Progressieve Generatie: Voor elke volgende knooppunt:
   • Het systeem rendert visueel geheugen uit de huidige 3DGS-cache.
   • Het combineert dit geheugen met de geometrische proxy en nabijgelegen panorama's.
   • Het synthetiseert het volgende hoogresolutie panorama.
   • Het cache wordt bijgewerkt met een lokale 3DGS-increment.

3. Belangrijke Architecturale Componenten

Kamergevoelig Panoramisch LRM

Een feed-forward panoramisch LRM is ontworpen om multi-view 360-graden observaties in één doorgang om te zetten in lokale 3DGS-updates.

• Circulaire Positionele Encoding (CPRoPE): Past Plucker-ray- en PRoPE-encodings aan voor equirectangulaire panorama's. Het gebruikt rays die uitsluitend gebaseerd zijn op extrinsieke parameters en een periodiek horizontaal coördinatenstelsel om attention-continuïteit over de panorama-naad te waarborgen.
• Kamergevoelige Groepsattention: Om textuurlekkage over muren te voorkomen, hanteert het model een gemaskerde attention-mechanisme. Tokens van knooppunten in dezelfde kamer interageren dicht, terwijl communicatie tussen kamers beperkt blijft tot topologisch verbonden deuropenings- of grensknooppunten. Dit voorkomt dat irrelevante bewijsvoering zich mengt over geometrische barrières.

Topologie-bewuste Progressieve 3DGS-caching

In plaats van de volledige geschiedenis bij elke stap te reconstrueren, onderhoudt PanoWorld een dynamische cache die wordt bijgewerkt via lokale increments.

• Contextconstructie: Voor een nieuw knooppunt verwerkt het LRM een context van vaste grootte, bestaande uit het nieuwe knooppunt, nabijgelegen knooppunten in dezelfde kamer, en grensknooppunten verbonden via deuropeningen.
• Conserverende Samenvoeging: Lokale Gaussische updates worden samengevoegd in de globale cache met behulp van uitlijning, feature-selectie op basis van vertrouwen en zichtbaarheidspruning. Cruciaal vermijdt het systeem agressieve kleurverdeling van Sferische Harmonische (SH)-coëfficiënten om hoogfrequente, view-afhankelijke kenmerken te behouden; in plaats daarvan worden alleen basiskleuren gemengd, terwijl hogere-orde coëfficiënten worden overgenomen van de dominante Gaussische.
• Geheugenfiltering over Kamers: Een dieptepoort gebruikt de plattegronds-schil om cache-pixels te filteren die achter het eerste zichtbare kamervlak liggen, waardoor textuur van oude muurwanden niet in nieuwe kamers lekt.

Ontkoppelde Geleiding

De 2D-panoramagenerator (gebaseerd op Qwen-Image-Edit) ontvangt twee distincte inputs:

1. Geometrische Proxy: Beperkt muren, vloeren en lay-out.
2. Visueel Geheugen: Biedt ruimtelijk uitgelijnde verschijningscontext voor eerder waargenomen gebieden.
   Deze scheiding zorgt ervoor dat de 2D-generator fotorealistische textuurkwaliteit behoudt zonder te worden overschaduwd door ruwe geometrie of consistentie met het 3D-geheugen te verliezen.

Belangrijkste Bijdragen

1. Formulering van een Knooppunt-gebaseerd Wereldmodel: Een nieuwe aanpak voor VR-synthese van een heel huis die aansluit bij de commerciële logica van knooppunt-gebaseerde tours, waarbij hoogresolutie panorama-knooppunten worden gegenereerd met behulp van lichtgewicht 3D-geheugen voor consistentie.
2. Kamergevoelig Panoramisch LRM: De eerste LRM-stijl module ontworpen voor reconstructie op metrische schaal van meerdere kamers vanuit multi-view panorama's in één feed-forward doorgang, gebruikmakend van gemaskerde attention om cross-room feature-interferentie te onderdrukken.
3. Topologie-bewuste Progressieve 3DGS-caching: Een schaalbare ruimtelijke geheugenstrategie die de cache bijwerkt via lokale, topologie-bewuste increments, waardoor de computatiekosten van reconstructie van volledige geschiedenis worden vermeden.
4. Ontkoppelde Conditioneringsstrategie: Een methode die geometrische beperkingen scheidt van verschijningsgeneratie, waardoor lay-out- en materiaalconistentie over dichte panorama-knooppunten wordt verbeterd, terwijl hoogfrequente 2D-synthesekwaliteit behouden blijft.

Experimentele Resultaten

De auteurs hebben PanoWorld geëvalueerd op een aangepast benchmark, afgeleid van privédata en vastgehouden RealSee3D-scènes.

• Panorama-synthese: PanoWorld behaalde een Overlap PSNR van 22,1365, wat significant beter is dan de tweede beste methode (OmniRoam met 16,3862), met een verschil van 5,75 dB. Dit demonstreert superieure consistentie tussen knooppunten. Hoewel de esthetische kwaliteit van een enkel knooppunt (HPSv3) concurrerend was (7,9564), lag de primaire winst in het verminderen van geometrie- en materiaalhallucinaties over de tour heen.
• Reconstructie van een heel huis met LRM: Op 50 vastgehouden RealSee3D-scènes behaalde PanoWorld de beste reconstructiekwaliteit onder de vergeleken methoden (MVP, Adapt-Splat, WorldMirror 2.0), met een PSNR van 29,2361 (bij 8 panorama's input) en 28,8003 (bij 12 panorama's input).
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat PanoWorld uitlijning behoudt rondom deuropeningen, gangen en uitzichten over kamers heen, terwijl basismethoden structurele drift, vervaging of feature-interferentie vertonen.

Betekenis en Beperkingen

Betekenis:
PanoWorld overbrugt de kloof tussen het fotorealisme van 2D-generatieve modellen en de ruimtelijke coherentie van 3D-representaties. Door synthese van een heel huis te behandelen als een autoregressief proces dat is verankerd in een geometrische proxy en een renderbare 3D-geheugen, maakt het generatie mogelijk van consistente, hoogwaardige tours door een heel huis die direct leverbaar zijn als knooppunt-gebaseerde VR-ervaringen. De ontkoppeling van geometrie en verschijning maakt snelle globale herstyling mogelijk terwijl de structurele integriteit behouden blijft.

Beperkingen:
De auteurs erkennen dat de prestaties van het systeem afhankelijk zijn van de kwaliteit van de conversie van plattegrond naar schil. Fouten in geometrie, ontbrekende deuropenings-topologie of grote afstanden tussen knooppunten kunnen de cache-geleiding verzwakken. Bovendien heeft het systeem momenteel moeite met dynamische objecten, spiegels, transparante materialen en zware meubelocclusies. Voor toekomstig werk wordt voorgesteld om schatting en generatie van de schil gezamenlijk te optimaliseren en object-niveau bewerkbare semantics in te voeren.