Riepilogo Tecnico: PanoWorld

Enunciato del Problema

La sintesi di tour virtuali (VR) immersivi e coerenti di intere case partendo da input architettonici sparsi (planimetrie) e riferimenti stilistici rappresenta una sfida significativa nella generazione spaziale. I paradigmi esistenti faticano a soddisfare simultaneamente i requisiti di fotorealismo e coerenza spaziale tra diverse visualizzazioni:

• Generatori 2D Puri: Sebbene capaci di produrre panorami singoli di alta qualità e fotorealistici con illuminazione e texture realistiche, mancano di una memoria spaziale persistente. Al variare del punto di vista, questi modelli tendono a "riconcepire" geometria e materiali, causando inconsistenze nella forma delle porte, nella posizione delle pareti e nella disposizione dei mobili tra i diversi nodi.
• Generazione 3D Monolitica: I metodi basati su rappresentazioni 3D globali (ad es. NeRF, 3DGS, mesh) offrono una via naturale alla coerenza, ma diventano computazionalmente costosi e perdono la fedeltà delle texture fini quando scalati ad ambienti domestici multistanza. Spesso presentano un elevato utilizzo di memoria, un'inferenza lenta e un degrado della qualità visiva che rende i modelli 2D attraenti per la visualizzazione commerciale.

I tour VR commerciali attuali operano su una logica basata su nodi (gli utenti si trovano in un panorama e saltano ai nodi adiacenti) piuttosto che su una navigazione continua a 6 gradi di libertà (6-DoF). Tuttavia, i modelli generativi esistenti non sfruttano efficacemente questa struttura discreta per garantire la coerenza a lungo raggio tra stanze e porte.

Metodologia

PanoWorld introduce un modello di mondo spaziale generativo che tratta la sintesi di intere case come una generazione autoregressiva di panorami a 360 gradi basata su nodi. Il sistema disaccoppia la guida geometrica dalla memoria visiva per mantenere la qualità della sintesi 2D ad alta frequenza, garantendo al contempo la coerenza tra i nodi.

1. Proxy Geometrico Globale

Il sistema converte una planimetria 2D in una shell 3D grezza contenente pareti, pavimenti, soffitti, etichette delle stanze e connettività delle porte. Questa shell funge da interfaccia strutturale, non come asset visivo finale. Viene renderizzata ai punti di vista target e ausiliari per fornire un proxy geometrico (normali e segmentazione semantica) che vincola la disposizione su larga scala, le aperture e l'estensione delle stanze senza dettare le texture finali.

2. Ciclo di Sintesi Autoregressiva

PanoWorld genera panorami sequenzialmente lungo un percorso di navigazione:

1. Inizializzazione: Il panorama iniziale viene sintetizzato dal proxy geometrico derivato dalla shell e da un riferimento stilistico.
2. Lifting: Questo panorama iniziale viene elevato in una cache iniziale di 3D Gaussian Splatting (3DGS) utilizzando un Large Reconstruction Model (LRM) panoramico.
3. Generazione Progressiva: Per ogni nodo successivo, il sistema:
   • Renderizza la memoria visiva dalla cache 3DGS corrente.
   • Combina questa memoria con il proxy geometrico e i panorami vicini.
   • Sintetizza il successivo panorama ad alta risoluzione.
   • Aggiorna la cache con un incremento locale 3DGS.

3. Componenti Architetturali Chiave

LRM Panoramico Consapevole della Stanza

Un LRM panoramico feed-forward è progettato per elevare osservazioni 360 gradi multi-vista in aggiornamenti locali 3DGS in un singolo passaggio.

• Codifica Posizionale Circolare (CPRoPE): Adatta le codifiche Plucker-ray e PRoPE per panorami equirettangolari. Utilizza raggi basati solo sulle estrinseche e un sistema di coordinate orizzontali periodico per garantire la continuità dell'attenzione attraverso la cucitura del panorama.
• Attenzione di Gruppo Consapevole della Stanza: Per prevenire la fuoriuscita di texture attraverso le pareti, il modello impiega un meccanismo di attenzione mascherata. I token provenienti da nodi nella stessa stanza interagiscono densamente, mentre la comunicazione tra stanze è limitata esclusivamente ai nodi di porta/bordo topologicamente connessi. Ciò impedisce che evidenze non correlate si mescolino attraverso barriere geometriche.

Caching 3DGS Progressivo Consapevole della Topologia

Invece di ricostruire l'intera storia ad ogni passaggio, PanoWorld mantiene una cache dinamica aggiornata tramite incrementi locali.

• Costruzione del Contesto: Per un nuovo nodo, l'LRM elabora un contesto a dimensione fissa composto dal nuovo nodo, dai nodi vicini nella stessa stanza e dai nodi di confine connessi tramite porte.
• Fusione Conservativa: Gli aggiornamenti gaussiani locali vengono fusi nella cache globale utilizzando allineamento, selezione delle caratteristiche basata sulla confidenza e potatura della visibilità. Crucialmente, il sistema evita la mediazione aggressiva dei colori dei coefficienti delle Armoniche Sferiche (SH) per preservare le caratteristiche dipendenti dalla vista ad alta frequenza; invece, fonde solo i colori di base, ereditando i coefficienti di ordine superiore dal Gaussiano dominante.
• Filtraggio della Memoria tra Stanze: Un cancello di profondità utilizza la shell della planimetria per filtrare i pixel della cache che si trovano dietro la prima superficie visibile della stanza, impedendo che le texture delle pareti di vecchie stanze fuoriescano nelle nuove stanze.

Guida Disaccoppiata

Il generatore di panorami 2D (basato su Qwen-Image-Edit) riceve due input distinti:

1. Proxy Geometrico: Vincola pareti, pavimenti e disposizione.
2. Memoria Visiva: Fornisce un contesto di aspetto allineato spazialmente per le regioni osservate in precedenza.
   Questa separazione garantisce che il generatore 2D mantenga la qualità fotorealistica delle texture senza essere sovrascritto da una geometria grezza o perdere la coerenza con la memoria 3D.

Contributi Chiave

1. Formulazione di un Modello di Mondo Basato su Nodi: Un approccio innovativo alla sintesi VR di intere case che si allinea alla logica commerciale dei tour basati su nodi, generando nodi di panorami ad alta risoluzione mentre utilizza una memoria 3D leggera per la coerenza.
2. LRM Panoramico Consapevole della Stanza: Il primo modulo in stile LRM progettato per la ricostruzione in scala metrica di più stanze a partire da panorami multi-vista in un singolo passaggio feed-forward, utilizzando l'attenzione mascherata per sopprimere le interferenze delle caratteristiche tra stanze.
3. Caching 3DGS Progressivo Consapevole della Topologia: Una strategia di memoria spaziale scalabile che aggiorna la cache tramite incrementi locali consapevoli della topologia, evitando il costo computazionale della ricostruzione dell'intera storia.
4. Strategia di Condizionamento Disaccoppiato: Un metodo che separa i vincoli geometrici dalla generazione dell'aspetto, migliorando la coerenza della disposizione e dei materiali tra i densi nodi di panorama, preservando al contempo la qualità della sintesi 2D ad alta frequenza.

Risultati Sperimentali

Gli autori hanno valutato PanoWorld su un benchmark personalizzato derivato da dati privati e scene RealSee3D tenute da parte.

• Sintesi di Panorami: PanoWorld ha raggiunto un Overlap PSNR di 22,1365, superando significativamente il secondo miglior metodo (OmniRoam a 16,3862) di 5,75 dB. Ciò dimostra una coerenza superiore tra i nodi. Sebbene la qualità estetica del singolo nodo (HPSv3) fosse competitiva (7,9564), il guadagno principale è stato nella riduzione delle allucinazioni geometriche e materiche lungo il tour.
• Ricostruzione LRM di Intere Case: Su 50 scene RealSee3D tenute da parte, PanoWorld ha raggiunto la migliore qualità di ricostruzione tra i metodi confrontati (MVP, Adapt-Splat, WorldMirror 2.0), con un PSNR di 29,2361 (input a 8 panorami) e 28,8003 (input a 12 panorami).
• Analisi Qualitativa: I confronti visivi mostrano che PanoWorld preserva l'allineamento intorno a porte, corridoi e visuali tra stanze, mentre i metodi di base mostrano deriva strutturale, sfocatura o interferenza delle caratteristiche.

Significato e Limitazioni

Significato:
PanoWorld colma il divario tra il fotorealismo dei modelli generativi 2D e la coerenza spaziale delle rappresentazioni 3D. Trattando la sintesi di intere case come un processo autoregressivo ancorato da un proxy geometrico e una memoria 3D renderizzabile, consente la generazione di tour di intere case coerenti e ad alta fedeltà, direttamente erogabili come esperienze VR basate su nodi. Il disaccoppiamento tra geometria e aspetto permette una rapida ristrutturazione globale mantenendo l'integrità strutturale.

Limitazioni:
Gli autori riconoscono che le prestazioni del sistema dipendono dalla qualità della conversione da planimetria a shell. Errori nella geometria, topologia delle porte mancante o grandi spazi tra i nodi possono indebolire la guida della cache. Inoltre, il sistema attualmente fatica con oggetti dinamici, specchi, materiali trasparenti e occlusioni dovute a mobili pesanti. Si suggerisce un lavoro futuro per ottimizzare congiuntamente la stima della shell e la generazione e per introdurre semantica modificabile a livello di oggetto.