A 3D Isovist World Model -- Revealing a City's Unseen Geometry and Its Emergent Cross-City Signature

Sintesi Tecnica: Un Modello di Mondo Isovista 3D

Inquadramento del Problema
Gli attuali modelli di mondo incorporati per la navigazione urbana soffrono tipicamente di uno dei due limiti rappresentazionali. I modelli "appearance-first" (basati sull'aspetto) prevedono futuri fotogrammi RGB, intrecciando la geometria con variazioni fotometriche irrilevanti come illuminazione e texture, mentre i modelli "Bird's-Eye-View (BEV) occupancy" (occupazione vista dall'alto) comprimono l'ambiente 3D su un piano terrestre 2D, scartando strutture verticali e multilivello critiche (es. cavalcavia, facciate sovrapposte). Inoltre, la letteratura esistente sugli isovisti tratta i volumi di visibilità come statistiche descrittive calcolate da mappe note, piuttosto che come stati predittivi per un agente che naviga senza una conoscenza pregressa.

Questo articolo propone la modellazione del mondo nello spazio negativo. Invece di prevedere l'aspetto degli edifici o le impronte piatte, il modello predice l'isovista 3D: il volume aperto e navigabile tra gli edifici. Un isovista è codificato come una mappa di profondità sferica ($D \in \mathbb{R}^{H \times W}$) che registra la distanza dalla superficie più vicina in ogni direzione. Questa rappresentazione è metrica, condizionata all'azione e puramente geometrica, riflettendo direttamente ciò che un sensore di portata percepisce e ciò che un agente effettivamente attraversa.

Metodologia
Gli autori introducono un modello di mondo autoregressivo condizionato all'azione che predice l'isovista successiva ($D_{T+1}$) dato un passato di isoviste precedenti ($D_{t-T} \dots D_T$) e un vettore di azione di movimento ($a$).

• Architettura: Il modello segue una pipeline encode-aggregate-decode con una dimensione nascosta di 256.
  • Encoder: Ogni frame di contesto è elaborato da una CNN di profondità e da un MLP anchor (che rileva 32 punti geometricamente salienti). Questi vengono fusi in token di frame.
  • Aggregazione Temporale: Un PathTransformer personalizzato (4 layer, 8 teste) aggrega la sequenza di token. Fondamentalmente, la codifica posizionale si basa sulla lunghezza d'arco cumulativa piuttosto che su indici di passo discreti, garantendo l'invarianza rispetto alla spaziatura irregolare dei passi.
  • Condizionamento all'Azione: Un vettore di azione a 5 gradi di libertà (spostamento e variazione di heading) viene inserito tramite Fourier embedding e iniettato nel riepilogo temporale.
  • Decoder: Un decoder di profondità residuo predice una mappa di variazione della profondità ($\delta$) anziché il frame assoluto successivo. La previsione finale è $D_{T+1} = \text{clamp}(D_T + \delta, 0, R_{max})$. Ciò consente al modello di ereditare i bordi netti degli edifici dal frame precedente, concentrando l'apprendimento sulle piccole variazioni strutturate ai bordi del campo visivo.
• Memoria Spaziale Persistente: Per garantire la coerenza geometrica tra percorsi indipendenti che attraversano lo stesso luogo, il modello utilizza una mappa spaziale BEV latente persistente. Si tratta di una griglia 2D di feature latenti indicizzate per coordinate assolute del mondo. Il modello legge da questa mappa tramite interpolazione bilineare nella sua posizione attuale e scrive in essa utilizzando un meccanismo di Media Mobile Esponenziale (EMA). Questa memoria esplicita e scrivibile assicura che diverse traiettorie che incrociano lo stesso incrocio leggano e scrivano la stessa memoria geometrica.
• Strategia di Addestramento: Il modello è addestrato con campionamento programmato di self-rollout. Invece di corrompere l'input con una sfocatura Gaussiana (che crea isovisti invalidi e smussati), il modello genera la propria previsione, che viene poi combinata convessamente con la verità fondamentale (ground truth) per formare il contesto corrotto. Ciò mantiene la distribuzione di addestramento sulla "varietà geometrica" valida. La funzione di perdita combina un errore di log-profondità pesato (che aumenta il peso sui bordi) e un termine di coerenza del gradiente.

Dataset
Gli autori hanno costruito un dataset riproducibile utilizzando i dati di OpenStreetMap per Manhattan (grigliata) e Parigi (haussmanniana).

• Generazione: Le impronte degli edifici sono state estrusa in altezza (con una specifica strategia di riempimento per i tag di altezza OSM mancanti) per creare mesh impermeabili.
• Campionamento: I percorsi sono stati generati attorno ad ancore di intersezione per garantire sovrapposizioni a metà percorso tra traiettorie indipendenti.
• Creazione dell'Isovista: Raggi sono stati lancciati da punti di osservazione (altezza 1.6m) per generare mappe di profondità sferiche (risoluzione $64 \times 128$).
• Protocollo: Un singolo modello city-blind (cieco rispetto alla città) è stato addestrato su tutti i dati combinati senza alcun label di città in input.

Risultati Chiave

1. Qualità della Predizione: Il modello supera un forte baseline "copy-last" (che semplicemente ripete l'ultimo frame) in termini di MAE, RMSE ed Edge-F1, e pareggia quest'ultimo su SSIM. Ciò dimostra la capacità del modello di apprendere le sottili e strutturate variazioni geometriche ai bordi del campo visivo.
2. Firma Spaziale Emergente: Il risultato principale è che un singolo modello city-blind sviluppa una firma spaziale emergente. Sondando i latenti temporali del modello (output del PathTransformer) con un classificatore lineare, l'identità della città (Manhattan vs Parigi) è decodificabile con un'accuratezza dell'89,3% (cross-validazione a cinque pieghe).
   • Questo supera significativamente un probe di pixel grezzi (78,5%) e un probe statistico di singolo frame (69,4%).
   • Ciò indica che la firma non deriva dall'aspetto statico, ma da come il modello integra la sequenza di movimenti e l'evoluzione del volume di visibilità.
3. Proprietà Ricostruttiva: Accumulando gli isovisti predetti lungo una traiettoria, si recupera lo "spazio positivo" (le facciate degli edifici) che delimita lo spazio negativo, visualizzato come creste ad alta densità nel cloud di punti.
4. Coerenza della Mappa Spaziale (Preliminare): Un'ablation study di prova concettuale su un incrocio sintetico ha mostrato che l'abilitazione della mappa BEV persistente ha migliorato le metriche di coerenza geometrica tra i percorsi (es. +96% voxel IoU) rispetto alla condizione senza mappa.

Significatività e Rivendicazioni
Il paper sostiene che la modellazione del mondo dello spazio negativo fornisce un substrato leggero, interpretabile e riproducibile per il ragionamento spaziale urbano incarnato.

• Contributo Centrale: Dimostra che l'addestramento predittivo sullo spazio negativo geometrico, senza obiettivi espliciti di localizzazione o classificazione della città, produce rappresentazioni che codificano la morfologia urbana grossolana (la "firma" di una città).
• Modestia: Gli autori limitano esplicitamente le loro rivendicazioni:
  • La firma è dimostrata solo su due città (Manhattan e Parigi).
  • Il risultato dipende da un confound di provenienza dell'altezza (le altezze di Parigi sono state ampiamente imputate tramite la mediana dei vicini, mentre Manhattan aveva una maggiore copertura diretta OSM), cosa che viene dichiarata anziché nascosta.
  • Il risultato della coerenza della mappa spaziale è una prova concettuale preliminare su un singolo incrocio sintetico, non un risultato validato su larga scala.
  • Il modello non pretende di costruire una mappa metrica esplicita o di eseguire la localizzazione nel senso tradizionale, ma piuttosto che un asse decodificabile di identità cittadina emerge dalla dinamica della navigazione.

Il lavoro stabilisce che la "geometria nascosta" di una città — la sua struttura navigabile indipendente dall'aspetto — può essere appresa e rappresentata esclusivamente attraverso la predizione di come lo spazio aperto cambia mentre un agente si muove.