A 3D Isovist World Model -- Revealing a City's Unseen Geometry and Its Emergent Cross-City Signature

Resumen Técnico: Un Modelo de Mundo de Isovista 3D

Planteamiento del Problema
Los modelos actuales de modelos de mundo corporales para la navegación urbana sufren de una de dos limitaciones de representación. Los modelos de "primacía de la apariencia" predicen futuros fotogramas RGB, entrelazando la geometría con variaciones fotométricas irrelevantes como la iluminación y la textura, mientras que los modelos de "ocupación en vista de pájaro (BEV)" colapsan el entorno 3D sobre un plano de tierra 2D, descartando estructuras verticales y multinivel críticas (por ejemplo, pasos elevados, fachadas apiladas). Además, la literatura existente sobre isovistas trata los volúmenes de visibilidad como estadísticas descriptivas computadas a partir de mapas conocidos, en lugar de estados predictivos para un agente que navega sin conocimiento previo.

Este artículo propone el modelado de mundo en el espacio negativo. En lugar de predecir las apariencias de los edificios o las huellas aplanadas, el modelo predice el isovista 3D: el volumen abierto y navegable entre los edificios. Un isovista se codifica como un mapa de profundidad esférico ($D \in \mathbb{R}^{H \times W}$) que registra la distancia a la superficie más cercana en cada dirección. Esta representación es métrica, condicionada a la acción y puramente geométrica, reflejando directamente lo que un sensor de rango percibe y lo que un agente realmente atraviesa.

Metodología
Los autores introducen un modelo de mundo autorregresivo condicionado a la acción que predice el siguiente isovista ($D_{T+1}$) dado un historial de isovistas pasados ($D_{t-T} \dots D_T$) y un vector de acción de movimiento ($a$).

• Arquitectura: El modelo sigue un flujo de codificación-agregación-decodificación con una dimensión oculta de 256.
  • Codificador: Cada fotograma de contexto es procesado por una CNN de profundidad y un MLP de anclaje (que detecta 32 puntos geométricamente salientes). Estos se fusionan en tokens de fotograma.
  • Agregación Temporal: Un PathTransformer personalizado (4 capas, 8 cabezales) agrega la secuencia de tokens. Crucialmente, la codificación posicional se basa en la longitud de arco acumulada en lugar de índices de paso discretos, asegurando la invarianza ante el espaciado irregular de los pasos.
  • Condicionamiento de Acción: Un vector de acción de 5 DoF (desplazamiento y cambio de rumbo) se inserta mediante codificación de Fourier en el resumen temporal.
  • Decodificador: Un decodificador de profundidad residual predice un mapa de cambio de profundidad ($\delta$) en lugar del siguiente fotograma absoluto. La predicción final es $D_{T+1} = \text{clamp}(D_T + \delta, 0, R_{max})$. Esto permite que el modelo herede bordes de edificios nítidos del fotograma anterior, concentrando el aprendizaje en los cambios estructurados y pequeños en los bordes del campo de visión.
• Memoria Espacial Persistente: Para imponer consistencia geométrica a través de trayectorias independientes que atraviesan la misma ubicación, el modelo utiliza un mapa espacial BEV latente persistente. Este es un mapa de características latentes en una cuadrícula 2D indexado por coordenadas absolutas del mundo. El modelo lee de este mapa mediante interpolación bilineal en su posición actual y escribe en él utilizando un mecanismo de Media Móvil Exponencial (EMA). Esta memoria explícita y escribible asegura que diferentes trayectorias que cruzan la misma intersección lean y escriban la misma memoria geométrica.
• Estrategia de Entrenamiento: El modelo se entrena con muestreo programado de rollouts propios (self-rollout scheduled sampling). En lugar de corromper la entrada con desenfoque gaussiano (lo que crea isovistas inválidos y suavizados), el modelo genera su propia predicción, la cual se mezcla convexamente con la verdad de campo para formar el contexto corrompido. Esto mantiene la distribución de entrenamiento en la "variedad geométrica" válida. La función de pérdida combina un error de log-profundidad ponderado (aumentando el peso en los bordes) y un término de consistencia de gradiente.

Conjunto de Datos
Los autores construyeron un conjunto de datos reproducible utilizando datos de OpenStreetMap para Manhattan (en cuadrícula) y París (haussmanniano).

• Generación: Las huellas de los edificios fueron extruidas a alturas (con una estrategia de relleno específica para etiquetas de altura faltantes en OSM) para crear mallas estancas.
• Muestreo: Se generaron rutas alrededor de anclajes de intersecciones para asegurar solapamientos intermedios en la ruta entre trayectorias independientes.
• Creación de Isovista: Se lanzaron rayos desde puntos de observación (altura de 1.6m) para generar mapas de profundidad esféricos (resolución de $64 \times 128$).
• Protocolo: Se entrenó un único modelo ciego a la ciudad con los datos combinados sin ninguna etiqueta de ciudad como entrada.

Resultados Clave

1. Calidad de Predicción: El modelo supera a un fuerte baseline de "copia-el-último" (que simplemente repite el fotograma anterior) en Error Absoluto Medio (MAE), RMSE y Edge-F1, mientras iguala al baseline en SSIM. Esto demuestra la capacidad del modelo para aprender los cambios geométricos sutiles y estructurados en los bordes del campo de visión.
2. Firma Espacial Emergente: El hallazgo principal es que un único modelo ciego a la ciudad desarrolla una firma espacial emergente. Al sondear los latentes temporales del modelo (salida del PathTransformer) con un clasificador lineal, la identidad de la ciudad (Manhattan vs. París) es decodificable con una precisión del 89.3% (validación cruzada de cinco pliegues).
   • Esto supera significamente a un sondeo de píxeles crudos (78.5%) y a un sondeo de estadística de un solo fotograma (69.4%).
   • Esto indica que la firma no deriva de la apariencia estática, sino de cómo el modelo integra la secuencia de movimientos y la evolución del volumen de visibilidad.
3. Propiedad Reconstructiva: La acumulación de isovistas predichos a lo largo de una trayectoria recupera el "espacio positivo" (fachadas de edificios) que delimita el espacio negativo, visualizado como crestas de alta densidad en la nube de puntos.
4. Consistencia del Mapa Espacial (Preliminar): Un estudio de ablación de prueba de concepto en una intersección sintética mostró que habilitar el mapa BEV persistente mejoró las métricas de consistencia geométrica entre trayectorias (por ejemplo, +96% de IoU de vóxeles) en comparación con la condición sin mapa.

Significación y Reivindicaciones
El artículo sostiene que el modelado de mundo de espacio negativo proporciona un sustrato ligero, interpretable y reproducible para el razonamiento espacial urbano corporal.

• Contribución Principal: Demuestra que el entrenamiento predictivo en el espacio negativo geométrico, sin objetivos explícitos de localización o clasificación de ciudades, produce representaciones que codifican la morfología urbana gruesa (la "firma" de una ciudad).
• Modestia: Los autores limitan explícitamente sus afirmaciones:
  • La firma se demuestra solo en dos ciudades (Manhattan y París).
  • El resultado depende de un confundido de procedencia de altura (las alturas de París fueron mayormente imputadas mediante la mediana de los vecinos, mientras que Manhattan tuvo una mayor cobertura directa de OSM), lo cual se divulga en lugar de ocultarse.
  • El resultado de consistencia del mapa espacial es un procedimiento preliminar de prueba de concepto en una única intersección sintética, no un resultado validado a gran escala.
  • El modelo no pretende construir un mapa métrico explícito ni realizar localización en el sentido tradicional, sino que la dinámica de la navegación permite que emerja un eje decodificable de identidad de la ciudad.

El trabajo establece que la "geometría oculta" de una ciudad —su estructura navegable independiente de la apariencia— puede ser aprendida y representada puramente a través de la predicción de cómo cambia el espacio abierto a medida que un agente se desplaza.