A 3D Isovist World Model -- Revealing a City's Unseen Geometry and Its Emergent Cross-City Signature

기술 요약: 3D 이소비스트(Isovist) 월드 모델

문제 정의
현재의 도시 탐색을 위한 체화된(embodied) 월드 모델들은 일반적으로 두 가지 표현상의 한계에 직면해 있다. "외형 우선(Appearance-first)" 모델은 미래의 RGB 프레임을 예측하는데, 이는 기하학적 구조를 조명이나 질감 같은 무관한 광도 변화와 결합시킨다. 반면 "BEV(Bird's-Eye-View) 점유율" 모델은 3D 환경을 2D 지면 평면에 투영하여 압착함으로써, 고가도로나 다층 구조물과 같은 중요한 수직 및 다층 구조를 소실시킨다. 나아가, 기존의 이소비스트 문헌은 가시성 볼륨(visibility volumes)을 사전 지식 없이 탐색하는 에이전트를 위한 예측 상태가 아니라, 알려진 지도로부터 계산된 기술 통계량으로 취급한다.

본 논문은 음의 공간(negative space)에서의 월드 모델링을 제안한다. 본 모델은 건물의 외형이나 평면적인 발자국을 예측하는 대신, 건물 사이의 열린 항해 가능 볼륨인 3D 이소비스트를 예측한다. 이소비스트는 모든 방향에서의 가장 가까운 표면까지의 거리를 기록하는 구형 깊이 맵($D \in \mathbb{R}^{H \times W}$)으로 인코딩된다. 이 표현은 미터법 기반이며, 행동 조건부(action-conditioned)이고 순수하게 기하학적이며, 범위 센서(range sensor)가 인지하는 바와 에이전트가 실제로 통과하는 경로를 직접적으로 반영한다.

방법론
저자들은 과거 이소비스트들의 이력($D_{t-T} \dots D_T$)과 이동 행동 벡터($a$)가 주어졌을 때 다음 이소비스트($D_{T+1}$)를 예측하는 행동 조건부 자기회귀(autoregressive) 월드 모델을 도입한다.

• 아키텍처: 모델은 은닉 차원 256을 갖는 인코드-집계-디코드(encode-aggregate-decode) 파이프라인을 따른다.
  • 인코더(Encoder): 각 컨텍스트 프레임은 깊이 CNN과 앵커 MLP(32개의 기하학적으로 돌출된 지점 탐지)에 의해 처리되며, 이들은 프레임 토큰으로 융합된다.
  • 시간적 집계(Temporal Aggregation): 이 커스텀 PathTransformer(4개 레이어, 8개 헤드)가 토큰 시퀀스를 집계한다. 결정적으로, 위치 인코딩은 이산적인 단계 인덱스가 아닌 **누적 호 길이(cumulative arc-length)**를 기반으로 하여, 불규칙한 단계 간격에 대한 불변성을 보장한다.
  • 행동 조건부(Action Conditioning): 5-DoF 행동 벡터(변위 및 헤딩 변화)가 푸리에 임베딩(Fourier-embedded)되어 시간적 요약에 주입된다.
  • 디코더(Decoder): 잔차 깊이 디코더는 절대적인 다음 프레임이 아닌 깊이 변화 맵($\delta$)을 예측한다. 최종 예측은 $D_{T+1} = \text{clamp}(D_T + \delta, 0, R_{max})$이다. 이를 통해 모델은 이전 프레임으로부터 날카로운 건물 경계선을 상속받고, 시야각 가장자리의 작고 구조적인 변화에 학습을 집중할 수 있다.
• 지속적 공간 메모리(Persistent Spatial Memory): 동일한 위치를 통과하는 독립적인 경로들 사이에서 기하학적 일관성을 강제하기 위해, 모델은 지속적인 잠재 BEV 공간 맵을 활용한다. 이는 절대적 세계 좌표에 키가 지정된 잠재 특징의 2D 그리드이다. 모델은 현재 위치에서 선형 보간을 통해 이 맵을 읽고, 지수 이동 평균(EMA) 메커니즘을 사용하여 맵에 쓴다. 이러한 명시적이고 쓰기가 가능한 메모리는 동일한 교차로를 가로지르는 서로 다른 궤적들이 동일한 기하학적 메모리를 읽고 쓰도록 보장한다.
• 학습 전략: 모델은 **자기 롤아웃 샘플링 스케줄링(self-rollout scheduled sampling)**으로 학습된다. 입력에 가우시안 블러를 적용하여 무효하고 부드러워진 이소비스트를 만드는 대신, 모델은 자신의 예측을 생성하고 이를 실제 정답(ground truth)과 볼록 결합(convexly blended)하여 오염된 컨텍스트를 형성한다. 이는 학습 분포를 유효한 "기하학 매니폴드" 위에 유지시킨다. 손실 함수는 가중 로그 깊이 오차(경계 부분에 가중치 부여)와 그래디언트 일관성 항을 결합한다.

데이터셋
저자들은 맨해튼(격자형)과 파리(오스만 양식)의 OpenStreetMap 데이터를 사용하여 재현 가능한 데이터셋을 구축했다.

• 생성: 건물 발자국은 높이(누락된 OSM 높이 태그에 대한 특정 백필 전략 포함)까지 돌출되어 수밀(watertight) 메쉬를 생성했다.
• 샘플링: 독립적인 궤적 간의 경로 중첩을 보장하기 위해 교차로 앵커 주변에서 경로를 생성했다.
• 이소비스트 생성: 관측 지점(높이 1.6m)에서 광선(rays)을 투사하여 구형 깊이 맵($64 \times 128$ 해상도)을 생성했다.
• 프로토콜: 단일 도시 불가지(city-blind) 모델이 도시 레이블 없이 결합된 데이터로 학습되었다.

주요 결과

1. 예측 품질: 모델은 MAE, RMSE, Edge-F1 측면에서 강력한 "copy-last" 베이스라인(이전 프레임을 단순히 반복하는 모델)을 능가하며, SSIM에서는 베이스라인과 대등한 성능을 보인다. 이는 모델이 시야 가장자리의 미세하고 구조적인 기하학적 변화를 학습할 수 있음을 입증한다.
2. 창발적 도시 시그니처(Emergent Cross-City Signature): 핵심적인 발견은 단일 도시 불가지 모델이 창발적 공간 시그니처를 개발한다는 것이다. 모델의 시간적 잠재 변수(PathTransformer 출력)를 선형 분류기로 조사했을 때, 도시 정체성(맨해튼 vs 파리)은 89.3%의 정확도(5-겹 교차 검증)로 디코딩 가능했다.
   • 이는 원본 픽셀 프로브(78.5%) 및 단일 프레임 통계 프로브(69.4%)를 크게 상회하는 수치이다.
   • 이는 시그니처가 정적인 외형에서 유도된 것이 아니라, 모델이 움직임의 시퀀스와 가시성 볼륨의 진화를 어떻게 통합하는지에서 유도되었음을 나타낸다.
3. 재구성 속성: 궤적을 따라 예측된 이소비스트를 누적하면, 음의 공간을 둘러싸는 "양의 공간(건물 파사드)"을 복구할 수 있으며, 이는 포인트 클라우드의 고밀도 능선(ridges)으로 시각화된다.
4. 공간 맵 일관성 (예비 연구): 합성 교차로에 대한 개념 증명용 절제 실험(ablation) 결과, 지속적 BEV 맵을 활성화하면 맵을 끄는 조건보다 교차 경로 간 기하학적 일관성 지표(예: +96% voxel IoU)가 개선됨을 보여주었다.

의의 및 주장
본 논문은 음의 공간 월드 모델링이 체화된 도시 공간 추론을 위한 가볍고 해석 가능하며 재현 가능한 기질을 제공한다고 주장한다.

• 핵심 기여: 명시적인 위치 추정이나 도시 분류 목적 함수 없이도, 기하학적 음의 공간에 대한 예측 학습이 도시의 조형(morphology)을 인코딩하는 표현(시그니처)을 생성함을 입증한다.
• 한계 인정: 저자들은 다음과 같이 주장의 범위를 명시적으로 제한한다:
  • 시그니처는 단 두 개의 도시(맨해튼과 파리)에서만 입증되었다.
  • 결과는 **높이 출처의 혼란 변수(height-provenance confound)**에 의존한다(파리의 높이는 주로 이웃 중앙값으로 임퓨테이션된 반면, 맨해튼은 높은 직접 OSM 커버리지를 가짐). 이는 숨기지 않고 공개되었다.
  • 공간 맵 일관성 결과는 대규모 검증된 결과가 아닌, 단일 합성 교차로에 대한 예비 개념 증명이다.
  • 모델은 전통적인 의미의 명시적 미터법 지도 구축이나 위치 추정을 목표로 하지 않으며, 단지 항해의 역학으로부터 디코딩 가능한 도시 정체성의 축이 창발된다는 것을 보여준다.

본 연구는 에이전트가 이동함에 따라 열린 공간이 어떻게 변화하는지를 예측하는 것만으로도, 도시의 "숨겨진 기하학"—외형과는 독립적인 항해 가능한 구조—을 학습하고 표현할 수 있음을 확립한다.