기술 요약: PanoWorld

문제 정의

평면도와 스타일 참조와 같은 희소 건축 입력으로부터 몰입감 있고 일관된 전체 주택 가상 현실 (VR) 투어를 합성하는 것은 공간 생성 분야에서 중요한 과제입니다. 기존 패러다임은 사진 수준의 사실성과 교차 시점 공간 일관성이라는 두 가지 요구 사항을 동시에 충족하는 데 어려움을 겪습니다:

• 순수 2D 생성기: 사실적인 조명과 질감을 가진 고품질 단일 파노라마를 생성할 수는 있지만, 지속 가능한 공간 기억이 부족합니다. 시점이 변경됨에 따라 이러한 모델은 종종 기하학적 구조와 재료를 '재상상'하여 다른 노드 간에 문 모양, 벽 위치, 가구 배치 등에서 불일치를 초래합니다.
• 단일 3D 생성: 전역 3D 표현 (예: NeRF, 3DGS, 메시) 에 의존하는 방법은 일관성을 위한 자연스러운 경로를 제공하지만, 다중 방 주택 환경으로 확장될 경우 계산 비용이 많이 들고 미세한 질감 충실도가 손실됩니다. 이러한 방법들은 종종 높은 메모리 사용량, 느린 추론, 그리고 2D 모델이 상업적 시각화에 매력적이게 만드는 시각적 품질 저하에 직면합니다.

현재 상업용 VR 투어는 노드 기반 논리 (사용자가 파노라마에 서서 인접한 노드로 이동) 에 기반하여 운영되며, 연속적인 6 자유도 (6-DoF) 탐색이 아닙니다. 그러나 기존 생성 모델은 방과 문간을 가로지르는 장거리 일관성을 보장하기 위해 이러한 이산적 구조를 효과적으로 활용하지 못합니다.

방법론

PanoWorld 는 전체 주택 합성을 노드 기반 360 도 파노라마의 자기회귀 생성으로 취급하는 생성형 공간 세계 모델을 도입합니다. 이 시스템은 고주파수 2D 합성 품질을 유지하면서 노드 간 일관성을 보장하기 위해 기하학적 안내와 시각적 기억을 분리합니다.

1. 전역 기하학적 프록시

시스템은 2D 평면도를 벽, 바닥, 천장, 방 레이블, 그리고 문 연결성을 포함하는 조잡한 3D 쉘로 변환합니다. 이 쉘은 최종 시각적 자산이 아닌 구조적 인터페이스로 작용합니다. 이는 목표 및 보조 시점에서 렌더링되어 대규모 배치, 개구부, 그리고 방 범위를 결정하는 최종 질감을 지시하지 않으면서 제약하는 기하학적 프록시 (법선 및 의미론적 분할) 를 제공합니다.

2. 자기회귀 합성 루프

PanoWorld 는 탐색 경로를 따라 파노라마를 순차적으로 생성합니다:

1. 초기화: 시작 파노라마는 쉘에서 유도된 기하학적 프록시와 스타일 참조로부터 합성됩니다.
2. 리프팅: 이 초기 파노라마는 파노라마 대형 재구성 모델 (LRM) 을 사용하여 초기 3D 가우스 스플래팅 (3DGS) 캐시로 리프팅됩니다.
3. 점진적 생성: 각 후속 노드에 대해 시스템은 다음을 수행합니다:
   • 현재 3DGS 캐시에서 시각적 기억을 렌더링합니다.
   • 이 기억을 기하학적 프록시 및 인접 파노라마와 결합합니다.
   • 다음 고해상도 파노라마를 합성합니다.
   • 로컬 3DGS 증분으로 캐시를 업데이트합니다.

3. 주요 아키텍처 구성 요소

방 인지형 파노라마 LRM

다중 뷰 360 도 관측을 단일 패스로 로컬 3DGS 업데이트로 리프팅하도록 설계된 피드포워드 파노라마 LRM 입니다.

• 원형 위치 인코딩 (CPRoPE): 이퀴rectangular 파노라마에 플러커 - 레이 (Plucker-ray) 및 PRoPE 인코딩을 적용합니다. 외부 파라미터만 사용하는 레이와 주기적인 수평 좌표계를 사용하여 파노라마 이음새 전반에 걸쳐 어텐션 연속성을 보장합니다.
• 방 인지형 그룹 어텐션: 벽을 가로지르는 질감 누출을 방지하기 위해, 모델은 마스크된 어텐션 메커니즘을 사용합니다. 동일한 방의 노드에서 온 토큰은 밀집하게 상호작용하는 반면, 방 간의 통신은 위상적으로 연결된 문/경계 노드로만 제한됩니다. 이는 기하학적 장벽을 가로질러 관련 없는 증거가 혼합되는 것을 방지합니다.

위상 인지형 점진적 3DGS 캐싱

PanoWorld 는 각 단계에서 전체 역사를 재구성하는 대신 로컬 증분을 통해 업데이트되는 동적 캐시를 유지합니다.

• 컨텍스트 구성: 새로운 노드의 경우, LRM 은 새로운 노드, 동일한 방 내의 인접 노드, 그리고 문을 통해 연결된 경계 노드로 구성된 고정 크기의 컨텍스트를 처리합니다.
• 보수적 병합: 로컬 가우스 업데이트는 정렬, 신뢰도 기반 특징 선택, 그리고 가시성 가지치기를 사용하여 전역 캐시에 병합됩니다. 특히, 시스템은 고주파수 뷰 의존 특징을 보존하기 위해 구형 조화 (SH) 계수의 공격적인 색상 평균화를 피하며, 대신 기본 색상만 혼합하고 고차 계수는 지배적인 가우스에서 상속합니다.
• 방간 기억 필터링: 깊이 게이트는 평면도 쉘을 사용하여 첫 번째 가시 방 표면 뒤에 있는 캐시 픽셀을 필터링하여 오래된 방 벽 질감이 새로운 방으로 누출되는 것을 방지합니다.

분리된 안내

2D 파노라마 생성기 (Qwen-Image-Edit 기반) 는 두 가지 구별된 입력을 받습니다:

1. 기하학적 프록시: 벽, 바닥, 배치를 제약합니다.
2. 시각적 기억: 이전에 관찰된 영역에 대한 공간적으로 정렬된 외관 컨텍스트를 제공합니다.
   이 분리는 2D 생성기가 거친 기하학에 의해 덮어쓰지 않거나 3D 기억과 일관성을 잃지 않으면서 사실적인 질감 품질을 유지하도록 보장합니다.

주요 기여

1. 노드 기반 세계 모델 공식화: 상업용 노드 기반 투어 논리와 일치하는 전체 주택 VR 합성을 위한 새로운 접근 방식으로, 경량 3D 기억을 사용하여 일관성을 유지하면서 고품질 파노라마 노드를 생성합니다.
2. 방 인지형 파노라마 LRM: 다중 뷰 파노라마로부터 미터 규모 다중 방 재구성을 단일 피드포워드 패스로 수행하도록 설계된 최초의 LRM 스타일 모듈로, 마스크된 어텐션을 활용하여 방간 특징 간섭을 억제합니다.
3. 위상 인지형 점진적 3DGS 캐싱: 전체 역사 재구성의 계산 비용을 피하면서 로컬 위상 인지 증분을 통해 캐시를 업데이트하는 확장 가능한 공간 기억 전략입니다.
4. 분리된 조건부 전략: 기하학적 제약과 외관 생성을 분리하여 밀집된 파노라마 노드 전반에 배치 및 재료 일관성을 개선하면서 고주파수 2D 합성 품질을 유지하는 방법입니다.

실험 결과

저자들은 PanoWorld 를 비공개 데이터에서 파생된 커스텀 벤치마크와 홀드아웃 RealSee3D 장면에 대해 평가했습니다.

• 파노라마 합성: PanoWorld 는 Overlap PSNR 22.1365를 달성하여 두 번째로 좋은 방법 (OmniRoam, 16.3862) 보다 5.75dB 크게 우세했습니다. 이는 우수한 노드 간 일관성을 보여줍니다. 단일 노드 미적 품질 (HPSv3) 은 경쟁력 있었으나 (7.9564), 주요 이득은 투어 전반에 걸쳐 기하학 및 재료 환각을 줄이는 데 있었습니다.
• 전체 주택 LRM 재구성: 50 개의 홀드아웃 RealSee3D 장면에서 PanoWorld 는 비교된 방법들 (MVP, Adapt-Splat, WorldMirror 2.0) 중 가장 좋은 재구성 품질을 달성했으며, 8 파노라마 입력 기준 PSNR 29.2361, 12 파노라마 입력 기준 PSNR 28.8003을 기록했습니다.
• 정성적 분석: 시각적 비교는 PanoWorld 가 문간, 복도, 그리고 방간 뷰 주변에서 정렬을 유지하는 반면, 베이스라인 방법들은 구조적 드리프트, 흐림, 또는 특징 간섭을 보임을 보여줍니다.

의의 및 한계

의의:
PanoWorld 는 2D 생성 모델의 사실성과 3D 표현의 공간 일관성 사이의 간극을 메웁니다. 전체 주택 합성을 기하학적 프록시와 렌더 가능한 3D 기억에 기반한 자기회귀 과정으로 취급함으로써, 노드 기반 VR 경험으로 직접 전달 가능한 일관되고 고희실도 전체 주택 투어 생성을 가능하게 합니다. 기하학과 외관의 분리는 구조적 무결성을 유지하면서 빠른 전역 스타일 변경을 허용합니다.

한계:
저자들은 시스템 성능이 평면도 - 쉘 변환의 품질에 의존한다고 인정합니다. 기하학적 오류, 누락된 문 위상, 또는 노드 간 큰 간격은 캐시 안내를 약화시킬 수 있습니다. 또한, 현재 시스템은 동적 객체, 거울, 투명 재료, 그리고 무거운 가구 가림에 어려움을 겪습니다. 향후 작업으로는 쉘 추정과 생성을 공동으로 최적화하고 객체 수준 편집 가능 의미론을 도입하는 것이 제안됩니다.