💻 computer science

PanoramicSplat: Scaling 3D Gaussian Splatting for Single-View Large-Scale Outdoor Reconstruction

PanoramicSplat은 파노라마 감독, 시맨틱 인식 깊이 정규화, 그리고 방사형 가중 광도 손실을 통합함으로써 대규모 실외 환경의 정확한 단일 뷰 재구성을 가능하게 하는 새로운 3D 가우시안 스플래팅 프레임워크이며, 새롭게 구축된 Google Earth Studio 벤치마크에서 최첨단 성능을 달성하였습니다.

원저자: Zijian Wu, Zhen Ye

게시일 2026-10-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zijian Wu, Zhen Ye

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

단 한 장의 사진만으로 거대한 도시를 정교한 3차원 지도로 만드는 일을 상상해 보십시오. 수십 년 동안 컴퓨터 과학자들은 이 난제를 해결하기 위해 고군분투해 왔습니다. 전통적인 방식은 건물의 형태와 도로를 삼각 측량하기 위해 모든 각도에서 수십 대의 카메라로 사진을 찍어야 하는데, 이 과정은 정밀하지만 느리고 무거운 장비를 필요로 합니다. 인공지능을 활용한 최신 기술들은 단 한 장의 이미지로부터 누락된 깊이(depth)를 추측하는 법을 배웠지만, 광활하고 복잡한 야외 현실 앞에서는 종종 실수를 범하곤 합니다. 자동차 한 대나 작은 공원은 아름답게 재구성할 수 있을지 몰라도, 우뚝 솟은 마천루, 구불구불한 도로, 멀리 보이는 언덕이 있는 전체 도시 경관을 모델링하라고 하면 결과물이 흐릿하거나 왜곡되거나 불완전해지는 경우가 많습니다. 이 과제의 핵심은 컴퓨터에게 단순히 벽의 질감을 이해하는 것을 넘어, 단 하나의 외로운 시점에서만 본 세상의 거대한 규모와 숨겨진 기하학적 구조를 이해하도록 가르치는 데 있습니다.

한 연구팀이 '파노라믹스플랫(PanoramicSplat)'이라는 새로운 시스템을 통해 이 문제를 해결하는 데 중요한 진전을 이루었습니다. 이들은 단 하나의 이미지가 불가능한 일을 억지로 해내도록 강요하는 대신, 컴퓨터가 도시를 선회하는 드론처럼 생각하도록 가르치는 프레임워크를 만들었습니다. 핵심 아이디어는 '3D 가우시안 스플래팅(3D Gaussian Splatting)'이라 불리는 기술에 기반하며, 이는 장면을 고체 메쉬나 점들의 집합이 아닌, 수백만 개의 작고 뭉글뭉글한 타원체(ellipses) 구름으로 표현합니다. 이 타원체들을 색상, 투명도, 위치에 대한 정보를 담고 있는 부드럽고 빛나는 거품이라고 생각해 보십시오. 컴퓨터는 사진을 볼 때, 그 장면을 재현하기 위해 이 거품들이 어디에 있어야 하고 어떤 모양이어야 하는지를 예측합니다. 여기서의 혁신은 연구진이 단 한 장의 사진만 보았음에도 불구하고, 컴퓨터가 장면의 앞, 뒤, 왼쪽, 오른쪽에서 보았을 때의 모습을 동시에 상상하도록 훈련시켰다는 점입니다. 이 상상된 시점들이 원래의 이미지와 논리적으로 일치하도록 컴퓨터에게 강제함으로써, 시스템은 훨씬 더 안정적이고 정확한 전체 환경의 3D 모델을 구축하는 법을 배웁니다.

이를 구현하기 위해 연구팀은 기존 시스템들이 흔히 겪는 세 가지 주요 장애물을 극복해야 했습니다. 첫째, 넓은 야외 장면은 매우 무질서합니다. 울창한 숲부터 딱딱한 마천루까지 모든 것이 포함되어 있어, 컴퓨터는 어떤 부분이 가깝고 어떤 부분이 먼지 혼동하기 쉽습니다. 이를 해결하기 위해 연구진은 시스템이 이미지의 '의미'에 주목하도록 가르쳤습니다. 그들은 건물, 나무, 도로와 같은 객체를 자동으로 식별할 수 있는 도구를 사용했고, 이러한 객체의 가장자리를 날카롭고 뚜렷하게 유지하는 특별한 규칙을 적용했습니다. 이는 컴퓨터가 나무를 도로로, 혹은 건물을 하늘로 흐릿하게 뭉개버리는 것을 방지합니다. 둘째, 시스템은 이미지의 어느 부분이 가장 중요한지 알아야 했습니다. 연구진은 가장 결정적인 기하학적 세부 사항이 주로 존재하는 사진의 중앙부에 컴퓨터의 주의를 집중시키고, 사진의 흐릿한 가장자리 부분에 대해서는 요구 수준을 완화하는 방식을 설계했습니다. 이를 통해 시스템이 유용한 정보를 거의 제공하지 않는 영역에 노력을 낭비하는 것을 막았습니다. 마지막으로, 그들은 실제로는 사진에 기여하지 않는 수백만 개의 작은 거품들을 제거하는 정리(pruning) 과정을 도입했습니다. 이 정제 과정은 최종 재구성 모델이 효율적이고 시각적 잡음이 없도록 보장합니다.

연구진은 단순히 이론에 머물지 않고, 이를 테스트하기 위한 거대한 훈련장을 구축했습니다. 디지털 시뮬레이션 도구를 사용하여 전 세계 20개 도시의 고해 resoltion 항공 뷰를 생성하여 뉴욕의 스카이라인부터 런던의 역사적 지구까지 모든 것을 포착했습니다. 그들은 시스템이 위에서 내려다본 실제 도시의 모습을 학습할 수 있도록 정확한 카메라 위치 정보가 포함된 약 25,000장의 이미지 데이터셋을 만들었습니다. 이 새로운 방식을 기존 기술들과 비교했을 때 결과는 명확했습니다. 시뮬레이션에서 그들의 시스템은 이전의 최고 방법들보다 훨씬 더 선명하고 정확한 이미지를 생성했습니다. 이는 재구성된 장면의 선명도를 측정 가능한 수준으로 개선했으며, 컴퓨터가 깊이와 질감을 인식하는 과정에서의 오류를 줄였습니다. 시스템은 이전 모델들이 여러 대의 카메라 각도 없이는 달성하기 어려웠던, 건물의 날카로운 선과 도로의 복잡한 패턴을 보존하는 수준의 디테일로 복잡한 도시 환경을 재구성할 수 있었습니다.

또한 이 연구는 컴퓨터가 이전에 본 적 없는 실제 이미지를 마주했을 때도 이 방식이 작동한다는 것을 보여주었습니다. 도시 위를 비행하는 드론이 촬영한 실제 사진으로 테스트했을 때, 시스템은 기하학적 구조의 무결성과 질감의 풍부함을 유지하며 3D 구조를 성공적으로 재건했습니다. 시스템은 단순히 훈련된 도시들을 암기한 것이 아니라, 야외 공간이 어떻게 구성되는지에 대한 근본적인 규칙을 학습한 것입니다. 이 시스템이 아직 완벽하지 않으며 여전히 초기 깊이 예측의 품질에 의존하고 있기는 하지만, 이는 상당한 도약입니다. 이는 단 한 장의 사진만으로도 대규모 환경의 디지털 트윈을 생성할 수 있는 미래, 즉 도시 계획, 역사적 유적 보존, 또는 세계 항해 방식 등을 변화시킬 수 있는 능력에 우리가 더 가까워지고 있음을 시사합니다. 연구진은 자신들의 작업이 시작점이며, 향후 3D 형태를 초기화하는 더 나은 방법이나 한 장의 이미지 대신 몇 장의 이미지를 사용하는 방식으로 시스템을 적응시키는 것을 통해 개선될 수 있다고 인정했습니다. 하지만 현재로서는, 스마트한 감독과 세심한 디테일에 대한 주의를 결합함으로써 3D 재구성을 실제 세계의 광대함으로 확장하는 것이 가능하다는 것을 입증해 냈습니다.

기술 요약: PanoramicSplat

문제 정의
최근 단일 뷰(single-view) 3D 재구성 분야에서 상당한 진전이 있었으나, 복잡하고 대규모인 실외 환경을 정확하게 재구성하는 것은 여전히 중요한 과제로 남아 있습니다. 확산 기반(diffusion-based) 접근 방식과 신경 방사장(NeRF)을 포함한 기존 방법들은 큰 시점 변화에 따른 기하학적 일관성을 유지하는 데 어려움을 겪거나 높은 계산 비용을 초래하는 경우가 많습니다. 또한, 현재의 3D 가우시안 스플래팅(3DGS) 기술은 주로 개별 객체나 소규모 장면에 최적화되어 있습니다. 이를 광활한 실외 환경에 적용할 경우, 다음과 같은 세 가지 주요 장벽에 직면합니다:

기하학적 복잡성: 다중 스케일 공간 속성과 이질적인 구성 요소(예: 건축물, 식생, 인프라)의 결합으로 인해, 전역적 위상 일관성과 국소적 기하학적 정확도를 동시에 유지하기가 어렵습니다.
깊이 모호성: 원거리 영역에서의 질감 저하와 시차(parallax) 정보의 부재는 단안 깊이 추정(monocular depth estimation)의 누적된 부정확성을 초래하며, 이는 오픈 월드 환경에서 표준적인 기하학적 사전 지식(priors)을 무효화합니다.
데이터 부족: 대규모 실외 단일 뷰 재구성을 위해 특별히 설계된 고품질 데이터셋이 부족합니다.

방법론
저자들은 단일 이미지로부터 단안 대규모 장면 재구성을 위해 설계된 3D 가우시안 스플래팅 기반 프레임워크인 PanoramicSplat을 제안합니다. 이 시스템은 UNet 기반 아키텍처를 사용하여 입력 이미지로부터 픽셀 정렬된 3D 가우시안 파라미터를 회귀합니다. 본 방법론은 네 가지 핵심 구성 요소로 구축되었습니다:

파노라마 감독 (Panoramic Supervision): 단일 뷰의 모호성을 완화하기 위해, 프레임워크는 훈련 과정에서 순환적 다중 뷰 일관성(cyclic multi-view consistency)을 강제합니다. 가상 카메라 리그가 재구성 대상 주변의 네 가지 시점(전, 후, 좌, 우)을 샘플링합니다. 모델은 이 관점들로부터 새로운 뷰를 합성하며, 파노라마 손실(loss)은 이 시점들 간의 평균 차이로 계산됩니다. 이는 모델이 단일 시점 방향에 과적합되지 않고 다양한 기하학적 제약 조건을 학습하도록 유도합니다.
의미론적 인식 깊이 정규화 (Semantic-Aware Depth Regularization): 전역적 위상과 국소적 충실도의 균형을 맞추기 위해, 이 방법은 객체 수준의 의미론적 제약을 통합합니다. Segment Anything Model 2 (SAM 2)를 사용하여 인스턴스 마스크를 생성하고, 신뢰도와 에지 안정성에 따라 필터링합니다. 이 마스크들은 경계 인식 깊이 손실(boundary-aware depth loss)을 가이드하며, 전경과 배경 영역에 서로 다른 가중치 계수를 적용하여 날카로운 객체 경계와 개선된 깊이 정확도를 보장합니다.
방사형 가중치 광도 손실 (Radially Weighted Photometric Loss): 중심 영역이 더 중요한 기하학적 단서를 포함하는 반면 주변부 영역은 제약 조건이 약해지는 점을 인식하여, 저자들은 계층적 가중치 전략을 도입했습니다. 손실 함수는 이미지를 세 개의 동심원 구역(내부 원, 전이 환형 구역, 외부 영역)으로 나누고 감소하는 가중치(1.0, 0.5, 0.25)를 부여합니다. 이는 기하학적으로 유익한 중심부의 재구성 충실도를 강조하는 동시에 주변부의 노이즈를 억제합니다.
가우시안 프루닝 (Gaussian Pruning): 단일 이미지에서 생성된 조밀한 가우시안 그리드에 내재된 중복성을 해결하기 위해, $L_1$ 정규화를 사용하는 게이팅 메커니즘이 사용됩니다. 이는 게이팅 계수를 0으로 유도함으로써 중요도가 낮은 가우시안을 동적으로 억제하여, 희소성을 촉진하고 인접 구조 간의 질감 번짐(texture bleeding)을 줄입니다.

데이터셋 구축
훈련 데이터의 부족을 해결하기 위해, 저자들은 Google Earth Studio를 사용하여 대규모 실외 데이터셋을 구축했습니다. 이 데이터셋은 뉴욕, 런던, 도쿄를 포함한 20개의 글로벌 대도시를 포괄하며, 도심 지구, 수변 지역, 산업 지대와 같은 다양한 도시 유형을 캡처합니다. 250개의 각 장면에 대해 드론과 유사한 원형 궤적을 시뮬레이션하여 70~130개의 고해상도(1024×1024) 프레임을 렌더링했습니다. 카메라 내적 및 외적 파라미터는 COLOMP의 Structure-from-Motion 파이프라인을 사용하여 추정되었습니다. 데이터셋은 훈련, 검증, 테스트 세트(9:1:1)로 분할되었습니다.

결과
프레임워크는 렌더링된 장면 벤치마크에서 평가되었으며, 미학습된 실제 드론 영상에서도 테스트되었습니다.

정량적 성능: 보고된 벤치마크에서 PanoramicSplat은 19.28 PSNR, 0.4182 SSIM, 0.4536 LPIPS를 달성했습니다.
- 재학습된 베이스라인(Flash3D 및 Splatter Image)과 비교했을 때, PSNR은 1.17–1.45 dB 향상되었고 LPIPS는 26.2–37.6% 감소했습니다.
- 제로샷 베이스라인(GaussianAnything 및 Real3D)과 비교했을 때, PSNR이 3.0 dB 이상 향상되고 LPIPS가 크게 감소하는 등 더욱 상당한 이득을 보여주었습니다.
정성적 성능: 시각적 비교 결과, PanoramicSplat은 왜곡된 기하 구조나 불완전한 구조를 생성하는 베이스라인들에 비해 복잡한 도시 환경에서 상세한 경계와 질감을 더 잘 보존함을 보여줍니다.
절제 연구 (Ablation Studies): 네 가지 핵심 구성 요소(파노라마 감독, 의미론적-깊이 정규화, 방사형 가중치, 가우시안 프루닝) 중 하나라도 제거하면 모든 품질 지표에서 측정 가능한 저하가 발생하여, 각 모듈의 필요성을 확인했습니다.
일반화: 모델은 미학습된 실제 드론 촬영 데이터에서도 견고한 성능을 입증하였으며, 높은 기하학적 및 질감 충실도로 복잡한 3D 장면을 정확하게 재구성했습니다.

의의 및 주장
저자들은 PanoramicSplat을 가우시안 표현을 사용하여 복잡한 대규모 실외 장면의 단일 이미지 3D 재구축 문제를 명시적으로 다룬 최초의 연구 중 하나로 자리매김합니다. 본 논문은 제안된 프레임워크가 대규모 디지털 트윈 구축을 위한 유망한 접근 방식을 제공한다고 주장합니다.

본 연구의 의의는 다음과 같습니다:

데이터셋 기여: 대규모 실외 재구성을 위한 포괄적이고 공개 가능한 벤치마크를 제공합니다.
방법론적 혁신: 객체 수준의 일관성과 교차 뷰 기하학적 정렬을 동시에 강제하는 다중 모달 감독 패러다임을 도입하여, 기존의 소규모 중심 방법들의 한계를 극복했습니다.
실용적 유용성: 특정 정규화 및 손실 가중치를 통해 3DGS가 실제 도시 환경의 기하학적 복잡성을 처리할 수 있도록 확장 가능함을 입증했습니다. 다만, 저자들은 성능이 추정된 깊이, 의미론적 마스크 및 훈련 데이터의 품질에 의존한다는 점을 언급했습니다.

저자들은 결과가 유망하지만, 방법의 일반화와 실용적 유용성을 완전히 확립하기 위해서는 다양한 실제 장면에서의 추가적인 평가가 필요하다는 점을 인정하며 겸손한 어조를 유지하고 있습니다. 또한, 더 나은 초기화를 위해 기하학적 사전 지식(예: MASt3R)을 통합하고, 이 패러다임을 희소 뷰(sparse-view) 시나리오로 확장하는 등의 향후 연구 방향을 제시했습니다.

기술 요약: PanoramicSplat

유사한 논문