💻 computer science

GS-Voxel: Fitting-Free Structured Latents for Large-Scale 3DGS Generation

GS-Voxel은 사전 최적화된 3D 가우시안 스플래팅 재구성을 구조화된 희소 복셀 잠재 공간으로 변환하는 피팅 프리(fitting-free) 프레임워크를 도입하여, 장면별 최적화 없이도 대규모 항공 3D 장면의 확장 가능한 이미지 조건부 생성을 가능하게 한다.

원저자: Ming Qian, Zijian Wang, Minchao Sun, Jincheng Xiong, Hang Zhang, Mu Xu, Chi Wang, Baoquan Chen

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ming Qian, Zijian Wang, Minchao Sun, Jincheng Xiong, Hang Zhang, Mu Xu, Chi Wang, Baoquan Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

숲의 전체적인 질감, 모든 지붕의 정확한 곡선, 그리고 수천 개의 창문에 빛이 닿는 방식까지를 단 하나의 디지털 모델에 담아내는 것을 상상해 보십시오. 수십 년 동안 과학자들은 이처럼 상세하면서도 저장하기에 충분히 작고 생성 속도가 빠른 3D 세계를 만들기 위해 고군분투해 왔습니다. 전통적인 방식은 자동차나 조각상 같은 매끄러운 표면에는 훌륭하지만, 나무, 덤불, 흩어진 잔해와 같은 무질서하고 혼란스러운 현실에는 적합하지 않은 복잡한 와이어프레임 메쉬를 구축하는 데 의존하곤 합니다. 3D 가우시안 스플래팅(3D Gaussian Splatting)이라고 알려진 더 새로운 접근 방식은 장면을 고체 물체가 아니라, 수백만 개의 작고 색이 있는, 회전하는 타원체(ellipsoids)의 거대한 구름으로 표현함으로써 이 문제를 해결합니다. 이 타원체들은 3D 공간에 떠 있는 개별 픽셀처럼 작동하여, 컴퓨터가 매우 사실적인 야외 환경 이미지를 렌더링할 수 있게 해줍니다. 그러나 이 방법은 장면이 이미 존재하는 상태를 포착하는 데는 탁ist하지만, 컴퓨터가 새로운 장면을 처음부터 발명하도록 가르치는 데는 매우 어렵습니다. 문제는 이 타원체 구름들이 무질서하다는 점입니다. 정해진 형태가 없고, 장면마다 숫자가 크게 달라지며, 표준 컴퓨터 프로그램이 쉽게 이해하거나 예측할 수 없는 방식으로 흩어져 있습니다.

이것이 바로 Amap, Alibaba, Zhejiang 대학교, 그리고 Peking 대학교의 연구진이 해결하고자 했던 과제입니다. 그들은 도시와 풍경의 대규모 실사 항공 장면을 생성하기 위해 특별히 설계된 GS-Voxel이라는 새로운 시스템을 개발했습니다. 이들의 혁신의 핵심은 기존의 매우 상세한 3D 모델을 가져와서, 장면을 처음부터 다시 구축하거나 재최적화할 필요 없이 구조화된 형식으로 재구성하는 "피팅 프리(fitting-free)" 프로세스입니다. 과거에는 이 무질서한 타원체 구름을 생성형 AI로 사용 가능하게 만들기 위해, 과학자들은 이를 엄격하게 정의된 상자 안에 강제로 밀어 넣거나 복잡한 수학적 기법을 사용하여 재배치해야 했으며, 이 과정에서 종종 원래의 세부 사항이 왜곡되곤 했습니다. 새로운 방법은 이를 완전히 피합니다. 장면을 고정된 틀에 맞추는 대신, 시스템은 세상을 투명한 3D 블록, 즉 복셀(voxels)로 나눕니다. 그런 다음 각 블록 내부를 살펴보고, 타원체의 개수를 센 뒤 가장 중요한 것들만 남기고 나머지는 버립니다. 결정적으로, 이 과정은 남겨진 타원체의 위치나 색상을 변경하지 않고 수행되므로, 원래 캡처된 미세한 디테일을 보존합니다.

장면이 이러한 깔끔한 블록들로 정리되면, 연구진은 정보를 압축하기 위해 특화된 머신러닝 모델을 사용합니다. 이 모델을 시각적 데이터를 생성형 AI가 쉽게 읽고 학습할 수 있는 조밀하고 구조화된 코드로 변환하는 번역가라고 생각하십시오. 이 코드는 세상의 형태(어떤 블록이 점유되어 있는지)와 그 내부의 디테일(타원체의 색상과 위치)을 분리합니다. 이러한 압축된 3D 장면 수천 개를 학습함으로써, AI는 단 한 장의 위성 사진을 바탕으로 보이지 않는 새로운 도시 구역이 어떻게 보여야 하는지를 예측하는 법을 배웁니다. 그 결과, 광활하고 일관된 3D 환경을 생성할 수 있는 시스템이 탄생했습니다. 연구진은 이를 통해 이전의 방법들이 다루기 힘들었던 규모인 1,400m x 800m 크기의 영역을 생성하는 것을 입증했습니다. 그들은 장면을 겹치는 타일 단위로 생성하고 이를 매끄럽게 이어 붙임으로써, 도시의 서로 다른 부분 사이의 전환이 부드럽고 사실적으로 유지되도록 했습니다.

이 연구의 의의는 현실 세계의 거대함과 불규칙성을 다룰 수 있는 능력에 있습니다. 이전의 3D 장면 생성 시도들은 의자나 방 같은 작은 물체에는 잘 작동했지만, 도시에서 발견되는 수백만 개의 개별 요소들에 직면했을 때는 실패했습니다. 새로운 시스템은 수백만 개의 3D 요소를 포함하는 고해상도 항공 뷰를, 세부 사항을 잃거나 컴퓨터가 모든 조각의 배치를 "추측"하게 만들지 않고도 생성할 수 있음을 증명했습니다. 연구진은 이 방법이 실제 데이터와 매우 유사한 수준의 시각적 품질을 만들어낼 수 있으며, 건물의 밀도와 식생의 질감을 놀라운 정확도로 포착한다는 것을 발견했습니다. 또한, 시스템이 단 한 장의 위성 사진에 의해 유도될 수 있음을 보여주었으며, 이를 통해 이전에 본 적 없는 도시 구역의 완전한 3D 모델을 합성할 수 있었습니다. 이는 도시 계획, 재난 시뮬레이션, 내비게이션과 같이 현실적이고 대규모의 3D 뷰가 필수적인 분야에서 활용될 수 있는, 거대한 상호작용형 디지털 트윈을 만드는 길을 열어줍니다.

물론 이 연구에도 한계는 존재합니다. 현재 시스템은 도시나 풍경처럼 위에서 내려다보는 실외 장면에 특화되어 설계되었으며, 이러한 각도에 가장 적합한 특정 유형의 색상 데이터에 의존합니다. 아직 실내 환경이나 거리 수준의 뷰에 대해서는 테스트되지 않았는데, 그곳은 카메라 각도와 물체의 유형이 매우 다르기 때문입니다. 또한, 시스템이 장면을 빠르게 생성할 수는 있지만, 연구진은 품질이 고품질의 학습 데이터 가용성에 크게 의존한다는 점을 언급했습니다. 이러한 데이터를 지구상의 모든 위치에서 얻는 것은 어려울 수 있습니다. 그럼에도 불구하고, 이 연구는 대규모 3D 생성을 실용적으로 만드는 데 있어 중요한 진전을 의미합니다. 현실 세계의 혼돈을 컴퓨터가 학습할 수 있는 형식으로 정리하는 방법을 찾아냄으로써, 연구진은 미래의 디지털 지도를 구축하기 위한 새로운 토대를 마련했습니다. 단순한 이미지만으로 광대하고 상세한 3D 세계를 생성할 수 있다는 능력은, 우리가 이전에 가본 적 없는 곳을 이전에는 도달할 수 없었던 수준의 사실감을 가지고 시뮬레이션하고 탐험할 수 있는 미래를 암시합니다.

기술 요약: GS-Voxel

문제 정의
구조화된 텐서를 활용하여 객체 수준의 합성을 수행하는 잠재 3D 생성 모델이 발전함에 따라 객체 단위 합성 기술은 크게 진보했으나, 이를 대규모의 실제 야외 장면으로 확장하는 것은 여전히 어려운 과제로 남아 있다. 사전 최적화된 항공 장면용 3D 가우시안 스플래팅(3DGS) 재구성 결과물은 무질서하고 공간적으로 불규칙하며, 프리미티브(primitive) 수가 매우 다양하다(흔히 200m × 200m 타일당 300만 개 이상의 프리미티브 존재). 기존의 가우시안 생성 방식은 프리미티브의 전역적 재배열(예: Optimal Transport)에 의존하거나, 고정된 전역 프리미티브 예산을 강제하여(세부 사항 제한) 디테일을 저해하거나, 기존의 최적화된 재구성 데이터가 아닌 표면 샘플로부터 잠재 분포를 학습한다. 결과적으로, 장면별 최적화나 전역 적합(global fitting) 없이도 수백만 규모의 사전 최적화된 3DGS 장면을 구조화된 희소 잠재 공간(sparse latents)으로 결정론적으로 변환할 수 있는 표현 방식이 부재한 상황이다.

방법론
본 논문은 대규모 항공 3D 가우시안 장면 생성을 위해 설계된 피팅 프리(fitting-free) 구조적 잠재 프레임워크인 GS-Voxel을 제안한다. 파이프라인은 세 가지 주요 구성 요소로 이루어진다:

피팅 프리 GS-Voxel 구축:
- 이 방법은 호환 가능한 사전 최적화된 3DGS 재구성(SH0 속성 사용)을 추가적인 장면별 최적화, 전역 재배열, 또는 고정된 카디널리티 템플릿에 대한 적합 과정 없이 결정론적으로 희소 복셀 그리드(sparse voxel grid)로 변환한다.
- 장면은 복셀 그리드로 이산화된다. 각 활성 복셀에 대해, 프리미티브는 불투명도 로짓(opacity logits)에 따라 정렬되며, 상위 $K_{in}$ 항목이 유지된다.
- 국소 속성(위치 오프셋, 색상, 불투명도, 스케일, 회전)은 정규화되어 복셀당 고정 너비의 특징 벡터로 패킹된다. 이는 하위 신경망 처리를 위한 일관된 채널 차원을 보장하는 동시에 서브 복셀(sub-voxel) 정밀도를 보존한다.
분해된 VAE (Factorized VAE):
- 2단계 변이형 오토인코더(VAE)는 공간적 지지 구조(spatial support)와 국소 가우시안 속성의 모델링을 분리한다.
- 기하 VAE (Geometry VAE): 복셀 점유율과 계층적 세분화를 인코딩하여 조밀한 기하 잠재 변수( $z_g$ )를 생성한다. 이는 속성을 모델링하지 않고 미세한 활성 지지 구조( $\hat{S}_R$ )를 재구성한다.
- 국소 속성 VAE (Local Attribute VAE): 미세 지지 구조 위에 정의된 가우시안 속성을 압축된 속성 잠재 변수( $z_a$ )로 인코딩한다. 이는 명시적인 프리미티브 개수 매칭 대신 렌더링된 이미지 일관성에 의존하여, 생성된 지지 구조 상의 속성을 재구성하기 위해 고정된 복셀당 슬롯 디코더( $K_{out}$ )를 사용한다.
이미지 조건부 생성 파이프라인:
- 저자들은 GS-Voxel 잠재 공간 내에서 이미지 조건부 플로우 모델(TRELLIS.2 아키텍처 기반)을 훈련시킨다.
- 생성 과정은 3단계 플로우로 진행된다: (1) 희소 구조 플로우가 조밀한 점유율을 예측하고, (2) 기하 플로우가 미세 지지 구조를 예측하며, (3) 속성 플로우가 가우시안 파라미터를 예측한다.
- 대규모 영역 합성: 훈련 크롭보다 큰 영역(예: 1,400m × 800m)을 생성하기 위해, 저자들은 중첩 인지 타일 추론(overlap-aware tiled inference) 절차를 사용한다. 이는 위성 뷰 이미지를 조건으로 하여 생성된 타일들을 스티칭함으로써 경계 간의 연속성을 보장한다.

주요 기여

GS-Voxel 표현: 무질서하고 수백만 개에 달하는 사전 최적화된 3DGS 재구성을 희소하고 구조화된 3D 잠재 공간으로 변환하는 새로운 피팅 프리 방식을 제안한다.
분해된 잠재 공간: 기하학적 구조(지지 구조)와 속성을 분리하는 VAE 설계를 통해, 잠재 용량이 고정된 전역 프리미티브 개수가 아닌 점유된 복셀 수에 따라 확장될 수 있도록 한다.
대규모 생성: 단일 위성 뷰 이미지를 조건으로 항공 3DGS 장면을 생성하는 것을 입증하였으며, 타일 추론을 통해 훈련 타일 크기(200m × 200m)를 훨씬 넘어서는 영역까지 합성을 확장하였다.

결과

재구성 충실도: 10개의 타일 검증 세트에서, 직접적인 GS-Voxel 변환(VAE 미사용)은 $R=256$ 및 $K_{in}=16$ 조건에서 높은 충실도(PSNR ~40.04, SSIM 0.98)를 달성했다. 분해된 VAE는 속성 재구성에서 PSNR 23.09, SSIM 0.62를 기록했다.
생성 품질: 이미지 조건부 플ow 모델은 생성된 항공 뷰에서 FID 28.0 및 KID 0.020을 달성하였으며, 본 논문의 평가 프로토콜 하에서 기존의 여러 야외 장면 생성 베이스라인(예: EarthCrafter, GaussianCity)보다 우수한 성능을 보였다.
확장성: 시스템은 1,400m × 800m에 달하는 대규모 영역의 장면을 성공적으로 생성하여, 200m × 200m 훈련 크롭 크기를 넘어서는 복잡한 항공 환경을 합성할 수 있음을 입증했다.

의의 및 주장
본 논문은 GS-Voxel이 무질서하고 고카디널리티인 3DGS 데이터의 "표현 병목 현상"을 해결함으로써 실세계 환경에서의 확장 가능한 3D 생성을 위한 실행 가능한 경로를 제공한다고 주장한다. 장면별 피팅이나 전역 프리미티브 재배열의 필요성을 제거함으로써, 이 프레임워크는 사전 최적화된 재구성 데이터를 생성 파이프라인에 직접 사용할 수 있게 한다. 저자들은 GS-Voxel을 향후 확장 가능한 항공 3D 생성 및 다운스트림 시뮬레이션을 위한 기초적인 표현 방식으로 포지셔닝하며, 객체 중심 모델에서 흔히 나타나는 제한적인 고정 예산 제약 없이 수백만 개의 프리미티브를 처리할 수 있음을 강조한다.

한계 및 향후 연구
저자들은 다음과 같은 몇 가지 한계를 인정한다:

현재 구현은 SH0(시점 독립적) 항공 장면에 국한되어 있다.
훈련은 대규모 실제 3DGS 재구성 데이터의 가용성에 의존한다.
렌더링된 이미지, 실제 이미지, 생성된 위성 이미지 간의 도메인 변화(domain shift)에 대한 견고성이 완전히 평가되지 않았다.
고정된 국소 용량( $K_{in}$ )은 극도로 밀집된 복셀 내의 프리미티브를 누락시킬 수 있으며, 유한한 해상도는 매우 얇은 구조물을 표현하는 데 어려움을 겪을 수 있다.
본 연구는 코딩 효율성(비트레이트)보다는 재구성 충실도와 생성 품질에 초점을 맞추고 있다.
향후 연구에는 프레임워크를 실내 및 거리 수준 장면으로 확장하고, 적응형 해상도를 개선하며, 생성된 장면이 계획 및 시뮬레이션 작업에 유용한지 평가하는 것이 포함된다.

유사한 논문