💻 computer science

GaussVid: Sparse-View Gaussian Splatting with 3D-Aware Video Diffusion Priors

GaussVid는 대규모 3DGS 데이터셋과 다각도 일관성 및 고충실도 재구성을 보장하기 위한 카메라 조건부 기하학적 사전 지식을 활용하는 3D 인식 비디오 복원 프레임워크를 도입함으로써 희소 시점(sparse-view) 3D 가우시안 스플래팅의 아티팩트 문제를 해결합니다.

원저자: Xinhui Liu, Can Wang, Wei Jiang, Wei Wang, Dong Xu

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinhui Liu, Can Wang, Wei Jiang, Wei Wang, Dong Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

정교한 조각상을 재건하려고 노력한다고 상상해 보십시오. 하지만 당신은 단 몇 개의 각도에서만 그것을 볼 수 있습니다. 그 몇 번의 엿봄을 바탕으로 물체의 나머지 부분이 어떻게 생겼을지 추측하려 한다면, 당신의 마음은 필연적으로 그 빈틈을 실수로 채우게 될 것입니다. 손이 없는 곳에 손이 있다고 상상하거나, 탁자의 날카로운 모서리를 부드러운 얼룩으로 흐릿하게 만들 수도 있습니다. 이것이 '3D 가우시안 스플래팅(3D Gaussian Splatting)'이라 불리는 강력하고 새로운 기술이 직면한 근본적인 과제입니다. 이 방법은 컴퓨터가 사진을 통해 어떻게 사실적인 3D 장면을 만들어내는지에 혁신을 일으켰으며, 관찰자가 놀라운 선명도로 디지털 환경을 걸어 다니며 체험할 수 있게 해주었습니다. 그러나 입력 데이터가 희소할 때, 즉 사용할 수 있는 사진이 몇 장뿐일 때, 결과물인 3D 모델은 종종 유령 같은 아티팩트(artifact), 떠다니는 색상의 덩어리, 그리고 현실의 환상을 깨뜨리는 왜곡된 구조를 겪게 됩니다.

수년 동안 연구자들은 컴퓨터의 사고 과정에 엄격한 수학적 규칙을 추가하여 표면을 매끄럽게 유지하거나 색상을 일관되게 강제함으로써 이러한 오류를 해결하려고 노력해 왔습니다. 최근에는 과학자들이 수백만 장의 이미지로 학습된 인공지능 모델에 의존하여, 이 시스템들이 누락된 세부 사항을 올바르게 '환각(hallucinate)'할 수 있기를 기대하며 연구를 진행해 왔습니다. 하지만 이러한 이미지 기반 AI 모델들은 3차원적 논리 테스트에서 종종 실패합니다. 이들은 평면적인 사진으로 학습되었기 때문에, 다양한 각도에서 장면이 어떻게 보이는지를 동시에 진정으로 이해하지 못합니다. 건물 정면은 완벽하게 보이게 만들 수 있지만, 옆으로 이동하면 AI가 벽이 있어야 할 자리에 창문을 그려 놓는 등 눈에 띄는 불일치를 만들어낼 수 있습니다. 따라서 목표는 이러한 강력한 AI의 상상력을 진정한 3차원 공간에 대한 이해로 안내할 방법을 찾는 것이었습니다.

연구진은 이 특정 문제를 해결하기 위해 '가우스비드(GaussVid)'라는 새로운 접근 방식을 개발했습니다. 3D 모델을 직접 수정하거나 평면 이미지 AI에 의존하는 대신, 그들은 재건 과정을 비디오 복원 작업으로 취급했습니다. 그들은 카메라 움직임의 시작과 끝 지점에 명확한 뷰가 있다면, AI가 흐릿하고 왜곡된 중간 프레임들을 높은 정밀도로 채워 넣을 수 있다는 점을 깨달았습니다. 이를 위해 연구팀은 먼저 거대한 학습 라이브러리를 구축했습니다. 그들은 수천 개의 실제 비디오 클립을 가져와 의도적으로 열화시켜, 3D 모델이 너무 적은 사진으로 구축될 때 발생하는 것과 똑같은 종류의 유령 같은 오류와 흐릿함을 시뮬레이션했습니다. 이를 통해 컴퓨터가 '손상된' 버전과 '완벽한 원본'을 모두 볼 수 있는 쌍을 이룬 데이터셋을 생성하였고, 이를 통해 컴퓨터가 손상을 복구하는 법을 학습할 수 있게 했습니다.

그들의 혁신의 핵심은 AI에게 카메라의 위치를 이해시키는 방식에 있습니다. 3D 작업을 위해 AI를 사용하는 이전의 시도들은 종-종 물체의 3D 형태를 먼저 추정하여 그 형태를 가이드로 사용하고자 했습니다. 연구진은 희소한 뷰 상황에서는 추정된 형태가 종종 노이즈가 많고 틀리기 때문에, 이는 AI를 더욱 혼란스럽게 만들 뿐이라는 점을 발견했습니다. 대신, 가우스비드는 이러한 추측 과정을 완전히 건너뜁니다. 이 시스템은 장면을 통과하는 카메라의 정확하고 알려진 위치를 AI에 입력합니다. 시스템은 이 카메라 정보를 두 가지 뚜렷한 부분, 즉 카메라가 향하는 방향과 장면 중심으로부터의 거리로 나눕니다. 그런 다음 이 기하학적 데이터를 AI의 처리 계층에 직접 주입하여, 비디오 생성을 고정하는 단단하고 노이즈 없는 골격 역할을 하게 합니다. 이는 AI가 누락된 세부 사항을 채울 때 장면의 진정한 기하학적 구조를 존중하도록 보장하며, 관찰자가 어떤 각도를 선택하더라도 물체를 일관되게 유지해 줍니다.

학습 과정을 효과적으로 만들기 위해, 연구진은 모든 어려운 예시를 한꺼번에 AI에게 던져주지 않았습니다. 그들은 누락된 뷰 사이의 간격이 가깝고 오류가 경미한 쉬운 과제부터 시작하는 커리큘럼을 설계했습니다. AI가 이를 숙달함에 따라, 뷰 사이의 간격이 넓어지고 왜곡이 심해지는 더 어려운 단계로 점진적으로 난이도를 높였습니다. 이러한 단계별 접근 방식은 시스템이 재건의 기본 규칙을 배우기도 전에 가장 혼란스러운 사례들에 의해 압도당하는 것을 방지했습니다. 결과는 놀라웠습니다. 실내 공간부터 야외 풍경에 이르기까지 다양한 장면에 대해 테스트했을 때, 이 새로운 방법은 이전 기술들보다 훨씬 더 선명하고 기하학적으로 정확한 이미지를 생성했습니다. 이 방식은 이전 모델들을 괴롭혔던 떠다니는 아티팩트와 흐릿한 구조를 성공적으로 제거했으며, 선반의 모서리나 나무의 질감과 같은 미세한 디테일을 복원해 냈습니다.

이 연구는 비디오 기반 AI 모델과 정밀한 알려진 카메라 데이터를 결합함으로써, 원래의 입력이 극도로 제한적인 상황에서도 고품질의 3D 장면을 복원하는 것이 가능하다는 것을 입증합니다. 연구진은 그들의 방법이 시각적 오류를 수정할 뿐만 아니라 모든 관점 전반에 걸쳐 일관된 구조를 유지한다는 것을 보여주었으며, 이는 이미지 전용 AI 모델들이 어려움을 겪었던 성과입니다. 문제를 맹목적인 3D 추측이 아닌 가이드된 비디오 복원 작업으로 다룸으로써, 팀은 희소한 데이터로부터 견고하고 아티팩트가 없는 디지털 환경을 만드는 신뢰할 수 있는 경로를 제공했습니다. 이 작업은 더 나은 3D 재건의 핵심이 더 복잡한 3D 모델을 구축하는 데 있는 것이 아니라, 우리의 AI 도구가 공간을 통과하는 카메라의 여정을 절대적인 명확성으로 이해하도록 가르치는 데 있음을 시사합니다.

기술 요약: GaussVid

문제 정의

3D 가우시안 스플래팅(3DGS)은 밀집된 다중 뷰 감독 하에서 새로운 시점 합성(novel view synthesis)에 있어 놀라운 성공을 거두었으나, **희소한 뷰(sparse views)**로부터의 재구성은 빈번하게 심각한 아티팩트(artifact)를 겪습니다. 여기에는 기하학적 모호성, 과적합(overfitting), "플로터(floaters)"(떠다니는 아티팩트), 흐릿한 구조, 그리고 보지 못한 시점에 대한 낮은 일반화 성능 등이 포함됩니다.

기존 솔루션들은 일반적으로 다음 두 가지 범주로 나뉘며, 각각 한계를 지닙니다:

정규화 기반 방법(Regularization-based methods): 이들은 기하학적 사전 지식(예: 깊이 평활도, 법선 일관성)이나 외관 제약을 부과합니다. 그러나 이 방식은 노이즈에 민감하며, 극단적인 희소 뷰 설정에서는 개선 효과가 제한적입니다.
확산 모델 기반 방법(Diffusion-based methods): 최근의 접근 방식들은 2D 이미지 확산 모델이나 비디오 확산 모델을 사전 지식으로 활용합니다. 2D 사전 지식은 의미론적 사실성을 높여주지만, 명시적인 3D 인식이 부족하여 시점 간 불일치와 기하학적 왜곡을 초러킵니다. 비디오 사전 지식은 시간적 일관성을 제공하지만, 종종 추정된 3D 기하 구조(예: VGGT를 통해)에 의존합니다. 희소 뷰 환경에서 이러한 추정된 기하 구조는 종종 노이즈가 많고 모호하여, 확산 과정에 약하거나 잘못된 가이드를 제공하게 됩니다.

방법론: GaussVid

저자들은 희소 3DGS 재구성을 향상시키기 위해 설계된 새로운 3D 인식 비디오 복원 프레임워크인 GaussVid를 제안합니다. 핵심 철학은 희소 3DGS 복원을 **프레임 조건부 재구성 문제(frame-conditioned reconstruction problem)**로 취급하는 것이며, 깨끗한 앵커 프레임과 명시적인 카메라 기하 구조를 조건으로 하여 비디오 확산 모델을 통해 고품질의 중간 프레임을 복원합니다.

1. 데이터 구축 (GaussVid 데이터셋)

기존의 어떤 데이터셋도 카메라 포즈가 포함된 쌍을 이룬(paired) 아티팩트 오염 비디오 클립과 깨끗한 비디오 클립을 제공하지 않기 때문에, 저자들은 DL3DV의 약 5,000개 장면으로부터 대규모 데이터셋을 구축했습니다:

아티팩트 시뮬레이션: 모델이 심각한 과적합 단계로 퇴화하기 전의 자연스러운 희소 뷰 아티팩트(플로터, 블러)를 포착하기 위해, 의도적으로 8,000회 반복(iteration)에서 조기에 종료하는 제어된 3DGS 최적화를 수행합니다.
클립 샘의(Clip Sampling): "clean–noisy–clean" 전략을 사용하여 5프레임 클립을 샘플링합니다. 첫 번째와 마지막 프레임은 깨끗한 앵커( $I_s, I_e$ ) 역할을 하며, 중간의 세 프레임은 복원되어야 할 오염된 렌더링 결과물( $\hat{F}$ )입니다.
난이도 제어: 희소도 간격( $n$ )을 변화시켜 경미한 수준부터 심각한 수준까지 다양한 난이도 레벨을 가진 커리큘럼을 생성합니다.

2. 3D 인식 비디오 복원 모델

이 방법은 첫 프레임과 마지막 프레임을 조건으로 하는 최초의 모델인 Wan2.1-VACE를 기반으로 하며, 이를 특정 3D 인식 메커니즘으로 확장합니다:

카메라 조건부 기하 사전 지식(Camera-Conditioned Geometric Prior): 노이즈가 많은 추정된 3D 기하 구조 대신, 모델은 (렌더링 과정에서 알려진) 카메라 포즈에 직접적으로 조건화됩니다. 이 포즈들은 플뤼커 좌표(Plücker coordinates)(광선 방향 및 모멘트)로 인코딩됩니다.
플뤼커 토큰 인코더(Plücker Token Encoder):
- 분해: 플뤼커 필드는 두 개의 별도 스트림인 모멘트 스트림(이동에 민감)과 방향 스트림(회전에 민감)으로 분해됩니다.
- 교차 게이팅 융합(Cross-Gating Fusion): 이 스트림들은 전용 3D 컨볼루션을 통해 처리되며, 물리적 특성을 보존하기 위해 교차 게이팅을 통해 융합됩니다.
이중 스트림 카메라 주입(Dual-Stream Camera Injection):
- 노이즈가 있는 비디오 특징이 기하학적 사전 지식을 오염시키는 것을 방지하기 위해, 저자들은 이중 스트림 메커니즘을 채택합니다.
- 노이즈 불변 변조(Noise-Invariant Modulation): 카메라 토큰은 확산 타임스텝(fixed zero timestep 사용)과 독립적으로 변조되어, 기하 구조를 노이즈가 없는 사전 지식으로 취급합니다.
- 비대칭 어텐션(Asymmetric Attention): 비대칭 마스크를 통해 비디오 토큰이 카메라 토큰을 참조(기하학적 문맥 흡수)할 수는 있지만, 카메라 토큰이 노이즈가 있는 비디오 토큰을 참조하는 것은 차단합니다. 이는 기하학적 신호를 아티팩트 패턴으로부터 보호합니다.

3. 훈련 전략

모델은 두 가지 핵심 안정화 전략을 갖춘 플로우 매칭(flow matching) 프레임워크 내에서 최적화됩니다:

점진적 잠재 재구성 손실(Progressive Latent Reconstruction Loss): 추정된 깨끗한 잠재 변수에 대해 보조 L1 손실을 적용합니다. 이 손실은 재구성이 가장 정확한 낮은 노이즈 레벨에서 집중적으로 감독되도록 점진적으로 가중치가 부여됩니다.
난이도 인식 커리큘럼 학습(Difficulty-Aware Curriculum Learning): 훈련 과정은 모델이 기본적인 재구성 패턴을 배우기 전에 높은 난이도의 노이즈가 많은 그래디언트에 압도되지 않도록, 점점 더 어려운 샘플(더 큰 희소도 간격 $n$ )에 점진적으로 노출시킵니다.

주요 기여

새로운 정식화 및 데이터셋: 본 논문은 희소 3DGS 복원을 프레임 조건부 재구성 문제로 정식화하고, 다양한 카메라 궤적과 제어 가능한 아티팩트 난이도를 가진 대규모 쌍 데이터셋을 구축했습니다.
3D 인식 비디오 사전 지식: 저자들은 플뤼커 좌표를 별도의 모멘트 및 방향 스트림으로 인코딩하는 카메라 주입 모듈을 도입했습니다. 이는 비대칭 이중 스트림 어텐션 메커니즘을 통해 통합되어, 뷰가 희소해짐에 따라 성능이 저하되지 않는 신뢰할 수 있는 노이즈 없는 기하학적 사전 지식을 제공합니다.
안정화된 미세 조정(Fine-Tuning): 커리큘럼 학습 스케줄과 점진적 잠재 재구성 손실을 결 der한 점진적 훈련 전략을 제안하여 비디오 확산 모델의 적응을 안정화했습니다.

결과

DL3DV 및 Zip-NeRF 벤치마크에서 최적화 기반 방법(FSGS, CoR-GS), 2D 확산 사전 지식(DiFix3D), 비디오 확산 사전 지식(4DSloMo, GSFIXER)과 비교하는 광범한 실험을 수행했습니다.

정량적 성능: GaussVid는 PSNR 및 SSIM에서 최첨단(SOTA) 성능을 달성하여, 우수한 픽셀 수준 충실도와 구조적 일관성을 입증했습니다. 또한 콘텐츠를 환각(hallucinate)하거나 기하학적 일관성을 잃는 방법들보다 뛰어난 LPIPS(지각적 품질) 점수를 유지했습니다.
정성적 개선: 이 방법은 미세한 디테일(예: 난간 가장자리, 질감)을 보존하면서 플로터와 구조적 왜곡을 효과적으로 제거하고 다중 뷰 일관성을 보장합니다.
절제 연구(Ablation Studies):
- 카메라 조건화를 제거하면 성능이 크게 저하되어, 명시적인 3D 인식이 필수적임을 확인했습니다.
- 플뤼커 좌표를 모멘트와 방향 스트림으로 분해하는 것이 단일 인코딩보다 더 나은 결과를 가져옵니다.
- 커리큘럼 학습과 점진적 손실 전략은 서로 보완적임을 보여주었습니다. 커리큘럼은 대규모 구조적 아티팩트를 처리하고, 점진적 손실은 미세한 질감을 정교하게 다듬습니다.

의의

본 논문은 GaussVid가 기존의 희소 3DGS 방법들을 개선하기 위해 원활하게 통합될 수 있는 범용 강화 프레임워크 역할을 한다고 주장합니다. 카메라 인식 조건화를 통해 2D 비디오 생성과 3D 다중 뷰 제약 사이의 간극을 메움으로써, 이전의 확산 기반 방법들이 가진 뷰 불일치 문제를 극복합니다. 또한, 복원된 프레임은 3DGS 표현 자체를 정교화하는 데 다시 피드백될 수 있어, 희소한 입력으로부터 더 높은 품질의 3D 재구성을 구현하는 경로를 제공합니다. 이 연구는 명시적이고 노이즈가 없는 기하학적 사전 지식을 갖춘 비디오 확산 모델을 활용하는 것이 희소 뷰 3D 재구의 모호성을 해결하기 위한 유망하고 효과적인 전략임을 입증합니다.