StreamSplat: Towards Online Dynamic 3D Reconstruction from Uncalibrated Video Streams

이 논문은 미교정 비디오 스트림에서 실시간으로 동적 3D 장면을 재구성하는 풀 피드포워드 프레임워크인 StreamSplat 을 제안하며, 확률적 샘플링, 양방향 변형 필드, 적응형 가우시안 융합을 통해 최적화 기반 방법 대비 1200 배의 속도 향상과 최첨단 재구성 품질을 달성합니다.

핵심

StreamSplat: 흐르는 비디오를 실시간으로 3D 세상으로 바꾸는 마법

이 논문은 **'StreamSplat'**이라는 새로운 기술을 소개합니다. 쉽게 말해, 우리가 스마트폰으로 찍은 정교한 카메라 보정 (캘리브레이션) 이 전혀 없는 일반 동영상을 입력하면, 거의 실시간으로 그 장면을 움직이는 3D 세상으로 만들어주는 기술입니다.

기존의 방식들은 동영상을 하나씩 분석하고 수 시간씩 계산해야 했지만, StreamSplat 은 동영상이 흐르는 대로 바로바로 3D 를 만들어냅니다. 마치 강물이 흐르듯 (Stream) 3D 세상이 실시간으로 생성된다고 해서 이 이름을 붙였습니다.

이 기술이 어떻게 작동하는지, 세 가지 핵심 비유로 설명해 드릴게요.

---

1. "확률로 찍는 3D 점들" (Probabilistic Sampling)

비유: 안개 낀 날에 물체를 그리는 화가

보통 3D 장면을 만들려면 카메라의 정확한 위치와 렌즈의 왜곡을 알아야 합니다. 하지만 StreamSplat 은 그런 정보가 없는 '불확실한' 비디오를 받습니다.
기존의 AI 는 "이곳에 점이 있을 거야"라고 딱 정해서 그렸는데, 정보가 부족하면 실수가 많았습니다.
StreamSplat 은 **"이곳에 점이 있을 확률이 높고, 저곳은 조금 낮을 수도 있어"**라고 **확률 (안개)**을 고려해서 점을 그립니다.

• 효과: 마치 안개 낀 날에 물체의 윤곽을 여러 번 그려보며 가장 정확한 위치를 찾아내는 것처럼, 실수를 줄이고 더 정확한 3D 구조를 잡습니다.

2. "왕복하는 변형 필드" (Bidirectional Deformation Field)

비유: 과거와 미래를 오가는 시간 여행자의 손

동영상 속 사물은 움직입니다. 과거의 사물이 현재로 오고, 현재의 사물이 미래로 가죠.
기존 기술은 보통 '과거 → 현재'로만 움직이는 방향성을 따졌습니다. 하지만 사물이 갑자기 사라지거나 (vanishing), 새로 나타나거나 (emerging) 할 때 길을 잃기 쉽습니다.
StreamSplat 은 **과거에서 현재로 가는 길 (Forward)**과 **현재에서 과거로 돌아오는 길 (Backward)**을 동시에 봅니다.

• 효과: 마치 두 손으로 공을 잡듯이, 과거와 현재를 양쪽에서 동시에 잡아서 사물이 어떻게 움직였는지, 어디로 사라졌는지 정확히 추적합니다. 이렇게 하면 시간이 오래 지나도 3D 모델이 뭉개지거나 엉키는 일이 없습니다.

3. "스마트한 점들 통합" (Adaptive Gaussian Fusion)

비유: 흐르는 강물과 새로운 물방울

동영상이 계속 흐르면, 새로운 사물이 화면에 들어오기도 하고, 기존 사물이 화면 밖으로 나가기도 합니다.
기존 방식은 새로운 사물이 들어오면 무조건 새로운 3D 점 (가우스) 을 만들고, 사라지면 지우는데, 이 과정에서 3D 공간이 너무 많아지거나 중복되어 엉망이 되곤 했습니다.
StreamSplat 은 점들의 '투명도 (Opacity)'를 조절합니다.

• 오래된 점: 시간이 지나도 계속 살아남으면 (Persistent), 투명도를 유지하며 3D 세상의 기둥이 됩니다.
• 새로운 점: 화면에 새로 나타나면 투명도를 높여 합쳐집니다.
• 사라지는 점: 화면에서 사라지면 투명도를 낮춰 자연스럽게 사라집니다.
• 효과: 3D 세상이 너무 무거워지지 않으면서도, 사물이 나타났다가 사라지는 자연스러운 흐름을 완벽하게 따라갑니다.

---

왜 이 기술이 중요한가요?

1. 실시간성 (Real-time): 로봇이 길을 찾거나, VR/AR 안경을 쓸 때, 동영상을 찍는 즉시 3D 지도가 만들어져야 합니다. StreamSplat 은 기존 방법보다 1,200 배 더 빠릅니다. (수 시간 걸리던 것을 1 초도 안 걸리게 함)
2. 준비 불필요 (Uncalibrated): 전문 카메라나 복잡한 설정이 필요 없습니다. 그냥 스마트폰으로 찍은 일반 영상을 넣으면 됩니다.
3. 무한한 길이: 동영상이 1 분이든 1 시간이든, 끊김 없이 계속 3D 세상을 만들어냅니다.

요약하자면

StreamSplat 은 **"정교한 준비 없이, 흐르는 비디오를 보고 바로 움직이는 3D 세상을 실시간으로 재구성하는 AI"**입니다.
이 기술이 상용화되면, 자율주행차가 도로를 보며 3D 지도를 그리는 것, 혹은 AR 게임에서 우리가 찍은 거리를 실시간으로 3D 게임 공간으로 바꿔주는 것 등이 훨씬 더 쉽고 빠르게 가능해질 것입니다.

기술 요약

StreamSplat: 비교정 (Uncalibrated) 비디오 스트림을 위한 온라인 동적 3D 재구성

1. 문제 정의 (Problem)

기존의 동적 3D 재구성 (4D 재구성) 방법론은 다음과 같은 한계를 가지고 있습니다:

• 오프라인 최적화 의존성: 대부분의 방법 (예: 4DGS, NeRF 기반) 은 전체 비디오 시퀀스에 접근하여 장면당 수 시간의 반복적인 최적화를 수행해야 합니다. 이는 실시간 응용 (로봇, AR/VR, 자율주행) 에 부적합합니다.
• 카메라 보정 필요: 대부분의 최신 3D 가우시안 스플래팅 (3DGS) 기반 동적 재구성 모델은 정밀한 카메라 내부 파라미터 (Intrinsics) 와 외부 파라미터 (Extrinsics) 가 사전에 알려져 있어야 합니다.
• 제한된 실시간성: 희소 관측 (sparse observations) 과 엄격한 지연 시간 (latency) 제약 하에서 동적 장면을 복구하는 강건한 온라인 방법이 부재했습니다.

핵심 질문: "비교정된 (uncalibrated) 비디오 스트림을 입력으로 받아, 오프라인 방법과 동등한 품질과 기능을 유지하면서 완전히 온라인 (online) 으로 동적 3D 재구성이 가능한가?"

2. 방법론 (Methodology)

StreamSplat은 비교정된 비디오 스트림을 즉시 동적 3D 가우시안 스플래팅 (3DGS) 표현으로 변환하는 완전 피드포워드 (fully feed-forward) 프레임워크입니다. 이 프레임워크는 세 가지 핵심 기술 혁신을 통해 구현됩니다.

A. 확률적 위치 샘플링 (Probabilistic Position Sampling)

• 목적: 비교정 입력으로부터 3D 가우시안을 강건하게 예측하고, 피드포워드 모델에서 흔히 발생하는 국소 최소값 (local minima) 문제를 해결합니다.
• 기법: 3D 오프셋 (position offset) 을 직접 회귀 (regress) 하는 대신, 잘린 정규 분포 (truncated normal distribution) 를 예측합니다. 즉, 평균 ($\mu_p$) 과 공분산 ($\Sigma_p$) 을 예측하여 위치를 확률적으로 샘플링합니다. 이는 초기 학습 단계에서 공간적 탐색을 촉진하고 최적 위치로의 수렴을 안정화시킵니다.

B. 양방향 변형 필드 (Bidirectional Deformation Field)

• 목적: 프레임 간의 신뢰할 수 있는 연관성을 확보하고 장기적인 오차 누적을 방지합니다.
• 기법:
  • 전방향 (Forward): 이전 프레임의 가우시안을 현재 시간 $t$로 변형.
  • 후방향 (Backward): 현재 프레임의 가우시안을 이전 시간 $t-1$로 변형.
  • 이 대칭적인 구조는 새로운 객체의 등장 (emerging) 과 소멸 (vanishing) 을 통합적으로 처리하며, 단일 방향 변형 필드보다 더 강력한 시간적 일관성을 제공합니다.

C. 적응형 가우시안 융합 (Adaptive Gaussian Fusion)

• 목적: 스트리밍 데이터에 적합하게 지속적인 가우시안을 전파하고, 새로 등장하거나 사라지는 가우시안을 효율적으로 처리합니다.
• 기법:
  • 소프트 매칭 (Soft Matching): 하드한 1:1 매칭이나 반복적 퓨전 없이, 시간 의존적 불투명도 (opacity) 변형을 통해 가우시안의 수명 주기를 모델링합니다.
  • 불투명도 변형: 가우시안의 생성 시점 ($t_0$) 과 소멸/등장 속도를 제어하는 파라미터 ($\gamma_0, \gamma_1$) 를 학습하여, 시간 $t$에 따른 불투명도 $\alpha(t)$를 계산합니다. 이를 통해 장시간의 비디오에서도 일관된 3D 구조를 유지합니다.

학습 및 추론 파이프라인:

1. Stage 1 (Static Encoder): 단일 프레임과 위조 깊이 (pseudo-depth) 를 입력받아 정적 3DGS 를 학습합니다.
2. Stage 2 (Dynamic Decoder): 두 연속 프레임을 입력받아 양방향 변형 필드를 학습합니다.
3. Online Inference: 새로운 프레임이 들어오면 이전 프레임의 가우시안을 전방향으로 변형하고, 현재 프레임의 가우시안을 후방향으로 변형한 후 적응형 융합을 수행하여 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. StreamSplat 프레임워크 제안: 비교정된 비디오 스트림을 위한 효율적이고 확장 가능한 온라인 동적 3D 재구성 프레임워크를 최초로 제안했습니다.
2. 세 가지 기술적 혁신:
   • 3DGS 위치 예측을 위한 확률적 샘플링 메커니즘.
   • 강건하고 효율적인 동적 모델링을 위한 양방향 변형 필드.
   • 시간적으로 일관된 동적 3DGS 표현을 유지하는 적응형 융합 (Adaptive Fusion) 기법.
3. 성능 및 속도: 오프라인 최적화 기반 방법 대비 1200 배 빠른 속도를 달성하면서도, 동적 및 정적 벤치마크에서 최첨단 (SOTA) 재구성 품질을 입증했습니다.

4. 실험 결과 (Results)

• 동적 장면 재구성 (DAVIS, YouTube-VOS):
  • 속도: 프레임당 약 0.049 초 (약 20 FPS 이상) 로 거의 실시간 처리 가능. 최적화 기반 방법 (CoDeF, DGMarbles 등) 대비 1200 배 빠른 속도.
  • 품질: 키 프레임 재구성 및 중간 프레임 보간 (5-8 프레임 간격) 에서 기존 3DGS 기반 방법 및 2D 비디오 보간 방법 (AMT, RIFE 등) 을 모두 압도하는 PSNR, SSIM, LPIPS 점수를 기록했습니다.
• 정적 장면 재구성 (RE10K, CO3Dv2):
  • 정적 장면에서도 동적 모델링을 수행하면서도 오프라인 최적화 없이 높은 재구성 품질을 유지했습니다. 특히 새로운 뷰 (Novel View) 합성에서 다른 동적 방법들보다 뛰어난 성능을 보였습니다.
• 비교정 입력 처리: 카메라 보정 정보 (Intrinsics/Extrinsics) 없이도 orthographic projection과 변형 필드를 통해 다양한 카메라 조건 (광각, 어안 렌즈 등) 에서 견고한 성능을 발휘했습니다.

5. 의의 및 중요성 (Significance)

• 실시간 응용 가능성: 로봇, AR/VR, 자율주행 등 실시간 3D 이해가 필수적인 분야에서, 고사양 GPU 나 긴 최적화 시간 없이도 비교정된 카메라 입력만으로 동적 환경을 즉시 3D 로 재구성할 수 있는 길을 열었습니다.
• 실용성 증대: "장면당 최적화 (per-scene optimization)"의 패러다임을 "단순한 순전파 (feed-forward)" 패러다임으로 전환하여, 실제 세계의 다양한 시나리오에 적용 가능한 범용적인 3D 비전 솔루션을 제시했습니다.
• 기술적 진보: 3DGS 의 동적 확장성, 비교정 입력 처리, 그리고 온라인 스트리밍 처리를 동시에 해결한 최초의 모델로서, 향후 4D 비전 연구의 새로운 기준을 제시합니다.

결론적으로, StreamSplat 은 비교정된 비디오 스트림으로부터 실시간으로 고품질의 동적 3D 장면을 재구성하는 데 있어 혁신적인 돌파구를 마련한 연구입니다.