기술 요약: RiGS – 단일 모노큘러 비디오를 위한 강체 인식 4D 가우스 스플래팅

문제 정의

단일 모노큘러 비디오로부터 동적 3D 장면을 재구성하는 것은 컴퓨터 비전 및 그래픽스 분야에서 근본적인 과제이며, VR/AR, 자율 주행, 로봇 공학 등에 응용됩니다. 기존 방법들은 서로 다른 시간 규모에 걸친 운동을 모델링할 때 중요한 트레이드오프에 직면합니다:

• 프레임 단위 최적화 방법은 고주파 운동 세부 사항을 포착할 수 있지만, 종종 시간적 일관성이 부족하고 기하학적 구조가 불안정합니다.
• 강체 기반 방법(예: "가능한 한 강체처럼" 가정을 사용하는 방법)은 기하학적 안정성을 유지하고 큰 시점 변화를 잘 처리하지만, 큰 변형이나 빠르고 비강체적인 운동이 있는 영역을 모델링하지 못해 불완전한 재구성을 초래합니다.

저자들은 강체 기반 가우스 표현의 특정 한계를 지적합니다: 그들은 장기적인 부드러운 변환과 단기적인 복잡한 변형을 동시에 포착하는 데 어려움을 겪습니다. 강체 기반 동적 가우스에 대한 분석은 시간 지속 시간에서 이분산 분포를 보여줍니다. 이는 강체 표현이 안정적이고 장기적인 운동을 효과적으로 모델링하지만, 단기적이고 세밀한 동역학을 표현하지 못함을 나타냅니다.

방법론: RiGS

제안된 강체 인식 4D 가우스 스플래팅 (RiGS) 프레임워크는 이러한 한계를 해결하기 위해 장면 운동을 통합 최적화 프레임워크 내에서 세 가지 구별된 유형의 가우스 원자로 분해합니다:

1. 3 단계 가우스 표현

• 정적 가우스 ($g_s$): 비디오 전체에 걸쳐 지속되는 시간 불변의 배경을 표현합니다.
• 강체 가우스 ($g_r$): 장기적이고 저주파이며 부드러운 운동을 모델링하도록 설계되었습니다. 이들은 변형 없이 회전과 병진을 나타내는 SE(3) 변환과 공유 운동 기저로 매개변수화되어 일관된 운동을 보장합니다.
• 일시적 가우스 ($g_t$): 단기적이고 고주파이며 복잡한 비강체 동역학을 처리하도록 설계되었습니다. 이들은 완전히 학습 가능한 운동 속도 벡터를 가지며, 빠른 변화를 포착하기 위해 어떤 방향으로든 자유롭게 이동할 수 있습니다.

2. 객체 단위 동적 분해

정적 및 동적 영역의 분리를 안내하기 위해 RiGS는 객체 단위 동적 마스크를 도입합니다. 전체 객체에 걸쳐 시간적 및 공간적 일관성이 종종 부족한 이전의 픽셀 단위 접근법과 달리, RiGS는 객체 수준에서 장거리 시공간 운동 정보를 집계합니다.

• 이 방법은 SAM2 를 사용하여 객체 분할을 수행하고, 광학 흐름 불확실성과 Sampson 오차를 기반으로 운동 점수를 계산합니다.
• 객체의 어떤 부분이든 언제든지 운동을 보이면, 전체 객체가 동적인 것으로 간주됩니다. 이는 동일한 객체의 서로 다른 부분을 정적 및 동적 가우스가 중복하여 모델링하는 것을 방지하여 전역적으로 일관된 표현을 보장합니다.

3. 적응형 전환 및 공동 최적화

• 소프트 게이트 및 전환: 강체 가우스는 지속 시간 ($\beta$) 과 중심 ($\gamma$) 에 따라 시간적 불투명도 감쇠를 제어하는 소프트 게이트 함수를 갖추고 있습니다. 최적화 과정에서 시간 지속 시간이 짧은 강체 가우스는 동적으로 일시적 가우스로 변환됩니다. 이를 통해 시스템은 운동 복잡도가 증가함에 따라 강체 모델링에서 유연한 모델링으로 적응적으로 전환할 수 있습니다.
• 장면 흐름 안내: 밀도 있는 3D 운동 감시를 제공하기 위해, 이 방법은 메트릭 깊이와 카메라 매개변수를 사용하여 2D 광학 흐름을 3D 장면 흐름으로 들어 올립니다. 이 장면 흐름은 강체 및 일시적 가우스의 운동 방향을 안내하여 동적 영역에 대한 감시 신호의 희소성을 해결합니다.

4. 최적화 전략

이 프레임워크는 다음을 포함하는 공동 최적화 전략을 사용합니다:

• 워밍업 단계: 정적 가우스, 강체 가우스, 운동 기저를 초기화하여 안정적인 기하학적 구조를 확립합니다.
• 공동 훈련: 세 가지 가우스 유형을 함께 최적화합니다. 시스템은 광도 손실, 기하학적 손실 (깊이 및 정규 일관성), 대응 손실 (추적 및 흐름), 그리고 아티팩트 및 과적합을 방지하기 위한 정규화 항을 사용합니다.

주요 기여

1. 다중 규모 운동 모델링: RiGS 는 정적, 강체, 일시적 가우스를 공동으로 모델링하는 통합 프레임워크를 도입하여 장기적인 부드러운 운동부터 단기적인 고주파 동역학에 이르기까지 여러 시간 규모의 운동을 포착할 수 있게 합니다.
2. 객체 단위 동적 마스크: 시공간 정보를 집계하여 시간적 일관성을 보장하고 일관성 없는 객체 표현을 방지하는 정적 - 동적 분해를 위한 객체 단위 동적 마스크를 제안합니다.
3. 장면 흐름을 통한 공동 최적화: 밀도 있는 3D 장면 흐름 감시와 시간 지속 시간에 기반하여 강체 가우스가 일시적 가우스로 전환되는 메커니즘을 사용하여 규모 간 운동 학습을 안내하는 전략입니다.

실험 결과

저자들은 Nvidia Dynamic Scenes Dataset, DyCheck iPhone Dataset, 그리고 DAVIS 데이터셋의 극단적 운동 장면 등 여러 벤치마크에서 RiGS 를 평가했습니다.

• 정량적 성능: RiGS 는 새로운 뷰 합성 벤치마크에서 최첨단 (SOTA) 성능을 달성했습니다. Nvidia Dynamic Scenes 데이터셋에서 PSNR, SSIM, LPIPS 지표에서 이전 SOTA 방법들 (MoSca 및 DynPoint 와 같은 NeRF 기반 및 가우스 기반 접근법 포함) 을 능가했습니다. 예를 들어, "Playground" 장면에서 RiGS 는 24.73 의 PSNR 을 달성한 반면 MoSca 는 24.25 였습니다.
• 정성적 성능:
  • 큰 비강체 변형이 있는 장면 (예: "Umbrella" 장면) 에서 RiGS 는 이전 방법들에서 보였던 아티팩트나 일관성 없는 기하학적 구조 없이 변형을 성공적으로 모델링했습니다.
  • 복잡한 다중 객체 장면 (예: "Playground") 에서 RiGS 는 강체 전용 또는 노드 보간 방법들이 재구성하지 못했던 세밀한 세부 사항 (예: 표정) 을 보존했습니다.
  • 극단적 운동 장면 (예: DAVIS 의 "Judo" 및 "Dog-agility") 에서 RiGS 는 다른 방법들이 세부 사항을 복원하지 못했던 빠르게 움직이는 영역을 성공적으로 포착했습니다.
• 효율성: 이 방법은 약 30 분 내에 270 프레임 비디오 (480×360) 를 훈련하며 약 160 FPS 의 렌더링 속도를 달성합니다.

중요성 및 주장

이 논문은 RiGS 가 여러 시간 규모에 걸친 운동 모델링의 과제를 명시적으로 해결함으로써 동적 장면 재구성 분야에서 중요한 진전을 이루었다고 주장합니다. 장면을 정적, 강체, 일시적 구성 요소로 분해함으로써 이 방법은 순전히 강체 기반 또는 순전히 프레임 단위 접근법의 한계를 극복합니다.

저자들은 그들의 객체 단위 동적 마스크가 정적 및 동적 영역의 더 신뢰할 수 있는 분리를 제공하며, 강체와 일시적 가우스 간의 전환 메커니즘과 장면 흐름 안내 최적화가 결합되어 밀도 있고 일관된 3D 운동 감시를 제공한다고 주장합니다. 광범위한 실험은 이 접근법이 우수한 재구성 품질과 시간적 일관성을 이끌어내어 실제 응용 분야에서 더 견고한 동적 장면 모델링의 길을 열 것이라고 보여줍니다.