기술 요약: RoDyGS: 캐주얼 비디오를 위한 강건한 동적 가우스 스플래팅

1. 문제 제기

캐주얼하게 촬영된 단안 비디오로부터 4 차원 장면 (3 차원 기하 + 시간) 을 재구성하는 것은 컴퓨터 비전 분야에서 중요한 과제입니다. 신경 방사장 (NeRF) 과 3 차원 가우스 스플래팅 (3DGS) 의 최근 발전으로 정적 신관 시합성 (novel view synthesis) 은 개선되었으나, 단일 카메라와 보정되지 않은 비디오에서의 동적 재구성은 두 가지 주요 요인으로 인해 여전히 어렵습니다:

1. 카메라 - 물체 운동 모호성: 단일 뷰에서 카메라 궤적과 동적 장면 기하를 동시에 추정하는 것은 본질적으로 모호합니다.
2. 가림과 시공간 일관성: 동적 물체는 자주 가려져 관측이 누락되며, 이는 시간 경과에 따른 장면 요소의 일관성을 방해합니다.

기존 방법들은 종종 특수한 촬영 설정 (다중 뷰, 깊이 센서), 사전 보정된 포즈, 또는 엄격한 장면 제약 (예: 전방향 카메라, 작은 운동) 에 의존하여, 일반적인 "야외 (in-the-wild)"시나리오로의 적용을 제한합니다. 또한, 현재 벤치마크들은 종종 정답 카메라 포즈나 동시 다중 뷰 캡처가 부족하여 포즈 없는 동적 방법의 엄격한 평가가 어렵습니다.

2. 방법론: RoDyGS

저자들은 외부 센서나 수동 보정 없이 캐주얼한 단안 비디오로부터 직접 동적 장면 표현을 재구성하는 엔드 - 투 - 엔드 프레임워크인 RoDyGS (Robust Dynamic Gaussian Splatting) 를 제안합니다. 이 방법은 동적 가우스 스플래팅과 카메라 운동을 함께 최적화합니다.

핵심 구성 요소

• 정적 - 동적 부분 분리:
  장면을 명시적으로 두 가지 가우스 집합으로 분할합니다: 정적 ($G_S$) 과 동적 ($G_D$).

  • 정적 요소: 시간적으로 일관된 배경 표현을 보장하기 위해 카메라 매개변수와 함께 최적화됩니다.
  • 동적 요소: 운동 제약에 대해 독립적으로 최적화됩니다.
  • 이점: 이 분리는 카메라 운동을 동적 물체 운동으로부터 분리하여 모호성을 크게 줄이고 최적화 안정성을 향상시킵니다.

• 초기화:

  • 카메라 포즈 및 기하: 견고한 초기 카메라 포즈와 점 구름을 제공하기 위해 데이터 기반 사전 모델인 MASt3R [36] 을 사용하여 초기화됩니다.
  • 운동 마스크: Track Anything Model (TAM) [65] 을 사용하여 움직이는 물체를 배경에서 분리하여 동적 영역을 식별합니다.
  • 깊이: 기하학적 감독을 위해 DepthAnything [66] 을 사용하여 단안 깊이 지도를 추정합니다.

• 시공간 정규화:
  물리적으로 타당한 기하와 자연스러운 운동을 강제하기 위해 RoDyGS 는 동적 가우스에 대한 특정 정규화 항을 도입합니다:

  1. 거리 보존 정규화 ($L_{dp}$): 시간 단계 간 가우스와 그 $K$ 개의 최근접 이웃 간의 상대적 거리를 유지함으로써 시간적 일관성을 강제합니다. 이는 가림 중에도 물체의 강성을 보존합니다.
  2. 표면 매끄러움 정규화 ($L_{surf}$): 이웃의 평균 위치로부터의 가우스 편차를 패널티로 부과하여 국부적 표면 매끄러움을 보장하고 국부적 교란을 방지합니다.
  3. 안정적 운동 정규화 ($L_{sm}$): 실제 세계의 운동은 짧은 간격 동안 일관된다는 가정に基づ여, 운동 드리프트를 방지하기 위해 운동 기저 함수를 정규화합니다.
  4. 가중 운동 정규화: 복잡한 운동을 과도하게 평활화하는 것을 피하기 위해 운동 기저 요소에 가중치 방식을 적용하여 서로 다른 운동 주파수에 대한 정규화 강도를 명시적으로 제어할 수 있게 합니다.

• 최적화 목적 함수:
  프레임워크는 복합 손실 함수를 사용하여 가우스 속성, 운동 기저 매개변수, 그리고 카메라 포즈를 함께 최적화합니다:

  • 광도 손실 ($L_{recon}$): 렌더링된 이미지와 목표 이미지 간의 L1 및 SSIM 손실.
  • 깊이 손실 ($L_{depth}$): 렌더링된 이미지와 추정된 단안 깊이 간의 선형 상관 관계를 최대화하기 위한 피어슨 깊이 손실 (스케일 모호성 처리).
  • 기하 손실 ($L_{geo}$): $L_{dp}$ 와 $L_{surf}$ 의 조합.
  • 운동 손실 ($L_{sm}$): 안정적 운동 정규화.

3. 주요 기여

1. RoDyGS 프레임워크: 명시적 부분 분리와 시공간 정규화를 통해 고품질 렌더링을 달성하는 캐주얼 단안 비디오를 위한 강건한 재구성 방법입니다. 이는 이전의 포즈 없는 동적 신관 시합성 접근법보다 우수한 성능을 보입니다.
2. Kubric-MRig 벤치마크: 동적 장면에서 포즈 추정과 렌더링 품질을 모두 평가하도록 설계된 새로운 도전적인 데이터셋입니다. 이전 벤치마크와 달리 Kubric-MRig 는 다음을 특징으로 합니다:
   • 동시 다중 뷰 캡처 (정답).
   • 광범위한 카메라 및 물체 운동.
   • 정답 카메라 포즈.
   • 배경 요소 (다른 동적 데이터셋에서 종종 누락됨).
3. 종합 평가: Kubric-MRig 데이터셋에서 최첨단 성능을 입증했으며, iPhone 데이터셋 [15] 과 Tanks and Temples 데이터셋 [30] 에서도 경쟁력 있는 결과를 보여주었습니다. 이는 동적 처리를 유지하면서 포즈 없는 정적 방법의 렌더링 품질과 일치합니다.

4. 실험 결과

• 동적 신관 시합성: Kubric-MRig 데이터셋에서 RoDyGS 는 PSNR, SSIM, LPIPS 측면에서 이전 포즈 없는 방법들 (예: RoDynRF [39], SoM [57]) 보다 현저히 우수합니다. 또한 정답 카메라 포즈로 훈련된 방법들과도 경쟁력 있는 결과를 달성합니다.
• 정적 신관 시합성: 정적 장면 (Tanks and Temples) 에서 평가될 때, RoDyGS 는 CF-3DGS [13] 와 비교 가능한 렌더링 품질을 달성하고 다른 베이스라인보다 현저히 우수하며, 경쟁력 있는 카메라 포즈 추정 정확도를 유지합니다.
• 절대 실험: 실험은 부분 분리와 제안된 정규화 항 모두 결정적임을 확인했습니다. 부분 분리를 제거하면 심각한 불일치와 형태 왜곡이 발생하며, 정규화 항은 물체 경계를 선명하게 하고 구조적 일관성을 유지합니다.
• 강건성: RoDyGS 는 대규모 카메라 및 물체 운동 하에서도 강체 물체 기하를 유지하는 반면, 장기 점 추정에 의존하는 베이스라인들은 복잡한 동역학에서의 부정확한 추적으로 인해 종종 실패합니다.

5. 의의 및 한계

의의:
이 논문은 RoDyGS 가 특수 하드웨어나 사전 보정된 포즈에 의존하지 않고 캐주얼한 단일 카메라 비디오로부터 동적 4 차원 장면을 재구성하는 데 있어 중요한 격차를 해소했다고 주장합니다. 정답과 다양한 운동을 포함하는 포괄적인 벤치마크 (Kubric-MRig) 를 도입함으로써 저자들은 향후 동적 재구성 방법을 평가하기 위한 엄격한 기준을 제공합니다. 정적 및 동적 요소를 분리하는 이 방법의 능력은 모호한 시나리오에서 더 안정적인 최적화를 가능하게 합니다.

한계:
저자들은 몇 가지 한계를 인정합니다:

• 가림: 다른 4 차원 재구성 방법과 마찬가지로, RoDyGS 는 관찰된 장면 부분만 재구성할 수 있습니다. 완전히 가려진 영역이나 장기 가림은 생성 사전 (예: 확산 모델) 없이는 복구할 수 없습니다.
• 강성 가정: 정규화 항은 동적 요소가 매우 복잡하고 비강성 변형 (예: 인간 몸체나 헐렁한 옷) 을 보이지 않는다고 가정합니다. 이러한 시나리오로 일반화하려면 매개변수 모델 (예: SMPL) 이나 더 강력한 데이터 기반 사전이 필요합니다.
• 초기화 의존성: 이 방법은 초기 카메라 포즈를 위해 MASt3R 에 의존합니다. 부정확한 초기화는 렌더링 품질을 저하시킬 수 있지만, 공동 최적화가 이를 정제하는 데 도움이 됩니다.

결론적으로, RoDyGS 는 일상적이고 캐주얼하게 촬영된 비디오를 위한 4 차원 재구성을 가능하게 하는 한 걸음을 내디뎠으며, 기하학적 일관성과 운동 충실도 사이의 균형을 맞춘 강건한 솔루션을 제공합니다.