Space-Time Forecasting of Dynamic Scenes with Motion-aware Gaussian Grouping

이 논문은 4D 가우스 스플래팅을 기반으로 물리적으로 일관된 물체 수준의 운동을 포착하여 장기적이고 안정적인 동적 장면 예측을 가능하게 하는 'MoGaF' 프레임워크를 제안합니다.

핵심

이 논문은 **"움직이는 장면을 보고, 그 장면을 미래까지 자연스럽게 상상해내는 기술"**에 대한 이야기입니다.

기존의 컴퓨터 비전 기술은 "지금까지 본 것을 바탕으로 잠시 뒤를 예측하는 것"에는 능했지만, "오랜 시간 동안 물체가 어떻게 움직일지, 형태가 어떻게 변할지"를 예측하는 데는 한계가 있었습니다. 마치 영화를 10 초만 보고 10 분 뒤의 장면을 상상하라고 하면, 사람들은 대충 짐작할 수 있지만 컴퓨터는 물체가 뭉개지거나 사라지거나, 기괴하게 변형되는 실수를 자주 했죠.

이 논문에서 제안한 MoGaF(Motion Group-aware Gaussian Forecasting) 는 이 문제를 해결하기 위해 "물체별로 움직임을 그룹화하고, 그 그룹의 성격을 파악해 미래를 예측하는" 새로운 방식을 도입했습니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.

---

1. 핵심 아이디어: "혼란스러운 파티를 '팀'으로 나누다"

기존 방식의 문제점:
마치 거대한 파티장에 수만 명의 사람 (이것을 '가우시안 입자'라고 부릅니다) 이 흩어져 있다고 상상해 보세요. 기존 기술은 이 수만 명을 모두 개별적으로 추적하려 했습니다. 시간이 지날수록 사람들이 서로 섞이고, 가려지고, 방향을 잃으면 컴퓨터는 "누가 누구인지, 어디로 갈지"를 혼란스러워하며 장면을 엉망으로 만들어버립니다.

MoGaF 의 해결책: "팀장 (그룹) 을 지정하다"
MoGaF 는 이 수만 명의 사람을 자연스럽게 '팀'으로 묶어줍니다.

• 단단한 팀 (Rigid Group): 책상, 의자, 벽처럼 모양이 변하지 않고 딱딱하게 움직이는 것들. 이 팀은 "우리 팀은 다 같이 같은 방향으로 움직여!"라는 규칙을 따릅니다.
• 유연한 팀 (Non-rigid Group): 사람의 팔, 옷, 물방울처럼 구부러지고 변형되는 것들. 이 팀은 "우리는 서로 붙어있되, 부드럽게 구부러져도 돼"라는 규칙을 따릅니다.

이렇게 물체별로 '팀'을 나누고, 각 팀의 성격을 파악함으로써, 컴퓨터는 혼란스러운 파티를 체계적으로 관리할 수 있게 됩니다.

2. 기술의 작동 원리: "세 가지 단계로 미래를 그리다"

이 기술은 크게 세 단계를 거칩니다.

① 단계: 팀원 찾기 (Gaussian Grouping)
비디오를 보고 "저건 사람이고, 저건 의자야"라고 구분합니다. 하지만 단순히 화면에 보이는 것만 보고 나누는 게 아니라, 시간이 지나도 움직임을 함께 하는 사람들끼리 묶어줍니다. 마치 "저기서 같이 춤추는 사람들끼리 한 팀으로 묶어라"라고 지시하는 것과 같습니다.

② 단계: 팀 규칙 정하기 (Group-wise Optimization)
모든 팀이 모였으니, 각 팀에 맞는 운동을 시킵니다.

• 단단한 팀: "우리 팀은 한 덩어리로 움직여야 해." (기하학적 일관성 유지)
• 유연한 팀: "우리는 부드럽게 구부러져도 돼." (국소적인 매끄러움 유지)
  이 과정을 통해 물체들이 뭉개지거나 찢어지지 않고, 자연스러운 3D 형태를 유지하도록 다듬습니다.

③ 단계: 미래 예언 (Group-wise Forecasting)
이제 가장 중요한 부분입니다. "앞으로 어떻게 움직일까?"를 예측합니다.
기존에는 모든 입자를 한꺼번에 예측하려다 실패했지만, MoGaF 는 팀별로 따로 예측합니다.

• "의자 팀은 앞으로 10 초 뒤에도 같은 방향을 보고 있을 거야."
• "사람 팀은 손을 들어 올렸다가 내릴 거야."
  이렇게 작은 팀 단위로 미래를 예측하면, 전체적인 장면이 훨씬 더 안정적이고 사실적으로 그려집니다. 마치 오케스트라에서 지휘자가 각 악기 섹션 (현악기, 관악기 등) 에 따로 지시를 내려 완벽한 연주를 만들어내는 것과 같습니다.

3. 왜 이것이 중요한가요?

이 기술은 단순히 "예쁜 영상을 만드는 것"을 넘어, 로봇이 미래를 예측하고 행동하거나 자율주행차가 사고를 미리 피하는 것에 필수적입니다.

• 기존 기술: "저 차가 앞으로 1 초 뒤엔 어디에 있을까?" (짧은 시간만 예측 가능)
• MoGaF: "저 차가 10 초 뒤에도 차선 안에 있을지, 아니면 급정거할지, 그리고 그 차 안에서 타인이 어떻게 움직일지까지" (긴 시간 동안 물리 법칙에 맞게 예측 가능)

요약

이 논문은 **"움직이는 장면을 예측할 때, 모든 것을 다 같이 섞어두지 말고 '물체별 팀'을 만들어서 각 팀의 성격을 파악한 뒤 미래를 예측하자"**는 아이디어를 제시합니다.

마치 어려운 퍼즐을 풀 때, 조각 하나하나를 무작위로 맞추는 대신 '하늘', '바다', '나무' 같은 큰 덩어리 (그룹) 로 먼저 분류한 뒤 맞춰나가는 것과 같습니다. 이렇게 하면 퍼즐이 훨씬 더 빠르고 정확하게, 그리고 자연스럽게 완성됩니다.

이 기술 덕분에 우리는 이제 컴퓨터가 오랜 시간 동안 물체가 어떻게 움직이고 변형될지, 마치 인간처럼 자연스럽게 상상해낼 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

동적 장면 (Dynamic Scenes) 의 미래 프레임을 예측하는 것은 컴퓨터 비전의 근본적인 과제 중 하나입니다. 기존 연구들은 주로 다음과 같은 한계를 가지고 있습니다:

• 관측의 제한: 제한된 관측 데이터만으로는 일관된 객체 수준의 운동 (Object-level motion) 과 장기적인 시간적 진화를 포착하기 어렵습니다.
• 보간 (Interpolation) 대 외삽 (Extrapolation): 기존 3D Gaussian Splatting 기반 방법들은 주로 관측된 시간 범위 내의 보간에 집중하며, 관측을 벗어난 미래 (외삽) 에서는 성능이 급격히 저하되거나 기하학적 불일치가 발생합니다.
• 운동의 비일관성: 기존 4D Gaussian 방법들은 개별 가우시안 원시 (Primitives) 가 독립적으로 움직여 공간적으로 비일관된 운동이 누적되고, 장기 예측 시 궤적이 붕괴되거나 얼어붙는 (Frozen) 현상이 발생합니다.
• 2D 기반 방법의 한계: 2D 비디오 예측 기반 방법들은 고정된 뷰에서만 작동하며 복잡한 장면에서 기하학적 일관성을 유지하기 어렵습니다.

2. 제안 방법: MoGaF (Motion Group-aware Gaussian Forecasting)

저자들은 4D Gaussian Splatting (4DGS) 표현을 기반으로 물리적으로 일관된 장기 장면 외삽을 가능하게 하는 MoGaF 프레임워크를 제안합니다. 이 방법은 크게 세 가지 핵심 단계로 구성됩니다.

2.1. 운동 인지 가우시안 그룹화 (Motion-aware Gaussian Grouping)

• 목표: 2D 분할 (Segmentation) 사전 지식을 활용하여 가우시안을 일관된 운동 패턴을 가진 객체 단위로 그룹화하고, 각 그룹을 '강체 (Rigid)' 또는 '비강체 (Non-rigid)'로 라벨링합니다.
• 기법:
  • 단순한 2D 마스크 매핑만으로는 가우시안의 변형이나 가림 (Occlusion) 으로 인해 그룹화가 실패할 수 있으므로, 반복적인 영역 성장 (Iterative Region Growing) 전략을 도입합니다.
  • 핵심 단계: (1) 키프레임 기반 시드 (Seeding) 추출, (2) 시공간 특징 (Canonical 공간의 평균 위치 + PCA 축소 운동 계수) 을 기반으로 한 특징 공간 영역 성장.
  • 이 과정을 통해 객체 단위의 일관된 운동 그룹을 생성하고, 강체/비강체 특성을 구분합니다.

2.2. 그룹별 제약 최적화 (Group-wise Constrained Optimization)

• 목표: 그룹화된 가우시안들에 대해 물리적으로 일관된 운동을 강제하여 4DGS 표현을 정제합니다.
• 손실 함수 (Loss Functions):
  • 강체 운동 고정 손실 (Rigid Motion Anchoring Loss): 강체 그룹 ($\tau=1$) 에 대해서는 모든 가우시안이 공유하는 단일 $SE(3)$ 변환을 따르도록 제약합니다.
  • 비강체 운동 매끄러움 손실 (Non-rigid Motion Smoothness Loss): 비강체 그룹 ($\tau=0$) 에 대해서는 공간적으로 인접한 가우시안들이 일관된 운동 계수를 가지도록 정규화합니다.
• 효과: 개별 가우시안의 드리프트 (Drift) 를 줄이고, 시간적 일관성을 갖춘 구조화된 4D 표현을 얻습니다.

2.3. 그룹별 운동 예측 (Group-wise Motion Forecasting)

• 목표: 관측된 프레임 이후의 미래 운동 궤적을 예측합니다.
• 아키텍처: 각 운동 그룹마다 경량화된 Transformer 기반 예측기 (Forecaster) 를 학습시킵니다.
• 학습 전략:
  • 마스킹 운동 모델링 (Masked Motion Modeling): NLP 의 Masked Language Modeling 에서 영감을 받아, 입력 시퀀스의 일부 구간을 마스킹하여 모델이 주변 운동 맥락으로부터 누락된 동역학을 추론하도록 훈련합니다. 이는 장기 예측의 강건성을 높입니다.
  • 자가 회귀 롤아웃 (Autoregressive Rollout): 예측된 프레임을 입력으로 재사용하여 미래 시점을 순차적으로 생성합니다.
  • 물리 정규화: 가속도 정규화 항 (Acceleration Regularization) 을 추가하여 물리적으로 매끄러운 운동을 유도합니다.

3. 주요 기여 (Key Contributions)

1. MoGaF 프레임워크: 동적 Gaussian Splatting 에 객체 수준의 운동 모델링을 통합하여 장기 장면 외삽을 가능하게 하는 통합 프레임워크를 제시했습니다.
2. 운동 인지 그룹화 및 최적화: 가우시안을 운동 패턴에 따라 그룹화하고, 강체/비강체 특성에 맞는 제약 최적화를 통해 물리적으로 일관된 시공간 표현을 생성합니다.
3. 성능 향상: 합성 및 실사 데이터셋에서 기존 베이스라인 (GSPred, ODE-GS 등) 을 능가하는 고품질의 미래 프레임 합성과 운동의 타당성을 입증했습니다. 특히 장기 예측 (Long-term forecasting) 에서의 안정성이 두드러집니다.

4. 실험 결과 (Results)

• 데이터셋: iPhone 데이터셋 (실사, 다중 핸드헬드 카메라) 과 D-NeRF 데이터셋 (합성, 객체 중심) 에서 평가 수행.
• 평가 지표: PSNR, SSIM, LPIPS (화질), 3D/2D 포인트 추적 정확도 (운동 일관성).
• 주요 결과:
  • iPhone 데이터셋: 관측 비율이 60% 일 때 (40% 예측), MoGaF 는 GSPred, GSPred-SoM, ODE-GS-SoM 대비 모든 메트릭에서 우수한 성능을 보였습니다. 특히 GSPred 는 손의 빠른 운동을 예측하지 못하거나 기하학이 무너지는 반면, MoGaF 는 객체 구조와 복잡한 운동을 정확하게 유지했습니다.
  • D-NeRF 데이터셋: 60% 관측/40% 예측 설정에서 MoGaF 는 대부분의 장면에서 더 높은 PSNR 과 LPIPS 점수를 기록하며 장기 운동 모델링 능력을 입증했습니다.
  • Ablation Study: 그룹별 최적화와 그룹별 예측기를 제거할 경우 성능이 현저히 저하됨을 확인하여, 객체 수준의 구조가 장기 예측의 핵심임을 증명했습니다. 또한 마스킹 전략이 장기 예측의 강건성을 높이는 데 기여함을 확인했습니다.

5. 의의 및 의의 (Significance)

• 로봇 공학 및 자율 주행: 로봇 행동 계획이나 자율 주행과 같이 관측되지 않은 미래 운동을 예측해야 하는 의사결정 분야에서 중요한 기여를 합니다.
• 3D 동적 장면 표현의 진화: 단순한 보간을 넘어, 물리적으로 일관된 장기 외삽을 가능하게 함으로써 3D Gaussian Splatting 의 적용 범위를 확장했습니다.
• 구조화된 운동 모델링: 개별 가우시안의 무작위 운동을 객체 단위의 그룹화 및 제약 최적화를 통해 제어함으로써, 기존 방법들이 겪었던 시간적 붕괴 문제를 해결했습니다.

한계점 및 향후 과제:

• 현재는 장면별 최적화 (Per-scene optimization) 에 의존하므로, 관측 뷰가 제한적인 경우 재구성이 어렵습니다.
• 가우시안이 물리적 원시 (Physical primitives) 가 아니기 때문에, 객체 간의 충돌 (Collision) 이나 마찰과 같은 상호작용을 명시적으로 모델링하지는 못합니다. 향후 물리 제약 조건을 통합하는 방향으로 발전이 필요합니다.