Relaxed Rigidity with Ray-based Grouping for Dynamic Gaussian Splatting

이 논문은 외부 사전 지식 없이도 레이 기반 그룹화 전략을 통해 가우스 입자의 국소 기하학적 구조를 시간적으로 일관되게 유지함으로써, 모노큘러 비디오 데이터셋에서 동적 3D 장면의 재구성 품질과 시간적 일관성을 획기적으로 개선하는 방법을 제안합니다.

핵심

이 논문은 **"움직이는 3D 장면을 더 자연스럽게 재현하는 새로운 방법"**을 소개합니다.

기존의 기술 (3D 가우시안 스플래팅) 은 정적인 3D 장면을 아주 잘 만들지만, 사람이나 사물이 움직일 때는 문제가 생깁니다. 마치 춤을 추는 사람에게서 팔과 다리가 제멋대로 날아다니거나, 몸통이 뚝뚝 끊어지는 것처럼 보일 수 있죠.

이 논문은 그 문제를 해결하기 위해 **"레이 (Ray) 기반 그룹화"**와 **"완화된 강성 (Relaxed Rigidity)"**이라는 두 가지 핵심 아이디어를 제안합니다.

---

🎬 비유로 이해하는 이 기술

1. 문제: "혼란스러운 파티"

기존 방식은 3D 공간에 흩어진 수많은 작은 점들 (가우시안) 이 각자 제멋대로 움직이게 합니다.

• 상황: 파티장에 수많은 사람들이 있는데, DJ 가 음악을 틀자마자 모든 사람이 제각기 다른 방향으로 뛰기 시작합니다.
• 결과: 한 사람이 손으로 컵을 들었는데, 컵은 제자리에 있고 손만 날아갑니다. (이게 바로 '비물리적인 움직임'입니다.)

2. 해결책 1: "레이 (Ray) 기반 그룹화" = "눈에 보이는 친구들끼리 뭉치기"

기존 기술은 3D 공간에서 '거리'가 가까운 점들을 무작위로 묶었습니다. 하지만 이 논문은 "카메라 렌즈를 통해 한 줄기 빛 (레이) 이 지나갈 때, 실제로 눈에 보이는 점들끼리" 묶는 방식을 썼습니다.

• 비유:
  • 기존 (거리 기반): 파티장에서 '가까운 사람'끼리 무조건 묶습니다. 하지만 벽 뒤에 숨은 사람과 앞사람이 붙어있을 수도 있어 엉뚱한 그룹이 생깁니다.
  • 이 논문 (레이 기반): "내가 지금 보고 있는 이 컵을 구성하는 점들"만 모아서 그룹을 만듭니다. 마치 카메라 렌즈를 통해 찍힌 한 장의 사진 속의 사물을 하나의 덩어리로 인식하는 것과 같습니다.
  • 효과: 컵을 구성하는 점들은 컵이 움직일 때 함께 움직이고, 배경의 벽은 따로 움직입니다. 서로 섞이지 않아서 훨씬 깔끔합니다.

3. 해결책 2: "완화된 강성 (Relaxed Rigidity)" = "유연한 줄다리기"

그룹을 묶은 뒤, 어떻게 움직이게 할까요?

• 기존 (완전 강성): 그룹에 속한 모든 점이 정확히 같은 방향과 거리만큼 움직여야 합니다. (마치 강철 막대기로 묶인 것처럼요.)
  • 문제: 사람이 팔을 구부리거나 옷이 주름질 때, 강철 막대기로 묶으면 옷이 찢어지거나 팔이 뻣뻣해집니다.
• 이 논문 (완화된 강성): 그룹의 점들이 대체로 같은 방향으로 움직이되, 거리나 속도는 자유롭게 변할 수 있게 허용합니다.
  • 비유: 마치 줄다리기 팀 같습니다. 팀원들은 모두 같은 줄을 당기는 '방향'을 유지해야 하지만, 각자의 힘 (속도) 은 다를 수 있고, 팀 전체가 약간 늘어날 수도 있습니다.
  • 효과: 사물이 구부러지거나 늘어나는 자연스러운 변형 (비강체 운동) 을 완벽하게 표현하면서도, 사물이 뭉개지거나 사라지는 일은 막아줍니다.

---

🚀 이 기술이 가져온 변화

이 방법을 적용하면 다음과 같은 장점이 생깁니다:

1. 외부 지도 없이도 스스로 배웁니다: 기존에는 움직임을 맞추기 위해 '광학 흐름 (Optical Flow)' 같은 외부 도구를 많이 썼는데, 이 기술은 이미지 자체만으로도 물리적으로 자연스러운 움직임을 학습합니다.
2. 세부 묘사가 살아납니다: 손가락, 나뭇가지, 머리카락 같은 얇은 부분들이 흐릿해지거나 사라지는 현상이 줄어듭니다. (그룹화가 정확해서 각 부분이 제자리를 지키기 때문입니다.)
3. 어떤 모델에도 적용 가능합니다: 이 기술은 별도의 복잡한 구조 변경 없이, 기존에 있던 다양한 3D 모델들 위에 '부착'해서 성능을 획기적으로 높여줍니다.

💡 한 줄 요약

**"카메라가 보는 대로 점들을 묶고, 팀워크는 유지하되 유연하게 움직이게 하여, 움직이는 3D 장면을 영화처럼 자연스럽게 만들어주는 기술"**입니다.

이 기술 덕분에 앞으로 VR, 메타버스, 혹은 게임 속의 캐릭터들이 훨씬 더 사실적이고 매끄럽게 움직일 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

동적 3D 장면을 3D 가우시안 스플래팅 (3DGS) 을 사용하여 재구성하는 연구가 활발하지만, 현실적인 물리적 운동 (Realistic Motion) 을 모델링하는 데에는 여전히 한계가 존재합니다.

• 운동 불일치: 기존 방법들은 가우시안의 운동이 실제 물리적 역학과 일치하지 않는 경우가 많습니다. 특히 단일 카메라 (Monocular) 비디오 데이터셋에서는 시간적 일관성이 깨지면 국소적인 기하학적 구조가 무너져 재구성 품질이 급격히 저하됩니다.
• 외부 사전 지식 (External Priors) 의존성: 현재 최첨단 (SOTA) 방법들은 광학 흐름 (Optical Flow) 이나 2D 트랙과 같은 외부 사전 지식을 의존하여 시간적 일관성을 강제합니다. 그러나 이러한 2D 공간의 지도는 3D 기하학에 대한 간접적이고 모호한 정보일 뿐이며, 외부 모델의 오차가 최적화 과정으로 전파되어 운동 추정의 오류를 유발합니다.
• 강성 (Rigidity) 가정의 한계: K-최근접 이웃 (KNN) 등을 이용한 기존 강성 기반 모델은 물리적으로 가까운 점들을 무조건 같은 그룹으로 묶거나, 모든 점에 동일한 강체 변환을 적용합니다. 이는 실제 세계의 비강체 (Non-rigid) 변형이나 상호작용, 그리고 가우시안 프리미티브의 다양한 스케일을 고려하지 못해 실패합니다.

2. 제안 방법 (Methodology)

저자들은 외부 사전 지식 없이 4D 장면에서 가우시안의 국소 기하학적 구조를 시간적으로 보존하는 새로운 프레임워크를 제안합니다. 핵심 아이디어는 **광선 기반 그룹화 (Ray-based Grouping)**와 **완화된 강성 제약 (Relaxed Rigidity)**입니다.

A. 광선 기반 가우시안 그룹화 (Ray-based Gaussian Grouping)

• 기존 KNN 의 문제점 해결: 3D 공간의 유클리드 거리 기반 그룹화 대신, 렌더링 파이프라인의 **시선 (View Ray)**을 활용합니다.
• 알파 블렌딩 가중치 필터링: 각 픽셀을 통과하는 광선과 교차하는 가우시안들 중, 알파 블렌딩 가중치 ($w_i$) 가 임계값 ($\tau$) 이상인 가우시안들만 그룹 ($N_j$) 으로 선정합니다.
  • 이는 렌더링 과정에서 실제로 픽셀에 기여하는 (가시적이고 불투명한) 가우시안들만 선택한다는 의미로, 가려진 (Occluded) 배경이나 불필요한 프라임티브를 제외하여 물리적으로 일관된 그룹을 형성합니다.
  • 이 과정은 래스터화 (Rasterization) 단계에서 자연스럽게 수행되므로 추가적인 계산 오버헤드가 거의 없습니다.

B. 완화된 강성 제약 (Relaxed Rigidity Constraints)

선택된 그룹 내에서 두 가지 정규화 항을 적용하여 운동을 제어합니다.

1. 운동 일관성 정규화 (Motion Coherence Regularization, MCR):

   • 그룹 내 가우시안들의 **운동 방향 (Direction)**이 일관되도록 유도합니다.
   • 크기 (Magnitude) 는 자유롭게 허용: 모든 가우시안이 같은 거리만큼 이동해야 한다는 강체 (Rigid) 가정을 깨뜨리고, 방향만 일치하도록 하여 비강체 변형을 자연스럽게 표현합니다.
   • 손실 함수: 코사인 유사도 (Cosine Similarity) 기반의 방향 불일치 패널티를 사용합니다.

2. 스펙트럼 정규화 (Spectral Regularization, SR):

   • 그룹의 **국소적인 공간 분포 형태 (Shape)**를 시간적으로 유지합니다.
   • 가우시안 위치의 공분산 행렬 (Covariance Matrix) 고유값 (Eigenvalues) 스펙트럼을 비교하여, 그룹의 전체적인 모양이 왜곡되지 않도록 합니다.
   • 이는 ARAP(As-Rigid-As-Possible) 같은 엄격한 점 - 점 대응 관계를 피하면서도, 물체의 형태가 뭉개지거나 찢어지는 것을 방지합니다.
   • Welford 알고리즘 적용: 광선 따라 순차적으로 들어오는 가우시안들의 공분산을 한 번의 패스 (Single Pass) 로 효율적으로 계산하기 위해 Welford 알고리즘을 도입하여 메모리 효율성을 높였습니다.

3. 주요 기여 (Key Contributions)

1. 외부 사전 지식 불필요한 물리적 운동 모델: 광학 흐름이나 깊이 추정과 같은 외부 모델에 의존하지 않고, 이미지 자체의 감독 신호와 3D 기하학적 구조를 기반으로 물리적으로 타당한 운동을 학습합니다.
2. 모델 중립적 (Model-agnostic) 광선 기반 그룹화 전략: 기존 3DGS 기반의 동적 모델 (Deformation-field 또는 Basis-trajectory 방식) 에 구조적 변경 없이 쉽게 통합 가능한 새로운 그룹화 방식을 제안했습니다.
3. 완화된 강성 제약: 방향 일관성과 형태 보존을 분리하여, 복잡한 비강체 운동도 유연하게 표현하면서도 기하학적 일관성을 유지합니다.
4. 광범위한 실험 및 SOTA 성능: D-NeRF, HyperNeRF, NeRF-DS 등 다양한 합성 및 실사 데이터셋에서 기존 베이스라인 (RTD, Ex4DGS, MoDec-GS, Grid4D 등) 에 통합하여 적용, 모든 설정에서 재구성 품질과 시간적 일관성을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • D-NeRF: 베이스라인 대비 평균 1.19 dB의 PSNR 향상. 특히 MoDec-GS 와 결합 시 2.35 dB 향상.
  • HyperNeRF & NeRF-DS: 복잡한 실사 장면에서도 PSNR, SSIM, LPIPS 등 모든 지표에서 개선된 성능을 보였습니다. Grid4D+Ours 설정에서 D-NeRF 에서 42.20 PSNR 을 기록하며 SOTA 성능을 달성했습니다.
• 정성적 평가:
  • 기존 방법들이 나타내는 물체 소실, 형태 왜곡, 얇은 구조물 (예: 빗자루 손잡이, 손가락) 의 모호함 등을 효과적으로 해결했습니다.
  • 가우시안의 궤적 (Trajectory) 이 물체의 실제 운동과 더 잘 정렬되어, 시간적으로 일관된 부드러운 움직임을 보여줍니다.
• 효율성:
  • 훈련 시간은 기존 대비 약 2~3 배 증가하지만, 이는 정규화 계산 (공분산, SVD 등) 에 기인하며, 렌더링 시간에는 추가 비용이 발생하지 않습니다.
  • KNN 기반 그룹화보다 훈련 속도가 6~25% 빠르며, 더 정확한 그룹화를 제공합니다.

5. 의의 및 결론 (Significance)

이 논문은 동적 3D 가우시안 스플래팅 분야에서 외부 의존성을 줄이고 3D 기하학적 일관성을 강화하는 새로운 패러다임을 제시합니다.

• 물리 기반 운동 제약의 중요성 증명: 외부의 2D 신호에 의존하기보다, 3D 공간에서의 가시성과 기하학적 분포를 직접 활용하여 운동을 규제하는 것이 더 강력하고 일반화된 해결책임을 입증했습니다.
• 유연성과 견고성의 조화: '완화된 강성 (Relaxed Rigidity)' 개념을 통해 비강체 변형이 많은 실제 세계의 동적 장면을 더 자연스럽게 재구성할 수 있게 되었습니다.
• 향후 연구 방향: 더 정교한 물리적 제약 조건을 탐구하여 고도로 복잡하거나 제한된 운동 조건에서도 견고한 모델링이 가능하도록 확장할 수 있는 기반을 마련했습니다.

결론적으로, 이 연구는 단일 카메라 비디오로부터 고품질의 동적 3D 장면을 재구성하는 데 있어 외부 사전 지식 없이도 물리적으로 타당한 운동을 학습할 수 있는 효율적이고 강력한 프레임워크를 제공합니다.