ChronoGS: Disentangling Invariants and Changes in Multi-Period Scenes

기술 요약: ChronoGS

문제 정의
본 논문은 동일한 공간 영역을 이산적인 시간 간격 (예: 수 개월 또는 수 년 간격) 으로 촬영한 캡처들의 집합으로 정의되는 다중 기간 (multi-period) 장면의 재구성 문제를 다룹니다. 이러한 장면은 기하학적 및 외관적 변화가 크게 발생합니다. 기존 방법들은 다음과 같이 상충되는 가정에 의존하기 때문에 이러한 설정에서 실패합니다:

• 정적 방법 (예: 표준 3DGS, NeRF) 은 단일이며 시간에 불변인 기하학을 가정합니다. 다중 기간 데이터에 적용될 경우, 서로 다른 기간의 고유한 구조들을 흐리게 만드는 "시간적 평균화 (temporal averaging)" 아티팩트를 생성합니다.
• 동적 방법 (예: 4DGS, D-NeRF) 은 시간에 따른 매끄럽고 연속적인 운동을 가정합니다. 이들은 장기 다중 기간 데이터의 특징인 불연속적이고 급격한 변화 (예: 신축 공사, 식생 성장, 철거) 에 어려움을 겪으며, 종종 중간 상태를 환각적으로 생성하거나 올바르게 보간하지 못합니다.

방법론: ChronoGS
저자들은 ChronoGS를 제안합니다. 이는 통합된 앵커 발판 (unified anchor scaffold) 내에서 모든 기간을 재구성하는 시간적으로 변조된 가우스 표현입니다. 핵심 혁신은 불변 구조를 기간별 변이와 분리하는 데 있습니다.

1. 통합 앵커 발판:

   • 장면은 모든 기간에 걸친 희소 점구름의 합집합으로부터 초기화된 3D 앵커 ($A$) 집합으로 표현됩니다.
   • 이 발판은 기간 간 공간적 일관성을 보장하는 전역 기하학적 사전 지식으로 작용합니다.
   • 기하 활성화 메커니즘: 기하학적 변화 (예: 건물의 출현 또는 소멸) 를 처리하기 위해, 모델은 예측된 불투명도에 기반하여 가우스를 활성화하거나 비활성화하도록 학습합니다. 특정 기간에서 앵커의 기하학이 가려지거나 존재하지 않는 경우, 해당 앵커의 불투명도는 0(또는 음수) 으로 예측되어 해당 기간의 렌더링에서 효과적으로 제거되지만, 발판의 구조적 무결성은 유지됩니다.

2. 시간적으로 변조된 특징 표현:
   각 앵커 $a_i$는 장면의 서로 다른 측면을 모델링하기 위해 세 가지 고유한 특징 성분을 유지합니다:

   • 기간 불변 기본 특징 ($f^{base}_i$): 모든 기간에 공통된 안정적이고 공유되는 기하학 및 외관을 인코딩합니다.
   • 지역 기간 변이 특징 풀 ($f^{var}_i$): 각 앵커에 대한 기간별 세부 정보를 저장하는 특징 집합으로, 지역적 적응 (예: 특정 벽의 질감 변화) 을 가능하게 합니다.
   • 전역 기간 변이 특징 ($g(t)$): 계절적 조명, 날씨, 또는 전체적인 조명 변화와 같은 전역 요인을 모델링하기 위해 모든 앵커 간에 공유되는 장면 수준의 특징입니다.

3. 시간 인코딩 및 디코딩:

   • 시간은 관찰된 기간에 대해 원-핫 (one-hot) 인코딩으로 표현되며, 중간 시간 단계에 대해서는 선형 보간을 사용합니다.
   • 경량 MLP 디코더는 기본 특징, 보간된 지역 특징, 그리고 전역 특징을 융합하여 각 앵커당 $K$개의 가우스 원시 (primitives) 의 속성 (위치 오프셋, 스케일, 회전, 불투명도, 색상) 을 예측합니다.
   • 이 설계는 모델이 기저 구조를 공유하면서도 기간별 상태 간에 전환할 수 있게 합니다.

4. 최적화:
   모델은 모든 기간에 대해 하이브리드 광도 손실 ($L_1$ + SSIM) 을 사용하여 공동으로 훈련됩니다. 발판을 정제하기 위해 동적 앵커 성장 및 가지치기를 적용하여, 모든 기간에 걸친 기하학의 합집합을 중복 없이 커버하도록 보장합니다.

주요 기여

1. 새로운 프레임워크: ChronoGS는 불연속적인 기하학 및 외관 변화를 공동으로 처리하는 통합된 미분 가능한 가우스 스플래팅 프레임워크 내에서 다중 기간 장면을 재구성하는 최초의 작업으로 제시됩니다.
2. ChronoScene 데이터셋: 저자들은 12 개의 장면 (8 개의 실제 장면, 4 개의 합성 장면) 과 8,891 개의 이미지를 포함하는 새로운 벤치마크 데이터셋을 소개합니다. 이는 정적이거나 단기 동적 장면에만 초점을 맞춘 기존 벤치마크의 공백을 해소하며, 장기 시간 간격에 걸쳐 결합된 기하학적 및 외관적 진화 (건설, 식생 성장, 계절적 변화) 를 포착합니다.
3. 방법론적 설계: 불변 기저를 지역 및 전역 시간 변이와 분리하는 특정 아키텍처와 기하 활성화 메커니즘을 결합함으로써, 기존 방법들이 실패하는 일관된 재구성을 가능하게 합니다.

실험 결과

• 정량적 성능: ChronoScene 데이터셋에서 ChronoGS는 실제 및 합성 장면 모두에 대해 PSNR, SSIM, LPIPS 지표에서 3DGS, Scaffold-GS, GS-W, NeuSC, 4DGS, Realtime4DGS를 포함한 베이스라인보다 일관되게 우수한 성능을 보입니다. 더 선명한 렌더링과 더 정확한 기하학을 달성합니다.
• 효율성: 복잡한 시간적 변이를 처리함에도 불구하고, ChronoGS는 컴팩트한 메모리 풋프린트 (예: 실제 장면의 경우 0.52GB) 를 유지하며, 각 기간별로 별도의 정적 모델을 훈련하는 것보다 적은 훈련 반복 횟수가 필요합니다.
• 정성적 분석: 시각적 비교 결과, ChronoGS는 혼합 데이터로 훈련된 정적 모델에서 관찰되는 고스트 현상과 흐림, 그리고 동적 모델에서 나타나는 환각적인 중간 구조를 성공적으로 피하는 것을 보여줍니다. 이는 기간별 기하학 및 외관을 충실히 재구성합니다.
• 애블레이션 연구: 실험은 세 가지 특징 성분 (기본, 지역 변이, 전역 변이) 이 모두 필수적임을 확인시켜 줍니다. 임의의 성분을 제거하면 안정성, 지역 충실도, 또는 장면 수준의 일관성이 저하됩니다.

의의 및 주장
본 논문은 ChronoGS가 다중 기간 장면 이해에 대한 향후 연구의 토대를 확립한다고 주장합니다. 정적 기하학이나 매끄러운 운동이라는 가정을 넘어섬으로써, 도시 매핑, 건설 진행 추적, 환경 모니터링과 같이 장면이 장기간에 걸쳐 불연속적으로 진화하는 실제 세계 응용 분야에 대한 견고한 해결책을 제공합니다. 저자들은 기존 파이프라인이 해결할 수 없는 기하학과 외관의 "결합된 변화 (coupled changes)"를 처리하는 데 필요한 단계로 자신의 작업을 위치시킵니다.