기술 요약: 동적 특징 정규화를 통한 스트리밍 비디오 기하학 안정화

1. 문제 정의

현대적인 단안 기하학 추정 (MGE) 및 단안 깊이 추정 (MDE) 파운데이션 모델 (예: MoGe, Depth Anything) 은 단일 이미지에서 높은 정확도를 달성하지만, 연속적인 비디오 스트림에 적용될 때 심각한 시간적 불일치를 보입니다. 이러한 불안정성의 주요 발현은 **스케일 - 쉬프트 드리프트 (scale-shift drifting)**로, 예측된 전역 깊이 스케일과 오프셋이 프레임 간에 변동하는 현상입니다.

이러한 드리프트는 3D 재구성에 다음과 같은 심각한 아티팩트를 유발합니다:

• 비강성 왜곡 (Non-rigid warping): 재구성된 장면이 시간이 지남에 따라 왜곡됩니다.
• 레이어링 붕괴 (Layering breaks): 표면이 분리되는 것처럼 보이는 불연속적인 포인트 클라우드가 발생합니다.
• 위치 지터 (Positional jitter): 전역 좌표계 내에서 객체 위치가 불안정해집니다.

기존 솔루션은 시간적 주의 (temporal attention) 또는 순환 메모리 모듈을 통해 이를 수정하려 시도하지만, 종종 대규모 주석 비디오 데이터셋에 대한 전체 네트워크 파인튜닝을 요구합니다. 이 접근 방식은 계산 비용이 많이 들고 데이터 집약적이며, 사전 훈련된 백본의 제로샷 일반화 및 프레임 단위 정확도를 종종 저하시킵니다.

2. 실증적 조사

저자들은 최첨단 MoGe 모델을 사용하여 이러한 불안정성의 근본 원인을 규명하기 위해 실증 연구를 수행했습니다.

• 관찰: 개별 프레임을 독립적인 아핀 변환 (스케일 및 쉬프트) 을 사용하여 정답에 정렬할 경우, 기하학적 정확도는 극히 높습니다 ($\delta < 1.25$가 99.8% 에 도달). 그러나 단일 일관된 스케일/쉬프트를 전체 시퀀스에 적용할 경우, 정확도는 크게 하락하여 (62.5% 로 감소) 심각한 왜곡이 발생합니다.
• 결론: 백본의 근본적인 기하학적 이해는 견고합니다. 불안정성은 열악한 프레임 단위 기하학 때문이 아니라 예측된 전역 스케일 및 쉬프트의 프레임 간 변동 때문입니다.
• 근본 원인 분석: 연구는 인코더가 추출한 잠재 특징 (latent features) 의 평균과 분산과 예측된 스케일/쉬프트 사이의 긴밀한 결합을 밝혔습니다. 비디오 스트림 전반에 걸친 이러한 잠재 특징 통계의 변동이 관찰된 스케일 - 쉬프트 드리프트를 직접적으로 유발합니다.

3. 방법론: 동적 특징 정규화 (DyFN)

이를 해결하기 위해 본 논문은 전체 네트워크를 재훈련하지 않고도 시간에 따른 특징 통계를 안정화하도록 설계된 경량, 인과적, 순환 모듈인 **동적 특징 정규화 (Dynamic Feature Normalization, DyFN)**를 제안합니다.

아키텍처

• 동결된 백본 (Frozen Backbone): 단일 이미지 정확도와 제로샷 일반화를 유지하기 위해 사전 훈련된 MGE 인코더와 디코더는 동결된 상태로 유지됩니다.
• 순환 모듈: DyFN 은 인코더와 디코더 사이에 삽입됩니다. 이전 프레임의 역사적 맥락을 집계하는 숨겨진 상태 ($h_t$) 를 유지하기 위해 **합성곱 GRU(ConvGRU)**를 활용합니다.
• 정규화 과정:
  1. 표준화: 유입되는 잠재 특징 $F_t$를 채널별 평균 ($\mu_t$) 과 표준 편차 ($\sigma_t$) 를 사용하여 정규화합니다.
  2. 예측: ConvGRU 숨겨진 상태 $h_t$를 두 개의 경량 $1\times1$ 합성곱 헤드를 통해 투영하여 새로운 시간적 일관성을 가진 통계, 즉 평균 $\hat{\mu}_t$와 표준 편차 $\hat{\sigma}_t$를 예측합니다.
  3. 변조: 정규화된 특징을 예측된 통계를 사용하여 다시 스케일링하고 쉬프트합니다: $F^{consistent}_t = \hat{\sigma}_t \cdot F^{norm}_t + \hat{\mu}_t$.
  4. 디코딩: 안정화된 특징은 동결된 디코더로 전달되어 최종 깊이 맵을 생성합니다.

훈련 전략

• 파라미터 효율성: 전체 파라미터의 불과 **2%**에 해당하는 DyFN 모듈만 파인튜닝됩니다 (백본의 수십억 개 파라미터 대비 약 500 만 개).
• 손실 함수:
  • 기본 손실 ($L_{MoGe}$): 원래의 단일 프레임 기하학적 충실도를 유지합니다.
  • 전역 정렬 손실 ($L_{align}$): 전역 최적 아핀 변환에서의 편차를 패널티로 부과함으로써 전체 시퀀스에 걸쳐 단일 일관된 스케일과 쉬프트를 강제합니다.
  • 시간 손실 ($L_{temp}$): 장기 드리프트를 방지하기 위해 여러 윈도우 크기에 걸쳐 예측된 프레임 간 델타와 정답 간의 불일치를 최소화합니다.

4. 주요 기여

1. 근본 원인 규명: 본 논문은 파운데이션 MGE 모델의 시간적 불안정성이 스케일 및 쉬프트 예측을 직접 결정하는 잠재 특징 통계 (평균 및 분산) 의 변동에서 비롯됨을 확립합니다.
2. DyFN 모듈: 순환 메커니즘을 사용하여 이러한 통계를 동적으로 변조하는 새로운 경량 안정화 모듈로, 백본의 일반화를 훼손하지 않고 일관된 기하학을 보장합니다.
3. 효율적 적응: 이 방법은 백본을 동결하고 DyFN 모듈만 파인튜닝함으로써 전체 네트워크 재훈련이 필요한 방법들보다 우수한 성능을 내면서 최첨단 시간적 안정성을 달성하고 프레임 단위 정확도를 유지함을 입증합니다.

5. 실험 결과

이 방법은 Sintel, ScanNet, KITTI, Bonn의 네 가지 벤치마크에서 평가되었습니다.

• 시간적 안정성 (비디오 깊이 평가):

  • DyFN 은 모든 데이터셋에서 최첨단 성능을 달성합니다.
  • ScanNet 에서 $\delta < 1.25$를 MoGe v1 의 84.7% 에서 **96.6%**로 개선하여 11.9% 의 절대적 개선을 이루었습니다.
  • DepthCrafter 및 Video Depth Anything(VDA) 과 같은 강력한 비디오 기반 베이스라인과 FlashDepth 와 같은 스트리밍 방법보다 우수한 성능을 보입니다.
  • 정성적 3D 재구성에서 비강성 왜곡과 위치 지터를 현저히 줄입니다.

• 단일 프레임 정확도:

  • 종종 프레임 단위 성능을 저하시키는 다른 파인튜닝 접근법과 달리, DyFN 은 동결된 백본 (MoGe v1) 의 단일 프레임 정확도를 완벽하게 계승합니다.
  • 단일 프레임 지표 (표 2) 의 결과는 기본 MoGe v1 모델과 동일하여 FlashDepth 와 같은 방법에서 보이는 정확도 트레이드오프를 피합니다.

• 장기 시퀀스 강건성:

  • 최대 500 프레임까지의 시퀀스로 수행된 실험에서, DyFN 은 베이스라인에 비해 최소한의 오차 누적을 보여주며 시간에 걸쳐 우수한 스케일 일관성을 유지합니다.

• 일반화:

  • 이 접근법은 DepthAnythingV2(DAv2) 백본에 성공적으로 적용되어 시간적 안정성에서 상당한 개선을 보였으며, 이 방법이 아키텍처에 구애받지 않음을 확인시켜 주었습니다.

6. 중요성 및 주장

본 논문은 동적 특징 정규화가 정적 파운데이션 모델을 연속적인 비디오 스트림에 적응시키기 위한 단순하고 효율적이며 매우 효과적인 경로를 제공한다고 주장합니다. 스케일 - 쉬프트 드리프트를 유발하는 잠재 특징 통계를 직접 규제함으로써, 이 방법은 다음과 같은 성과를 달성합니다:

• 대규모 비디오 모델 훈련의 계산 비용 없이 최첨단 시간적 안정성을 달성합니다.
• 백본을 동결함으로써 제로샷 일반화 및 단일 이미지 정확도를 유지합니다.
• 높은 지연 시간과 메모리 중복으로 고통받는 오프라인 비디오 방법과 장기 일관성을 유지하지 못하는 다른 스트리밍 방법 모두보다 우월한 성능을 발휘합니다.

저자들은 이 작업이 특징 수준 정규화를 통해 스케일 - 쉬프트 불일치라는 구체적인 문제를 해결함으로써, 고정밀 단일 이미지 기하학 추정과 자율 주행, 임베디드 AI 와 같은 실제 세계 스트리밍 애플리케이션의 요구 사항 사이의 간극을 메웠다고 결론 내립니다.