기술 요약: SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry)

1. 문제 정의

단안 비디오 시퀀스로부터 3D 기하 구조를 추정하는 것은 컴퓨터 비전 분야의 근본적인 과제입니다: 즉, 높은 기하학적 정확도와 장기적인 시간적 일관성(long-range temporal consistency) 사이의 균형을 맞추는 것입니다. 기존 방법들은 대개 한 쪽 영역에서 탁월한 성능을 보이지만 다른 한 쪽을 희생합니다. 단일 이미지 접근 방식(예: MoGe)은 상세한 기하 구조를 포착하지만, 프레임별로 적용할 때 일관되지 않은 결과를 생성하여 스케일 드리프트(scale drift)를 유발합니다. 반대로, 비디오 특화 방법들은 단기적인 일관성은 제공하지만 기하학적 정밀도가 부족하거나, 복잡한 카메라 궤적 및 조명 변화 하에서 수백 프레임에 걸친 전역적 스케일을 유지하는 데 실패하곤 합니다. 또한, 긴 시퀀스를 동시에 처리하는 것은 메모리 제약으로 인해 불가능한 경우가 많으며, 이는 정밀한 시간적 위치 인코딩의 필요성과 훈련 예제를 훨씬 초과하는 긴 시퀀스로 확장할 수 있는 능력 사이의 긴장을 만들어냅니다.

2. 방법론

SCOPE는 RGB 비디오로부터 아핀 불변(affine-invariant) 3D 포인트 맵을 단 한 번의 순방향 패스(single forward pass)로 생성하는 새로운 접근 방식을 제안합니다. 이 방법은 시퀀스의 모든 프레임이 동일한 스케일 및 시프트 파라미터를 공유하도록 보장하여, 일관된 스케일 불변 표현을 가능하게 합니다.

2.1 아키텍처 및 핵심 구성 요소

이 모델은 DINOv2-L 시각 인코더와 트랜스포머 기반 디코더를 사용하는 MoGe 아키텍처를 기반으로 구축되었습니다. 비디오를 처리하기 위해, 저자들은 4개의 디코더 특징 레벨 각각 뒤에 시간적 어텐션(temporal attention) 모듈을 삽입했습니다. 주요 혁신 사항은 다음과 같습니다:

• 시점 불변 기하 구조 (Viewpoint-Invariant Geometry): 기하학적 일관성을 강제하기 위해, 이 방법은 카메라 포즈(훈련 중에 사용 가능)를 사용하여 개별 카메라 좌표계의 점들을 공통 참조 프레임으로 변환합니다. 다중 스케일 기하학적 손실(multi-scale geometric loss)이 이 통합된 좌표계 내에서 적용되어, 서로 다른 시점 간의 구조를 비교합니다. 여기에는 거친 구조와 미세한 세부 사항을 모두 포착하기 위한 전역 정렬 및 로컬 그리드 기반 정렬(그리드 크기 4 및 16 사용)이 포함됩니다.
• 외형 불변 학습 (Appearance-Invariant Learning): 일시적인 시각적 조건(예: 조명 변화, 블러)에 대한 견고함을 보장하기 위해, 훈련 과정에서 독립적으로 샘플링된 색상 변환과 블러 패턴을 사용하는 프레임별 증강(augmentation)을 채택합니다. 이를 통해 모델이 일시적인 외형 단서가 아닌 불변하는 기하학적 특징에 집중하도록 강제합니다.
• 주파수 변조 위치 외삽 (Frequency-Modulated Positional Extrapolation): 훈련 컨텍스트(예: 24프레임)보다 훨씬 긴 시퀀스(예: 300프레임 이상)를 처리하기 위해, SCOPE는 NTK(Neural Tangent Kernel) 적응형 Rotary Position Encoding(RoPE)을 사용합니다.
  • 동적 NTK 스케일링 (Dynamic NTK Scaling): 주파수 성분은 추론 시퀀스 길이와 훈련 길이의 비율에 따라 스케일링됩니다. 이는 모델이 미세한 로컬 디테일(고주파 성분)을 포착하는 능력은 보존하면서, 장거리 의존성(저주파 성분)을 위한 조정을 증폭시키는 역할을 합니다.
  • 훈련 시 시퀀스 스트레칭 (Train-Time Sequence Stretching): 훈련 중에 모델은 "가상"의 확장된 시퀀스에 노출됩니다. 위치 인코딩은 더 긴 가상 시퀀스에 대해 계산된 후, 실제 입력 길이에 맞게 간격을 두고 샘플링됩니다. 이는 외삽(extrapolation)을 시뮬레이션하여, 모델이 훈련 데이터보다 수십 배 더 긴 시퀀스를 다룰 수 있도록 학습시킵니다.

2.2 손실 함수 및 시간적 일관성

훈련 목적 함수는 프레임별 기하학적 손실과 프레임 간 제약 조건을 통합합니다:

• 교차 프레임 기하학적 손실 ($L_{cross}$): 점 구름(point clouds)을 공유 참조 프레임으로 정렬하고, 전역 및 로컬 스케일에 걸쳐 투영 오차를 최소화함으로써 일관성을 강제합니다.
• 계층적 시간적 감독 (Hierarchical Temporal Supervision, $L_{temp}$): 인접 프레임 제약에만 의존하는 대신(이는 오차 누적을 초래함), SCO_PE는 미분 감독 프레임워크를 도입합니다. 이는 기하급수적으로 증가하는 시간 간격($\delta = 1, 2, 4, 8$)에 따른 깊이 값의 시간적 미분을 처벌합니다. 이 구조 보존 제약은 스케일 드리프트를 직접적으로 억제하고 장기간 동안 매끄럽고 일관된 예측을 보장합니다.

2.3 추론 전략

SCOPE는 단일 패스(single-pass) 방식으로 작동합니다. 겹치는 세그먼트를 독립적으로 처리하여 경계에서의 드리프트를 유발할 수 있는 슬라이딩 윈도우 방식과 달리, SCOPE는 주파수 변조 위치 인코딩을 사용하여 전체 시퀀스를 한 번에 처리합니다. 이를 통해 계산 중복을 제거하고 비디오 전체에 걸쳐 전역적 컨텍스트를 유지합니다.

3. 주요 기여

1. 스케일 일관적 단일 패스 추정: 전체 비디오 시퀀스에 대해 공유된 스케일 및 시프트 파라미터를 가진 3D 포인트 맵을 생성하는 통합 프레임워크를 제공하여, 프레임 단위 또는 슬라이딩 윈도우 방식에서 흔히 발생하는 스케일 드리프트를 제거합니다.
2. 세 가지 핵심 혁신:
   • 다중 스케일 교차 프레임 손실을 통한 시점 불변 기하 정렬.
   • 일시적인 시각적 조건으로부터 구조적 특징을 분리하기 위한 외형 불변 학습.
   • 훈련 길이를 훨씬 초과하는 시퀀스로의 강력한 외삽을 가능하게 하는 주파수 변조 위치 지정(NTK 적응형 RoPE 및 훈련 시 스트레칭).
3. 효율적인 장거리 처리: 단일 순방향 패스를 통해 수백 프레임을 드리프트 없이 처리할 수 있어, 비디오 확산 모델(diffusion)이나 슬라이딩 윈도우 베이스라인 모델에 비해 높은 계산 효율성을 달술합니다.

4. 실험 결과

Sintel, ScanNet, Bonn, KITTI, DDAD 등 합성, 실내, 실외 주행 시나리오를 아우르는 다양한 데이터셋에서 실험이 수행되었습니다.

• 정량적 성능: SCOPE는 최신 기술(SOTA) 방법들을 크게 앞섭러갑니다. ScanNet에서 기존 방식 대비 상대적 포인트 맵 오차를 24.2% 줄이고, 시간적 정렬 오차(TAE)를 34.9% 줄였습니다. 모든 평가 데이터셋에서 가장 낮은 평균 순위를 기록했습니다.
• 지표 비교:
  • MoGe-2와 비교했을 때, SCOPE는 대등한 포인트 맵 정확도를 달성하면서도 시간적 정렬 성능은 현저히 우수합니다.
  • VGGT 및 $\pi^3$와 비교했을 때, SCOPE는 더 우수한 시간적 일관성을 제공하며 파라미터 효율성도 높습니다 ($\pi^3$의 959M 대비 322M 파라미터).
  • DepthCrafter 및 Video Depth Anything과 비교했을 때, SCOPE는 경쟁력 있거나 더 우수한 정확도를 유지하면서도 6~42배 더 빠릅니다 (39.1 FPS 대 <7 FPS).
• 다운스트림 영향: MegaSAM을 통한 4D 재구성을 위한 입력으로 사용될 때, SCOPE는 일관되고 파편화되지 않은 결과를 생성합니다. Sintel 데이터셋에서 MoGe 및 MonST3R 대비 절대 궤적 오차(ATE)를 5560%, 상대 궤적 오차(RTE)를 5863% 개선했습니다.
• 절제 연구 (Ablation Studies):
  • 외삽 (Extrapolation): NTK 적응형 RoPE와 시퀀스 스트레칭의 결 조합(RoPE+)이 최상의 트레이드오프를 제공하며, 표준 인코딩에 비해 긴 시퀀스(270 프레임)에서 TAE를 유의미하게 감소시킵니다.
  • 손실 구성 요소: 교차 프레임 기하 제약과 계층적 시간적 감독 모두 필수적이며, 이들의 결합이 최상의 시간적 일관성을 만들어냅니다.
  • 추론 (Inference): 단일 패스 처리는 슬라이딩 윈도우 방식보다 일관되게 우수한 성능을 보였으며, KITTI에서 오차를 거의 10% 줄였습니다.

5. 의의 및 주장

본 논문은 SCOPE가 단안 비디오 깊이 추정에서 기하학적 정확도와 시간적 일관성 사이의 근본적인 긴장을 해결한다고 주장합니다. 확장된 시퀀스를 단일 패스로 처리할 수 있게 함으로써, SCO_PE는 복잡한 카메라 움직임과 조명 변화가 있는 도전적인 시나리오에서도 고품질의 3D 및 4D 재구성을 용이하게 합니다.

저자들은 SCOPE를 자율 주행, 가상 현실, 뉴 뷰 합성(novel view synthesis)과 같이 장기적 일관성이 요구되는 응용 분야를 위한 중요한 진전으로 포지셔닝합니다. 현재 구현은 평가 파이프라인 중에 카메라 포즈를 추정하기 위해 외부 도구(MegaSAM)에 의존하고 있으나, 향-후 연구에서는 네트워크 내에서 카메라 궤적을 직접 추정하는 것을 목표로 한다고 명시했습니다. 이 방법은 단일 이미지의 정밀도와 비디오 수준의 일관성 사이의 간극을 메우는 견고하고 효율적이며 확장 가능한 솔루션으로 제시됩니다.