4RC: 4D Reconstruction via Conditional Querying Anytime and Anywhere

4RC 기술 요약: 조건부 쿼리를 통한 임의 시점 및 임의 위치의 4D 재구성

문제 제기
최근 학습 기반 접근법들이 단안 비디오로부터의 3D 재구성 (예: DUSt3R, VGGT) 을 발전시켰지만, 이들은 주로 정적 기하학에 초점을 맞추고 있습니다. 실제 세계의 장면은 본질적으로 동적이므로, 3D 구조와 시간적 진화에 대해 공동으로 추론할 수 있는 시스템이 필요합니다. 기존 4D 재구성 방법들은 상당한 한계를 겪고 있습니다: 많은 방법들이 운동 추정과 기하학 재구성을 분리하여 다단계 파이프라인이나 반복적 정제 (예: SpatialTracker, MonST3R) 에 의존합니다. 다른 방법들은 쌍별 뷰 (ST4RTrack) 로 제한되거나, 기준 프레임에 상대적인 운동만 예측하거나 (Any4D), 장거리 궤적 모델링을 위해 기하학적 정확도를 희생합니다 (TraceAnything). 또한, V-DPM 과 같은 방법들은 추론 중 글로벌 집계로 인해 높은 계산 비용을 초래합니다. 유연한 쿼리 기능을 갖춘 밀집된 장면 기하학과 운동 역학을 공동으로 모델링할 수 있는 통합된 순방향 (feed-forward) 프레임워크는 부재합니다.

방법론
저자들은 단안 비디오에서 단일 패스로 전체 4D 속성 (3D 기하학 + 운동) 을 재구성하도록 설계된 통합 순방향 트랜스포머 프레임워크인 4RC를 제안합니다.

• 핵심 패러다임: 4RC 는 "한 번 인코딩, 임의 시점 및 임의 위치 쿼리" 패러다임을 도입합니다. 트랜스포머 백본은 전체 비디오 시퀀스를 컴팩트한 시공간 잠재 공간으로 인코딩합니다. 그런 다음 조건부 디코더는 비디오를 재인코딩하지 않고도 임의의 소스 프레임에 대한 3D 기하학과 운동을 임의의 목표 타임스탬프에서 효율적으로 쿼리합니다.
• 아키텍처:
  • 인코더: 비전 트랜스포머 (ViT) 를 기반으로 하는 인코더는 전용 카메라 토큰 (기하학용) 과 시간 토큰 (시간적 조건부용) 으로 증강된 패치화된 비디오 프레임을 처리합니다. 이는 통합된 4D 잠재 표현 $\mathcal{F}$를 생성합니다.
  • 조건부 디코더: 디코더는 두 개의 헤드로 나뉩니다:
    • 기하학 헤드: 각 프레임의 깊이, 광선 맵, 카메라 파라미터를 예측하여 임의의 입력 프레임을 위한 기본 3D 기하학 ($P_i^{t_i}$) 을 재구성하는 듀얼-DPT 설계입니다.
    • 운동 헤드: 쿼리 프레임 $i$에서 목표 타임스탬프 $\tau$까지의 밀집된 3D 변위장 ($\Delta P_i^{t_i \to \tau}$) 을 예측하는 경량 트랜스포머 디코더입니다. 이는 자기 어텐션, 목표 공간 토큰에 대한 교차 어텐션, 그리고 시간 임베딩에 조건부인 적응형 레이어 정규화 (AdaLN) 를 활용하여 복잡한 시간적 역학을 모델링합니다.
• 분해된 표현: 모든 시간 단계에 대한 전체 3D 포인트 클라우드를 예측하는 대신, 4RC 는 최소한의 분해된 출력을 채택합니다. 각 프레임은 뷰포인트 불변의 기본 기하학과 시간 의존적 상대 운동(3D 변위) 으로 표현됩니다. 이는 정적 형태와 동적 운동을 분리하여 시간적 일관성을 보장하고 계산적 중복성을 줄입니다.
• 학습: 모델은 기하학과 운동에 대한 공동 감독으로 엔드투엔드 방식으로 학습됩니다. 손실 함수는 깊이, 광선, 카메라, 운동 항을 포함하며, 공간적 및 시간적 일관성을 강제하기 위해 알레토릭 불확실성 가중치와 그래디언트 기반 제약 조건을 활용합니다.

주요 기여

1. 통합 순방향 프레임워크: 단안 비디오에서 3D 기하학과 운동을 공동으로 모델링하는 단일 네트워크로, 보조 추정기나 장면별 최적화의 필요성을 제거합니다.
2. 유연한 쿼리 패러다임: 임의의 소스 프레임에 대한 밀집된 3D 기하학과 운동을 임의의 목표 타임스탬프에서 검색할 수 있는 새로운 "한 번 인코딩, 임의 시점 및 임의 위치 쿼리" 메커니즘입니다.
3. 최소 분해된 표현: 4D 속성을 기본 기하학과 상대 운동으로 분해하여, 각 단계에서 기하학을 다시 예측하지 않고도 동적 장면의 효율적이고 통합된 재구성을 가능하게 합니다.

실험 결과
광범위한 실험은 4RC 가 다양한 벤치마크에서 이전 및 동시 방법들을 능가함을 보여줍니다:

• 밀집 3D 추적: Kubric 및 Waymo 데이터셋에서 4RC 는 평균 포인트 비율 (APD) 및 종단점 오차 (EPE) 에서 최첨단 성능을 달성하여, 가림 현상과 비강체 운동을 처리하는 데 특히 V-DPM 및 St4RTrack 과 같은 동시 방법들을 크게 능가합니다.
• 희소 포인트 추적: WorldTrack 벤치마크 (ADT, PStudio, PointOdyssey, Dynamic Replica) 에서 4RC 는 전문 추적 방법 (예: SpatialTrackerV2) 과 동시 4D 접근법들을 능가합니다.
• 카메라 포즈 및 다중 뷰 재구성: 4RC 는 TUM-dynamics 및 ScanNet 에서 카메라 포즈 추정 (ATE, RPE) 에서 최상위 성능을 달성하며, 7-Scenes 및 NRGBD 에서 다중 뷰 3D 재구성의 정확도/완전성에서 Pi3 와 같은 전문 3D 재구성 모델과 경쟁합니다.
• 깊이 추정: 모델은 Bonn 및 Sintel 데이터셋에서 경쟁력 있는 비디오 깊이 추정 결과를 달성하며, 대규모 3D 데이터셋에만 전적으로 학습되지 않았음에도 전문 3D 재구성 방법과 대등한 성능을 보입니다.

의의 및 주장
이 논문은 4RC 가 글로벌 시공간 모델링과 유연한 온디맨드 재구성 사이의 간극을 메운다고 주장합니다. 전체적인 4D 표현을 학습함으로써, 이 방법은 반복적 최적화의 계산 오버헤드나 쌍별 제약의 경직성 없이 객체 궤적, 변형, 상호작용에 대한 추론이 필요한 비디오 합성, 장면 이해, 로봇 공학 등의 응용을 가능하게 합니다. 저자들은 기하학과 운동에 대해 공동으로 추론할 수 있는 통합 모델이 더 일반적인 지각 시스템을 향한 유망한 방향이라고 주장합니다.