TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

기술 요약: TrackCraft3R

문제 제기
단안 비디오로부터의 밀집 3 차원 추적은 동적 장면 이해, 로봇 조작, 제어 가능한 비디오 생성에 필수적입니다. 이 분야의 근본적인 과제는 카메라의 자기 운동 (ego-motion) 을 효과적으로 상쇄하여 3 차원 세계 좌표계 내에서 물체의 운동을 복원하는 것입니다. 최근의 3 차원 기반 모델들은 신뢰할 수 있는 프레임별 기하학을 제공하지만, 시간 전반에 걸쳐 일관된 물체 운동을 복원하는 것은 여전히 어렵습니다. 기존 3 차원 추적기들은 일반적으로 두 가지 범주로 나뉩니다: (1) 합성 4 차원 데이터에서 처음부터 훈련된 반복적 패러다임으로, 이는 실제 세계 운동 사전 지식이 부족합니다. (2) 정적 다중 뷰 이미지에서 학습된 사전 훈련된 3 차원 재구성 모델을 미세 조정하는 순방향 접근법으로, 이는 실제 세계 비디오 역학에서 얻은 풍부한 시간적 사전 지식이 부족합니다.

반면, 사전 훈련된 비디오 확산 트랜스포머 (비디오 DiT) 는 인터넷 규모의 비디오에서 강력한 시공간적 사전 지식을 인코딩합니다. 그러나 근본적인 불일치가 존재합니다: 비디오 DiT 는 일반적으로 프레임 고정 (frame-anchored) 출력을 생성합니다 (각 프레임을 독립적으로 예측). 반면, 밀집 3 차원 추적은 참조 고정 (reference-anchored) 출력을 요구합니다 (시간에 걸쳐 참조 프레임에서 동일한 물리적 점을 추적). MotionCrafter 와 같은 4 차원 재구성을 위한 확산 모델의 이전 시도들은 인접 프레임 간의 프레임 고정 장면 흐름에 의존하여, 특히 가려짐 (occlusion) 하에서 오류 누적을 초래하는 시간적 체이닝을 필요로 합니다.

방법론: TrackCraft3R
TrackCraft3R 은 비디오 확산 트랜스포머를 순방향 밀집 3 차원 추적기로 재사용하는 최초의 방법입니다. 단안 비디오와 그 프레임 고정 재구성 포인트맵 (세계 좌표계의 3 차원 기하학 제공) 을 입력으로 받으면, TrackCraft3R 은 단일 순방향 통과로 참조 고정 추적 포인트맵을 예측합니다. 이 출력은 첫 번째 프레임의 모든 픽셀을 가시성 (visibility) 과 함께 시간 전반에 걸쳐 추적합니다.

핵심 혁신은 비디오 DiT 의 프레임별 생성 패러다임을 두 가지 주요 설계를 통해 참조 고정 추적 형식으로 전환하는 데 있습니다:

1. 이중 잠금 표현 (Dual-Latent Representation): 모델은 비디오 DiT 의 입력으로 두 가지 유형의 잠금을 사용합니다:

   • 기하학 잠금 ($g_j$): 각 시간戳 $t_j$ 의 RGB 프레임과 재구성 포인트맵에서 인코딩됩니다. 이는 각 특정 시간의 장면 3 차원 기하학을 나타냅니다.
   • 추적 잠금 ($r_j$): 참조 프레임 ($I_0$) 에 고정됩니다. 이는 첫 번째 프레임 기하학 잠금 ($g_0$) 을 모든 시간戳에 걸쳐 복제하여 생성됩니다. 이들은 참조 프레임에서 정의된 밀집 쿼리 점으로 작용합니다.
   • 모델은 이러한 잠금들의 연결을 전체 3 차원 어텐션을 사용하여 처리합니다. 직관적으로, 추적 잠금은 시간戳에 걸쳐 기하학 잠금을 어텐션하여 해당 물리적 점의 목표 시간戳에서의 3 차원 위치를 결정합니다.

2. 시간적 RoPE 정렬: 각 추적 잠금이 올바른 시간戳의 기하학 잠금을 어텐션하도록 보장하기 위해, 이 방법은 3 차원 회전 위치 임베딩 (RoPE) 을 사용합니다. 동일한 시간 인덱스 $t_j$ 를 추적 잠금 $r_j$ 와 기하학 잠금 $g_j$ 모두에 할당함으로써, 어텐션 메커니즘은 시간적으로 정렬된 기하학에 초점을 맞추도록 편향됩니다. 이를 통해 모델은 참조 프레임에서 시간戳 $t_j$ 로 추적된 점에 대한 올바른 3 차원 위치를 검색할 수 있습니다.

모델은 비디오 DiT (특히 Wan 2.1-T2V) 에 대한 LoRA (Low-Rank Adaptation) 미세 조정을 사용하여 훈련됩니다. 절대 3 차원 포인트맵을 직접 회귀하는 대신, 모델은 훈련을 안정화시키는 참조 프레임에 대한 잔차 추적 (residual track) ($\Delta_j = P_0(t_j) - P_0(t_0)$) 을 예측합니다. 가시성도 동시에 예측됩니다.

주요 기여

1. 3 차원 추적을 위한 첫 번째 비디오 DiT 재사용: TrackCraft3R 은 표준 프레임 고정 생성 패러다임을 넘어 비디오 확산 트랜스포머를 순방향 밀집 3 차원 추적을 위해 적응시킨 최초의 방법입니다.
2. 새로운 아키텍처 설계: 이 논문은 생성형 비디오 모델과 참조 고정 추적 작업 간의 간극을 메우기 위해 이중 잠금 표현과 시간적 RoPE 정렬을 소개합니다.
3. 최첨단 성능 및 효율성: 이 방법은 표준 희소 및 밀집 3 차원 추적 벤치마크에서 최첨단 결과를 달성합니다. 주목할 점은 가장 강력한 이전 반복 방법 (DELTAv2) 보다 1.3 배 빠르고 피크 메모리를 4.6 배 적게 사용한다는 것입니다.
4. 강건성: 이 접근법은 큰 운동과 긴 비디오에 대한 강건성을 보여주며, 시간적 체이닝 오류 없이 훈련 시퀀스 길이 이상으로 일반화됩니다.

결과
ADT, PStudio, Dynamic Replica, Point Odyssey, Kubric 을 포함한 벤치마크에서 평가된 결과, TrackCraft3R 은 평균 AJ(평균 자카드), APD3D($\delta_{3D}$ 이내의 평균 점 비율), OA(가려짐 정확도) 에서 최고의 성과를 거두었습니다.

• 성능: DA3 기하학 추정기를 사용하면 TrackCraft3R 은 DELTAv2 + DA3 및 모든 다른 순방향 베이스라인을 크게 능가합니다.
• 효율성: 단일 NVIDIA A6000 GPU 에서 TrackCraft3R 은 12 프레임 클립을 7.63 GB 피크 메모리로 3.91 초에 처리하는 반면, DELTAv2 는 5.00 초와 35.46 GB 가 소요됩니다.
• 긴 비디오 강건성: 실험 결과, 시간적 스트라이드나 비디오 길이가 증가함에 따라 TrackCraft3R 의 성능이 반복 방법들보다 훨씬 느리게 저하되어, 학습된 운동 사전 지식의 효과를 확인시켜 주었습니다.

의의 및 주장
이 논문은 TrackCraft3R 이 일반적으로 합성 4 차원 데이터나 정적 다중 뷰 재구성만으로 훈련된 모델에 결여되어 있는 인터넷 규모 비디오 데이터의 풍부한 시공간적 사전 지식을 성공적으로 활용했다고 주장합니다. 비디오 DiT 를 재사용함으로써, 이 방법은 프레임 고정 흐름 방법에서 사용되는 시간적 체이닝에 내재된 오류 누적과 전통적 추적기의 반복적 계산 비용을 피합니다.

저자들은 이 방법이 ViPE, DA3 등 어떤 3 차원 기하학 추정기와도 호환된다고 강조합니다. 즉, 추적기 자체를 재훈련할 필요 없이 외부 기하학 추정 모델이 발전함에 따라 성능이 향상될 수 있습니다. 이 방법이 외부 기하학 입력에 의존하지만, 생성형 비디오 사전 지식과 밀집 4 차원 지각을 통합하는 중요한 단계이며, 로봇 조작 및 동적 장면 재구성과 같은 응용 분야를 위한 기반을 제공한다는 점입니다. 논문은 현재 정확도가 입력 기하학의 품질에 의해 제한된다고 겸손하게 지적하며, 향후 작업은 단일 통합 모델 내에서 비디오와 3 차원 추적을 함께 생성하는 것을 포함할 수 있음을 시사합니다.