기술 요약: 강건한 포인트 트래킹을 위한 비디오 디퓨전 트랜스포머 특징 탐색 및 활용

1. 문제 정의

현재의 포인트 트래킹 방법들은 표준 벤치마크에서는 효과적이지만, 내재적인 시간적 일관성(temporal coherence)이 부족한 특징 백본(예: ResNet)에 의존하는 경우가 많아 모션 블러, 빠른 움직임, 빈번한 폐쇄(occlusion)가 발생하는 실제 환경에서 성능이 저하되는 경등향이 있다. 최근 DINOv2와 같은 시각 기초 모델(Visual Foundation Models, VFMs)을 통합하려는 시도가 시작되었으나, 어떤 VFM 아키텍처나 학습 목적 함수가 조밀한 시간적 트래킹(dense temporal tracking)을 위한 가장 강건한 표현을 생성하는지에 대한 체계적인 분석은 이루어지지 않았다. 또한, 기존 방식들은 높은 성능을 달성하기 위해 대규모 실제 영상 데이터셋에 대한 광범위한 지도 학습을 필요로 하는 경우가 일반적이다.

2. 방법론

2.1. VFM의 체계적 분석

저자들은 가장 강건한 포인트 트래킹 백본을 식별하기 위해 다양한 VFM에 대한 제로샷 평가를 수행하였다. 연구에서는 다음 요소들을 기준으로 모델들을 비교하였다:

• 사전 학습 모달리티: 이미지 전용 vs. 비디오.
• 아키텍처: UNet vs. Transformer.
• 학습 목적 함수: 자기 지도 학습(MAE, DINO) vs. 디퓨전(Diffusion).
• 벤치마크: 표준(TAP-Vid-DAVIS), 모션 블러 오염(TAP-Vid-DAVIS + ImageNet-C), 그리고 도전적인 실제 환경(ITTO-MOSE).

분석을 통한 주요 발견:

• **비디오 디퓨전 트랜스포머(Video Diffusion Transformers, DiTs)**는 이미지 학습 모델(DINOv2, SD3)이나 분해된 어텐션(decomposed attention) 또는 MAE 목적 함수를 사용하는 비디오 모델(V-JEPA)을 포함한 모든 VFM보다 일관되게 우수한 성능을 보였다.
• CogVideoX-5B는 트래킹 데이터에 대해 명시적으로 지도 학습된 ResNet 백본보다도 높은 성능을 기록하며 가장 높은 성과를 달した.
• 기여 요인: 비디오 DiT의 우수성은 세 가지 특성에 기인한다:
  1. 대규모 실제 비디오 사전 학습: 다양한 움직임 및 외형 변화에 대한 노출.
  2. 전체 3D 시공간 어텐션: 분해된 어텐션 메커니즘과 달리 공간과 시간 전체에 걸친 글로벌 상호작용을 가능하게 함.
  3. 디퓨전 학습 목적 함수: 모든 노이즈 수준에서 모든 토큰을 재구성함으로써, MAE와 같은 공간 중심적 목적 함수에 비해 더 풍부한 대응 관계(correspondence) 표현을 생성함.
• 스케일링 법칙(Scaling Law): 동일한 모델 제품군 내에서, 더 큰 모델(예: WAN-14B vs. WAN-1.3B)은 특히 도전적인 조건 하에서 일관되게 더 나은 트래킹 성능을 보여주었다.

2.2. DiTracker 프레임워크

이러한 분석에 착안하여, 저자들은 비디오 DiT 특징을 기존 트래킹 파이프라인(구체적으로 CoTracker3 헤드 사용)에 통합하는 DiTracker 프레임워크를 제안한다. 이는 세 가지 핵심 구성 요소를 통해 이루어진다:

1. 쿼리-키 매칭 비용 계산(Query-Key Matching Cost Computation): 은닉 상태(hidden states)를 사용하는 대신, DiTracker는 비디오 DiT의 전체 3D 어텐션 레이어로부터 쿼리($Q$)와 키($K$) 프로젝션을 직접 추출한다. 이 프로젝션들은 프레임 간의 대응 관계를 내재적으로 인코딩한다. 매칭 비용은 다음과 같은 스케일드 닷-프로덕트 어텐션(scaled dot-product attention)을 통해 계산된다:
   $$C_{DiT} = \text{Softmax}\left(\frac{q_i k_j^\top}{\sqrt{d_{head}}}\right)$$
2. 비용 수준 융합(Cost-Level Fusion): 비디오 DiT는 공간적으로 압축된 잠재 공간(예: $H/16 \times W/16$)에서 작동하므로, 표준 트래킹 헤드에 필요한 미세한 공간적 세부 사항이 부족하다. DiTracker는 DiT 매칭 비용을 고해상도 특징을 제공하는 경량 ResNet 브랜치와 융합한다. 비용은 평탄화(flatten)되고 연결(concatenate)된 후, MLP를 통해 비용 임베딩으로 투영된다:
   $$E_j = \text{MLP}([\text{Flatten}(C_{DiT}), \text{Flatten}(C_{ResNet})])$$
   이를 통해 DiT의 사전 학습된 매칭 분포를 보존하면서 공간적 세부 사항을 복구한다.
3. LoRA 적응(LoRA Adaptation): 생성적 특징을 트래킹 작업으로 효율적으로 전이하기 위해, 저자들은 저차원 적응(Low-Rank Adaptation, LoRA)을 사용한다. 동결된 비디오 DiT 백본의 어텐션 레이어에 학습 가능한 저차원 행렬을 삽입한다. 모델은 궤적 회귀(trajectory regression), 가시성 분류(visibility classification), 그리고 신뢰도 손실(confidence loss)의 결합된 목적 함수로 학습된다.

3. 주요 기여

1. 최초의 체계적 분석: 본 논문은 강건한 포인트 트래킹을 위한 VFM 표현에 대한 최초의 종합적인 연구를 제시하며, 비디오 DiT가 지도 학습된 ResNet 백본보다도 우수한 가장 강건한 백본임을 확인하였다.
2. DiTracker 프레임워크: 쿼리-키 매칭, ResNet 브랜치와의 비용 수준 융합, 그리고 LoRA 적응을 통해 비디오 DiT 특징을 지도 학습 트래킹에 활용하는 방법을 소개한다.
3. 데이터 효율성 및 강건성: DiTracker가 (Kubric 기반의) 합성 데이터만으로 훨씬 적은 반복 횟수를 사용하여 학습되었음에도 불구하고, 동일한 트래킹 헤드를 사용하는 CoTracker3(추가적인 실제 영상으로 학습됨)보다 뛰어난 성능을 보임을 입증하였다. 특히 오염되거나 도전적인 시나리오에서 가장 큰 성능 향상을 보였다.
4. 일반화 및 확장성: 비디오 DiT 특징의 이점이 서로 다른 트래킹 헤드(예: AllTracker)에 걸쳐 일반화되며, 백본 크기에 따라 확장됨을 검증함으로써 비디오 DiT가 강건하고 데이터 효율적이며 헤드에 구애받지 않는 백본임을 확인하였다.

4. 실험 결과

• 표준 벤치마크: TAP-Vid-DAVIS 및 ITTO-MOSE에서, 합성 데이터로만 학습된 DiTracker는 15,000개의 실제 영상을 사용하여 학습된 CoTracker3를 능가하였다. 예를 들어, ITTO-MOSE에서 DiTracker는 CoTracker3보다 $\delta^x_{avg}$를 2.7% 개선하였다.
• 강건성 벤치마크: ImageNet-C 오염(노이즈, 블러, 날씨 등) 하에서, DiTracker는 실제 영상 학습을 거친 CoTracker3(69.2%)보다 높은 71.1%의 평균 점수를 기록하며 가장 우수한 성과를 냈다.
• 절제 연구(Ablation Studies):
  • 특징 선택: 쿼리-키 프로젝션(52.6% AJ)이 은닉 상태(45.7% AJ)보다 유의미하게 우수한 성능을 보였다.
  • 융합 전략: DiT와 ResNet 비용을 연결하는 방식(72.2% $\delta^x_{avg}$)이 단순 업샘플링이나 특징 연결보다 우수했다.
  • LoRA: 적응 과정이 필수적이었다. 동결된 DiT 특징은 낮은 성능(41.0% AJ)을 보였다. 높은 랭크(128)를 가진 풀 레이어(full-layer) LoRA가 최적의 성능을 제공했다.
• 스케일링: 더 큰 백본(WAN-14B)이 모든 지표에서 작은 변체(WAN-1.3B)보다 일관되게 우수한 성능을 보였다.

5. 의의 및 주장

본 논문은 생성적 비디오 사전 학습이 대응 관계(correspondence)를 위한 강력한 실제 세계의 사전 지식(prior)을 제공하며, 결과적으로 포인트 트래킹을 위한 대규모 실제 데이터 감독에 대한 의존도를 낮춘다고 주장한다. 비디오 DiT를 활용함으로써 저자들은 다음을 입증하였다:

• 강건한 트래킹에 필요한 시간적 일관성은 디퓨전 목적 함수와 전체 3D 어텐션으로 학습된 생성적 비디오 모델에 내재되어 있다.
• 실제 영상 감독 없이 오직 합성 데이터만을 사용하여, 실제 영상 감독에 의존하는 방법들보다 더 적은 학습 반복 횟수로 최첨단(SOTA) 수준의 강건성을 달성할 수 있다.
• 비디오 생성 기술의 발전은 포인트 트래킹 작업에 직접적인 혜택을 줄 수 있으며, 이는 생성적 이해와 판별적 이해 사이의 수렴을 시사한다.