1. 문제 정의 (Problem)

점 추적 (Point Tracking) 은 비디오 내 객체 표면의 특정 점들을 시간에 따라 추적하는 작업으로, 로봇공학, 3D/4D 재구성, 비디오 편집 등 다양한 분야에서 필수적입니다. 그러나 현재 점 추적 모델의 발전에는 다음과 같은 주요 병목 현상이 존재합니다.

• 실제 데이터의 부족: 대규모 훈련 데이터는 주로 합성 (Synthetic) 데이터 (예: Kubric) 에 의존하고 있습니다. 합성 데이터는 실제 세계의 복잡한 시각적 특성 (비강성 변형, 다양한 조명, 반사, 복잡한 가림 현상 등) 을 충분히 반영하지 못합니다.
• 실제 데이터 주석의 어려움: 실제 비디오에서 수백 개의 점 궤적을 수동으로 주석 (Annotation) 하는 것은 매우 노동 집약적이고 비용이 많이 들어 대규모 데이터셋 구축이 불가능합니다.
• 자기 학습 (Self-training) 의 한계: 최근 실제 비디오를 활용한 자기 학습 방법들이 시도되었으나, 이는 방대한 컴퓨팅 자원 (수천 개의 GPU) 과 대용량 데이터 (수천만 개의 비디오) 를 요구하며, 모델 자체에서 유도된 약한 감독 신호 (Weak Supervision) 로 인해 성능 향상이 제한적이거나 편향 (Confirmation Bias) 문제가 발생할 수 있습니다.

2. 방법론 (Methodology)

저자들은 AnthroTAP이라는 자동화된 파이프라인을 제안하여, 실제 인간 운동 (Human Motion) 의 구조적 복잡성을 활용하여 대규모의 의사 레이블 (Pseudo-labeled) 점 추적 데이터를 생성합니다. 이 파이프라인은 크게 네 단계로 구성됩니다.

가. 인간 메쉬 피팅 (Human Mesh Fitting)

• 입력된 비디오 프레임에서 검출된 각 인간에 대해 사전 학습된 Human Mesh Recovery (HMR) 모델 (TokenHMR 등) 을 사용하여 SMPL(Skinned Multi-Person Linear) 모델을 피팅합니다.
• 이를 통해 각 프레임별 3D 인간 메쉬 (3D Mesh) 와 그 꼭짓점 (Vertices) 의 3D 좌표를 추정합니다.
• SMPL 메쉬의 꼭짓점은 해부학적으로 고정된 위치에 대응되므로, 시간적으로 일관된 3D 궤적을 자연스럽게 생성할 수 있습니다.

나. 2D 투영 및 가시성 예측 (Projection & Visibility)

• 추정된 3D 메쉬 꼭짓점들을 카메라 파라미터를 이용해 2D 이미지 평면에 투영하여 초기 2D 의사 궤적 (Pseudo-trajectories) 을 생성합니다.
• 레이 캐스팅 (Ray-casting) 기술을 사용하여 각 점의 가시성을 판단합니다. 카메라에서 3D 꼭짓점까지의 광선이 다른 인간 메쉬와 교차하는지 확인하여 자가 가림 (Self-occlusion) 및 타인 가림 (Inter-person occlusion) 을 처리하고, 가려진 점은 레이블에서 제외합니다.

다. 광학 흐름 기반 필터링 (Optical Flow Filtering)

• SMPL 모델은 가구나 배경과 같은 비인간 객체에 의한 가림을 모델링하지 못하며, HMR 추정에 오차가 발생할 수 있습니다.
• 이를 보정하기 위해 광학 흐름 (Optical Flow, SEARAFT) 을 활용합니다.
  • 전후 일관성 (Forward-backward consistency): 인접 프레임 간의 광학 흐름 신뢰도를 검증합니다.
  • 불일치 검출: HMR 로 예측된 점의 이동과 광학 흐름이 계산한 이동 벡터가 임계값 이상으로 크게 다른 경우 (예: 가림으로 인해 흐름이 다른 객체를 따라가는 경우), 해당 궤적 구간을 '불신뢰'로 판정하여 제거합니다.
• 최종적으로 신뢰도가 높은 궤적만 선별하여 고품질의 훈련 데이터셋 (Anthro-LD) 을 구축합니다.

라. 모델 훈련

• 생성된 Anthro-LD 데이터셋을 사용하여 기존 점 추적 모델 (예: LocoTrack, TAPNext) 을 미세 조정 (Fine-tuning) 합니다.
• 합성 데이터 (Kubric) 와 실제 인간 운동 데이터를 혼합하여 훈련합니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 실제 데이터 생성 파이프라인: 수동 주석 없이 인간 운동의 복잡성 (비강성 변형, 관절 운동, 빈번한 가림) 을 활용하여 고품질 의사 레이블 데이터셋을 자동 생성하는 방법을 제시했습니다.
2. 3D 기하학 및 광학 흐름의 결합: SMPL 기반의 3D 구조와 광학 흐름의 일관성을 결합하여 가림 (Occlusion) 과 오차를 효과적으로 필터링하는 기술을 개발했습니다.
3. 데이터 효율성과 성능: 기존 방법론들이 수천만 개의 비디오와 수백 개의 GPU 를 사용한 반면, AnthroTAP 은 1,400 개의 비디오와 4 개의 GPU로 1 일 만에 훈련하여 SOTA 성능을 달성했습니다.
4. 오픈 소스 및 비독점성: 기존 CoTracker3 나 BootsTAP 이 독점 데이터를 사용한 것과 달리, AnthroTAP 은 공개된 데이터 (Let's Dance 등) 를 사용하여 연구 커뮤니티에 기여합니다.

4. 실험 결과 (Results)

• 벤치마크 성능: TAP-Vid 및 RoboTAP 벤치마크에서 State-of-the-Art (SOTA) 성능을 기록했습니다.
  • CoTracker3 대비: 11 배 적은 훈련 데이터로 더 높은 정확도 (AJ, <δx, OA) 를 달성했습니다.
  • BootsTAPIR 대비: 약 10,000 배 적은 비디오 수 (1.4K vs 15M) 로도 우수한 성능을 보였습니다.
• 일반화 능력: 인간 점에 대한 훈련이 비인간 객체 (Non-human points) 의 추적 성능 향상에도 긍정적인 영향을 미쳤습니다.
• 자기 학습 vs AnthroTAP: 동일한 데이터 (Let's Dance) 를 사용하여 CoTracker3 의 자기 학습 전략과 비교했을 때, AnthroTAP 의 의사 레이블 방식이 훨씬 더 큰 성능 향상을 보여주었습니다.
• 데이터 품질 분석: 생성된 데이터의 궤적 복잡도 (Complexity) 와 다양성 (Diversity) 이 기존 합성 데이터 (Kubric, PointOdyssey) 나 다른 실제 데이터셋 (DriveTrack) 보다 훨씬 높음을 정량적으로 입증했습니다.

5. 의의 및 결론 (Significance)

AnthroTAP 은 점 추적 분야에서 실제 세계의 시각적 다양성과 복잡한 운동 패턴이 합성 데이터나 단순한 자기 학습보다 훨씬 강력한 감독 신호가 될 수 있음을 증명했습니다.

• 비용 절감: 고비용의 수동 주석과 막대한 컴퓨팅 자원을 대체할 수 있는 효율적인 대안을 제시했습니다.
• 실용성: 로봇 공학, 3D 재구성, 비디오 편집 등 실제 응용 분야에서 더 견고하고 정확한 점 추적 모델을 가능하게 합니다.
• 연구 방향 전환: "더 많은 데이터"보다는 "더 복잡하고 구조화된 실제 운동 데이터"를 활용하는 것이 모델 성능 향상에 더 효과적임을 시사합니다.

결론적으로, 이 연구는 제한된 리소스로도 실제 세계의 복잡성을 효과적으로 학습할 수 있는 새로운 패러다임을 제시하며, 점 추적 기술의 실용화를 크게 앞당겼습니다.