Denoise to Track: Harnessing Video Diffusion Priors for Robust Correspondence

이 논문은 사전 훈련된 비디오 확산 모델의 시각적 사전 지식을 활용하여 주석 데이터 없이도 최첨단 성능을 달성하는 제로샷 포인트 추적 프레임워크인 'HeFT'를 제안하며, VDiT 의 어텐션 헤드와 저주파 성분을 선택적으로 활용하여 강인한 대응 관계를 추정하는 방법을 제시합니다.

핵심

이 논문은 **"HeFT(Head-Frequency Tracker)"**라는 새로운 기술을 소개합니다. 쉽게 말해, **"아직 훈련받지 않은 비디오 생성 AI(영화나 영상을 만드는 AI) 를 이용해, 영상 속 물체의 움직임을 아주 정확하게 쫓아내는 방법"**을 개발한 연구입니다.

기존의 방법들은 수만 장의 영상에 "이 점은 A 에서 B 로 움직였다"라고 사람이 일일이 손으로 표시해 주며 학습시켰습니다. 하지만 이 새로운 방법은 그런 귀찮은 작업 없이도, 이미 수많은 영상을 만들어본 AI 의 '직관'을 활용합니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 핵심 아이디어: "완벽한 영화감독의 직관을 활용하자"

우리가 영상을 만들 때 쓰는 최신 AI(비디오 확산 모델, VDiT) 는 수만 편의 영화를 만들어본 '베테랑 감독'과 같습니다. 이 감독은 장면이 어떻게 이어져야 자연스러운지, 사물이 어떻게 움직여야 현실적인지 이미 머릿속에 완벽하게 알고 있습니다.

기존 연구자들은 이 AI 의 내부 작동 원리를 모른 채, 그냥 "AI 가 뱉어낸 결과물"을 믿고 썼습니다. 마치 요리사가 요리의 맛을 모른 채 그냥 만든 요리를 먹는 것과 비슷합니다.

하지만 이 연구팀은 **"이 AI 의 머릿속을 들여다보면, 물체를 추적하는 데 필요한 '비밀 무기'가 숨어있다"**는 것을 발견했습니다.

2. 비밀 무기 1: "팀원들의 역할 분담" (Head Specialization)

AI 는 영상을 분석할 때 여러 개의 '눈(Attention Head)'을 동시에 사용합니다. 보통은 이 모든 눈의 정보를 다 합쳐서 쓰는데, 연구팀은 **"아, 이 눈들은 다 제각기 다른 일을 하는구나!"**라고 깨달았습니다.

• 비유: 한 팀이 프로젝트를 할 때, 팀장 전체를 다 합쳐서 일하는 게 아니라, **'매칭 전문가', '의미 파악 전문가', '위치 파악 전문가'**처럼 각자 특기를 가진 팀원들이 따로 일하는 것과 같습니다.
• 발견: 연구팀은 이 중 **'매칭 전문가(Matching Head)'**라는 특정 팀원만 골라내면, 물체가 어디로 갔는지 가장 정확하게 찾아낸다는 것을 발견했습니다. 모든 팀원의 소음을 다 듣는 것보다, 진짜 전문가의 목소리만 듣는 게 훨씬 정확합니다.

3. 비밀 무기 2: "잡음 제거하기" (Frequency Filtering)

AI 가 보는 영상에는 '세부적인 디테일'과 '전체적인 흐름'이 섞여 있습니다.

• 저주파 (Low-frequency): 물체의 전체적인 모양과 움직임의 흐름 (예: 공이 굴러가는 큰 방향).
• 고주파 (High-frequency): 물체의 가장자리나 미세한 질감, 혹은 잡음 (예: 공 표면의 작은 흠집).

연구팀은 **"물체를 추적할 때는 '흐름'이 중요하고, '미세한 잡음'은 방해가 된다"**는 것을 발견했습니다.

• 비유: 안개 낀 날에 길을 찾을 때, 멀리 보이는 큰 산맥의 윤곽 (저주파) 을 보는 게 길 찾기에 도움이 되지만, 안개 속의 작은 나뭇잎 하나하나 (고주파) 를 자세히 보려고 하면 오히려 길을 잃기 쉽습니다.
• 해결책: AI 가 보는 영상에서 '잡음 같은 고주파 성분'을 잘라내고, '흐름을 잡아주는 저주파 성분'만 남겼더니 추적 정확도가 비약적으로 상승했습니다.

4. 어떻게 작동하나요? (HeFT 의 과정)

이 기술은 다음과 같은 순서로 작동합니다.

1. 한 번만 청소하기 (Single-step Denoising): AI 가 영상을 완벽하게 만들려고 여러 번의 '청소' (노이즈 제거) 과정을 거치는데, 연구팀은 마지막 단계의 특징을 가져옵니다. 이때가 가장 선명한 정보를 가지고 있기 때문입니다.
2. 전문가만 뽑기 (Head Selection): AI 의 수많은 '눈' 중에서 물체를 추적하는 데 가장 뛰어난 '매칭 전문가' 눈만 골라냅니다.
3. 잡음 제거하기 (Frequency Filtering): 잡음 같은 고주파 정보를 버리고, 흐름을 잡아주는 저주파 정보만 남깁니다.
4. 앞뒤 확인하기 (Forward-Backward Check): "앞으로 갔을 때 A 지점에 갔다면, 거꾸로 돌아와도 A 지점에 와야 한다"는 식으로 앞뒤로 확인하며 실수를 수정합니다.

5. 왜 이것이 중요한가요?

• 데이터가 필요 없습니다: 기존 방식은 수만 장의 영상을 사람이 일일이 표시해 주어야 했지만, 이 방법은 훈련 데이터가 전혀 필요 없습니다 (Zero-shot).
• 정확도가 놀랍습니다: 사람이 일일이 가르쳐서 만든 최신 기술 (Supervised methods) 과 거의 비슷한 정확도를 내면서도, 별도의 학습 과정이 없습니다.
• 미래의 가능성: 이 연구는 "생성형 AI(영상을 만드는 AI) 가 단순히 그림을 그리는 것뿐만 아니라, 세상을 이해하고 분석하는 데도 엄청난 잠재력이 있다"는 것을 보여줍니다.

요약

이 논문은 **"이미 수많은 영화를 만들어본 AI 의 머릿속을 분석해보니, 물체를 추적하는 데 가장 뛰어난 '전문가 눈'과 '흐름을 잡아주는 정보'가 숨어있었다. 이 두 가지만 골라내면, 별도의 학습 없이도 최고의 추적 기술을 만들 수 있다"**는 것을 증명한 연구입니다.

마치 수만 편의 영화를 본 베테랑 감독에게 "이 물체가 어디로 갔는지 알려줘"라고 물었을 때, 그가 가진 직관과 경험만으로 정답을 맞춰내는 것과 같습니다.

기술 요약

논문 개요

이 논문은 사전 학습된 비디오 확산 모델 (Video Diffusion Models) 의 시각적 사전 지식 (Visual Priors) 을 활용하여, 제로샷 (Zero-shot) 포인트 추적 (Point Tracking) 을 수행하는 새로운 프레임워크 HeFT (Head-Frequency Tracker) 를 제안합니다. 기존 추적 방법들이 대규모 레이블 데이터에 의존하거나 도메인 변화에 취약한 반면, HeFT 는 비디오 생성 모델 내부의 구조적 특성을 분석하여 레이블 없이도 최첨단 (SOTA) 성능을 달성합니다.

1. 문제 정의 (Problem)

• 기존 방법의 한계: 현재 대부분의 포인트 추적 알고리즘 (TAPIR, CoTracker 등) 은 지도 학습 (Supervised Learning) 에 의존하며, 이는 방대하고 비용이 많이 드는 레이블 데이터가 필요합니다. 또한, 훈련 데이터와 다른 도메인 (Domain Shift) 에서는 성능이 급격히 저하되는 문제가 있습니다.
• 확산 모델의 미활용 가능성: 비디오 확산 모델 (VDiT) 은 방대한 비디오 코퍼스로 학습되어 강력한 시공간적 (Spatiotemporal) 사전 지식을 가지고 있음에도 불구하고, 기존 연구들은 이를 '블랙박스'로 취급하여 추적 태스크에 적용했습니다. 내부 표현 (Internal Representations) 이 어떻게 인코딩되는지에 대한 체계적인 분석이 부족하여 잠재력을 충분히 발휘하지 못했습니다.

2. 핵심 방법론 (Methodology)

저자들은 VDiT 의 내부 구조를 분석하여 두 가지 중요한 통찰을 얻고, 이를 바탕으로 HeFT를 설계했습니다.

A. VDiT 내부 구조 분석 (Insights)

1. Attention Head 의 기능적 특화 (Head-Level Specialization):

   • VDiT 의 각 레이어 (Layer) 는 여러 개의 어텐션 헤드 (Head) 로 구성되는데, 레이어 전체를 사용하는 것보다 개별 헤드가 더 강력한 성능을 보입니다.
   • 헤드들은 서로 다른 기능에 특화되어 있습니다:
     • 매칭 헤드 (Matching Head): 프레임 간 정밀한 대응 관계를 포착.
     • 시맨틱 헤드 (Semantic Head): 유사한 의미론적 콘텐츠에 주의를 기울임.
     • 위치 헤드 (Position Head): 공간적으로 인접한 패치에 집중.
   • 이러한 특성은 비디오 콘텐츠와 무관하게 일관되게 나타납니다.

2. 주파수 구성의 역할 (Frequency-Aware Filtering):

   • VDiT 는 3D Rotary Positional Embedding (RoPE) 을 사용하여 시공간 위치를 인코딩합니다.
   • 저주파수 (Low-frequency): 위치 변화에 둔감하여 대응 관계 (Correspondence) 를 안정적으로 유지하는 데 핵심적입니다.
   • 고주파수 (High-frequency): 미세한 위치 변화를 민감하게 반응하지만, 추적 시 노이즈로 작용하여 성능을 저하시킵니다.
   • 실험 결과, 고주파수 성분을 제거하고 저주파수 성분만 선택하는 것이 추적 정확도를 높이는 것을 확인했습니다.

B. HeFT 프레임워크 (Tracking Framework)

1. 단일 단계 탈노이즈 (Single-step Denoising):
   • 실제 비디오에 최종 탈노이즈 단계에 해당하는 노이즈를 추가한 후, 단 한 번의 탈노이즈 단계를 수행하여 특징 (Features) 을 추출합니다. 이 단계가 가장 강력한 지각적 단서를 제공합니다.
2. 헤드 및 주파수 선택 전략:
   • 가장 효과적인 매칭 헤드를 선택하고, 고주파수 노이즈를 제거하기 위해 저주파수 성분만 필터링합니다.
3. 추적 및 정제 과정:
   • Soft-Argmax: 상관관계 맵 (Correlation Map) 에서 포인트 위치를 정밀하게 추정합니다.
   • Feature Refinement: 시간에 따른 외관 변화 (Appearance Drift) 를 보정하기 위해 추적된 포인트의 특징을 점진적으로 업데이트합니다.
   • Forward-Backward Consistency Check: 순방향 및 역방향 추적을 비교하여 가시성 (Visibility) 을 판단하고, 가려짐 (Occlusion) 시 추적을 중단하거나 재시작하여 불안정한 궤적을 방지합니다.

3. 주요 기여 (Key Contributions)

1. VDiT 어텐션 헤드의 체계적 분석: 헤드가 최소 기능 단위이며, 매칭, 시맨틱, 위치 인코딩에 각각 특화되어 있음을 규명했습니다.
2. 주파수 기반 특징 분석: VDiT 특징에서 저주파수가 대응 관계 추정에 필수적이고 고주파수가 노이즈임을 발견하여, 주파수 인식 필터링 전략을 제안했습니다.
3. HeFT 프레임워크 제안: 사전 학습된 VDiT 를 활용한 새로운 제로샷 포인트 추적 프레임워크를 개발하여, 레이블 데이터 없이도 지도 학습 방법과 경쟁 가능한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크: TAP-Vid (DAVIS, Kinetics) 및 PointOdyssey 데이터셋에서 평가되었습니다.
• 성능:
  • 기존 제로샷 및 자기지도학습 (Self-supervised) 방법들을 압도적으로 상회합니다.
  • TAP-Vid DAVIS에서 AJ (Average Jaccard) 48.61, OA (Occlusion Accuracy) 82.47 을 기록하여, 많은 지도 학습 방법 (예: TAP-Net, OmniMotion) 과 유사하거나 더 나은 성능을 보였습니다.
  • CogVideoX, Wan2.1, Cosmos-Predict2 등 다양한 VDiT 백본 (Backbone) 에서 일관된 성능 향상을 입증했습니다.
• 정성적 결과: 작은 객체 추적, 가려짐 상황, 빠른 운동 등 어려운 조건에서도 CoTracker3 등 기존 방법보다 안정적이고 정확한 궤적을 생성합니다.

5. 의의 및 결론 (Significance)

• 생성 모델의 새로운 활용: 비디오 확산 모델을 단순한 생성 도구를 넘어, 강력한 비전 기반 모델 (Foundation Model) 로서 다양한 하위 작업 (추적, 깊이 추정 등) 에 활용할 수 있음을 입증했습니다.
• 데이터 효율성: 대규모 레이블 데이터 없이도 최상위 수준의 추적을 가능하게 하여, 데이터 수집 비용과 시간을 절감할 수 있는 새로운 패러다임을 제시합니다.
• 미래 방향: 오프라인 처리에서 실시간 스트리밍 처리로 확장하고, 경량화 및 온디바이스 적용을 위한 연구의 기초를 마련했습니다.

이 논문은 비디오 확산 모델의 내부 메커니즘을 정밀하게 해부하여, 생성 모델이 가진 풍부한 시공간적 지식을 어떻게 효과적으로 추출하고 활용해야 하는지에 대한 중요한 이론적, 실용적 통찰을 제공합니다.