💻 computer science

TAPNext++: What's Next for Tracking Any Point (TAP)?

이 논문은 기존 TAPNext 모델의 장시간 시퀀스 처리 및 재출현 점 추적 한계를 극복하기 위해 긴 시퀀스 학습 기법과 새로운 재추적 평가 지표를 도입하여 TAPNext++ 를 제안하고, 여러 벤치마크에서 새로운 최첨단 성능을 달성했다고 요약할 수 있습니다.

원저자: Sebastian Jung, Artem Zholus, Martin Sundermeyer, Carl Doersch, Ross Goroshin, David Joseph Tan, Sarath Chandar, Rudolph Triebel, Federico Tombari

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sebastian Jung, Artem Zholus, Martin Sundermeyer, Carl Doersch, Ross Goroshin, David Joseph Tan, Sarath Chandar, Rudolph Triebel, Federico Tombari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"TAPNext++"**라는 새로운 인공지능 모델을 소개합니다. 이 모델의 주된 임무는 **동영상 속의 '어떤 점'이라도 계속 따라가는 것 (Point Tracking)**입니다.

이걸 이해하기 쉽게 일상적인 비유로 설명해 드릴게요.

🎯 핵심 개념: "눈이 빠르고 기억력 좋은 추적자"

상상해 보세요. 복잡한 마트에서 친구의 빨간 모자를 찾아서 그 친구가 어디로 가든 계속 따라가는 상황을 떠올려 보세요.

기존의 문제점: 친구가 진열대 뒤에 숨거나 (가려짐), 잠시 시야에서 사라졌다가 다시 나타날 때, 많은 기존 추적 프로그램들은 "어? 이 친구 어디 갔지? 아, 저기 있네!"라고 다시 찾아내는 데 실패하거나, 시간이 지나면 친구의 위치를 잊어버려서 길을 잃어버립니다.
TAPNext++ 의 해결책: 이 새로운 모델은 기억력이 매우 좋고, 친구가 사라졌다가 다시 나타나도 "아, 이 친구 빨간 모자 썼었지?"라고 바로 찾아냅니다. 게다가 아주 빠르게 움직여도 놓치지 않습니다.

🚀 이 논문이 해결한 3 가지 큰 문제

1. "긴 영화도 끝까지 기억해!" (긴 영상 추적)

상황: 기존 모델들은 짧은 영상 (약 150 초) 은 잘 따라가지만, 긴 영상 (수천 초) 이 되면 "내가 처음에 봤던 그 점이 어딨지?"라고 혼란을 겪으며 길을 잃었습니다. 마치 긴 여행에서 나침반이 고장 난 것과 같습니다.
해결책: 연구팀은 이 모델을 1,000 프레임 (약 40 초) 이상의 긴 영상으로 훈련시켰습니다.
비유: 마치 짧은 산책만 하던 강아지를, 긴 마라톤 코스에서 달리는 법을 가르친 것과 같습니다. 덕분에 TAPNext++ 는 아주 긴 영상에서도 처음 지정한 점을 잊지 않고 끝까지 따라갑니다.

2. "다시 나타나면 바로 알아봐!" (재탐지 능력)

상황: 친구가 시야 밖으로 나가서 다시 들어오거나, 다른 사람에 가려졌다가 다시 나타날 때, 기존 모델들은 "이 친구가 누구지?"라고 헤매거나 아예 놓쳐버렸습니다.
해결책: 연구팀은 **특수한 훈련 방법 (데이터 증강)**을 도입했습니다. 영상을 회전시키거나, 친구가 화면 밖으로 나가 반대편에서 다시 들어오게 하는 상황을 인위적으로 만들어 훈련시켰습니다.
비유: 친구가 숨바꼭질을 할 때, "어디서 나올지 모르니까 옷차림 (모습) 을 잘 기억해 둬야 해!"라고 훈련시킨 것입니다. 그래서 친구가 다시 나타나면 위치가 달라도 바로 알아봅니다.

3. "새로운 점수판 도입: '다시 찾아낸 점수' (AJRD)"

상황: 지금까지는 "친구가 몇 초 동안 따라갔는지"만 점수를 매겼습니다. 하지만 친구가 사라졌다가 다시 나타났을 때 잘 찾아냈는지는 평가하지 않았습니다.
해결책: 연구팀은 **'AJRD (다시 찾아낸 평균 자카드 점수)'**라는 새로운 점수판을 만들었습니다.
비유: 단순히 "친구를 얼마나 오래 봤나"가 아니라, **"친구가 사라졌다가 다시 나타났을 때, 얼마나 빨리 그리고 정확하게 다시 잡았나"**를 평가하는 것입니다. TAPNext++ 는 이 부분에서 다른 모든 모델보다 훨씬 잘합니다.

⚡ 놀라운 성능: 빠르고 가볍습니다

이 모델은 스마트폰이나 로봇처럼 계산 능력이 제한된 기기에서도 잘 돌아가도록 설계되었습니다.

속도: 초당 60 프레임 (FPS) 이상으로, 눈이 깜빡이는 속도보다 훨씬 빠릅니다.
기억: 별도의 거대한 메모리 없이도 긴 영상을 처리할 수 있어, 스마트폰 배터리도 많이 먹지 않습니다.

📝 요약

**TAPNext++**는 기존에 "긴 영상에서는 길을 잃고, 친구가 사라졌다가 다시 나타나면 못 찾는" 약점을 가진 추적 기술을, 더 긴 훈련 데이터와 **똑똑한 훈련 방법 (회전, 재출현 시뮬레이션)**을 통해 완벽하게 고친 모델입니다.

이제 증강현실 (AR) 안경이나 로봇이 복잡한 환경에서도 물체나 사람을 실수 없이, 오랫동안, 그리고 빠르게 따라갈 수 있게 되었습니다. 마치 최고의 추적 요원이 된 것과 같습니다! 🕵️‍♂️✨

1. 문제 정의 (Problem)

Tracking Any Point (TAP) 는 비디오 내의 임의의 점을 추적하는 컴퓨터 비전 작업으로, AR/XR 및 로봇 공학 분야에서 핵심적인 역할을 합니다. 기존 연구인 TAPNext는 프레임 단위로 순차적으로 점을 추적하는 효율적인 온라인 (Online) 트랜스포머 아키텍처를 제시하며 낮은 지연 시간을 달성했습니다. 그러나 TAPNext 는 다음과 같은 두 가지 심각한 한계를 가지고 있었습니다.

장기 시퀀스에서의 성능 저하: 짧은 비디오 (약 48 프레임) 로 훈련된 모델은 긴 비디오 시퀀스 (수천 프레임) 에서 점의 위치를 추적하는 능력이 급격히 떨어집니다. 이는 순환 상태 (Recurrent State) 가 시간이 지남에 따라 초기 쿼리 점에 대한 정보를 잃어버리기 때문입니다.
재검출 (Re-detection) 실패: 점이 가려지거나 (Occlusion) 프레임 밖으로 나갔다가 다시 등장할 때, 이를 다시 찾아내는 능력이 매우 부족합니다. 기존 방법들은 주로 외관 (Appearance) 기반의 재검출에 의존하거나 명시적인 메모리를 사용하는데, 이는 계산 비용이 크거나 긴 가려짐 기간에는 실패합니다.

2. 방법론 (Methodology)

저자들은 TAPNext 의 아키텍처 자체를 변경하지 않고, 훈련 전략과 데이터셋을 개선하여 이러한 한계를 극복했습니다.

긴 시퀀스 훈련 (Long-Sequence Training):
- 1024 프레임 길이의 비디오로 모델을 미세 조정 (Fine-tuning) 하여 장기 기억 능력을 향상시켰습니다.
- 단일 GPU 의 메모리 한계를 극복하기 위해 시퀀스 병렬성 (Sequence Parallelism) 기술을 도입했습니다. 시간 축을 따라 시퀀스를 분할하여 여러 GPU 에 할당하고, 분산 병렬 스캔 (Distributed Parallel Scan) 알고리즘을 사용하여 순환 상태 (Hidden States) 를 효율적으로 병합함으로써 긴 시퀀스 전체의 컨텍스트를 유지하며 훈련을 수행했습니다.
새로운 데이터셋 (Kubric-1024):
- 기존 PointOdyssey 데이터셋의 부족함을 보완하기 위해, 1024 프레임 길이의 10,000 개 비디오로 구성된 합성 데이터셋 Kubric-1024를 생성했습니다. 이는 물리 엔진 (PyBullet) 을 사용하여 객체의 동적 상호작용과 카메라 움직임을 시뮬레이션합니다.
기하학적 증강 (Geometric Augmentations):
- 롤 (Roll) 증강: 비디오를 회전시키고 주기적으로 이동시켜, 점이 프레임 한쪽 끝에서 사라지고 반대쪽 끝에서 다시 등장하는 상황을 시뮬레이션합니다. 이는 모델이 공간적 근접성 대신 외관 매칭에 의존하여 재검출하도록 강제합니다.
- 가려진 점 추적 (Occluded Points Supervision): 가려져 있지만 프레임 내에 있는 점에 대해 위치 손실 (Position Loss) 을 0.2 배 가중치를 주어 학습함으로써, 가려진 상태에서도 점의 위치를 유추하는 능력을 향상시켰습니다.
고해상도 미세 조정:
- 입력 해상도를 512x512 로 확장하여 훈련하고, 학습된 위치 임베딩을 보간하여 고해상도 추론 능력을 확보했습니다.

3. 주요 기여 (Key Contributions)

TAPNext++ 모델 개발: 아키텍처 변경 없이 훈련 전략과 데이터만 개선하여, 긴 시퀀스와 재검출 상황에서 SOTA(State-of-the-Art) 성능을 달성한 모델을 제시했습니다.
새로운 평가 지표 (AJRD) 도입:
- 기존 지표들은 가려진 후 다시 등장한 점의 추적 품질을 평가하지 못했습니다. 저자는 재검출 평균 자카드 (Re-Detection Average Jaccard, AJRD) 라는 새로운 지표를 제안했습니다.
- AJRD 는 점이 일정 기간 ( $d_{min}$ ) 동안 감지되지 않다가 다시 등장한 후, 그 이후의 추적 정확도를 측정합니다. 이는 재검출 능력을 정량화하는 데 필수적입니다.
효율성과 성능의 동시 달성:
- 추가적인 메모리나 복잡한 아키텍처 없이도, 기존 TAPNext 의 저지연 (Low Latency) 특성을 유지하면서 긴 시퀀스 추적 성능을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

성능: TAPNext++ 는 PointOdyssey, DAVIS, RoboTAP 등 여러 벤치마크에서 기존 온라인 추적기 (CoTracker3, Track-On, BootsTAPNext 등) 를 압도하는 성능을 보였습니다.
- PointOdyssey: 평균 오차 ( $\delta_{avg}$ ) 52.6, 생존율 (Survival) 67.9%, AJRD 23.3 을 기록하여 기존 모델 대비 월등한 장기 추적 능력을 입증했습니다.
- 재검출 능력: AJRD 지표에서 모든 경쟁 모델을 크게 앞섰으며, 특히 장기간 가려진 후 다시 등장하는 점에 대한 추적 성공률이 높았습니다.
속도: H100 GPU 에서 256x256 해상도 기준 약 193 FPS의 추론 속도를 유지하며, 지연 시간 (Latency) 은 5.18ms 로 매우 낮습니다. 이는 실시간 애플리케이션에 적합함을 의미합니다.
시각적 결과: 객체가 프레임 밖으로 나가 다시 들어오거나, 복잡한 동역학 (예: 주사위 놀이) 을 보이는 시나리오에서 기존 방법들이 실패하는 반면, TAPNext++ 는 모든 객체를 안정적으로 추적했습니다.

5. 의의 (Significance)

이 논문은 TAP(Tracking Any Point) 분야에서 아키텍처의 한계가 아니라 훈련 데이터와 전략의 부재가 장기 추적 실패의 주원인임을 증명했습니다.

실용성: AR/VR, 로봇 공학 등 동적인 환경에서 카메라와 객체가 움직이며 자주 가려지는 실제 시나리오에 적용 가능한 강력한 솔루션을 제공합니다.
지표 혁신: 기존 평가 체계의 맹점 (재검출 능력 평가 부재) 을 지적하고 AJRD 를 도입함으로써, 향후 연구 방향을 재검출 능력 향상에 맞춰 조정할 수 있는 기준을 마련했습니다.
확장성: 시퀀스 병렬성 기술을 통해 순환 신경망 (RNN/SSM) 기반 모델이 긴 시퀀스 데이터로 확장 가능함을 보여주었습니다.

결론적으로, **TAPNext++**는 메모리 효율성과 계산 비용을 유지하면서 장기 추적 및 재검출 문제를 해결한 새로운 SOTA 모델로, 실시간 비디오 분석 분야에서 중요한 이정표가 됩니다.