TAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events

이 논문은 프레임과 이벤트 스트림 간의 비동기적 융합을 통해 모달리티 실패나 저조도 환경에서도 견고한 임의 점 추적을 가능하게 하는 TAPFormer 를 제안하고, 이를 위해 새로운 실제 데이터셋을 구축하여 기존 방법론보다 우수한 성능을 입증했습니다.

핵심

1. 문제 상황: 왜 기존 기술은 실패할까?

기존의 카메라 (RGB 프레임) 는 마치 고정된 간격으로 사진을 찍는 사진사와 같습니다.

• 장점: 색깔과 질감이 선명합니다.
• 단점: 사진이 찍히는 속도가 느려서, 물체가 너무 빠르게 움직이면 사진이 흐릿해지거나 (모션 블러), 밤에는 잘 안 보입니다.

반면, '이벤트 카메라'는 소름 돋게 빠른 속도로 움직임을 감지하는 초고속 센서와 같습니다.

• 장점: 빛의 변화가 일어나는 순간 (마이크로초 단위) 에 반응하므로, 아주 빠른 움직임도 흐릿함 없이 잡아냅니다.
• 단점: 색깔이나 질감 같은 '세부 묘사'가 없어서, 정지해 있거나 천천히 움직일 때는 무엇을 보고 있는지 알기 어렵습니다.

기존의 방식은 이 두 가지를 단순히 합치려다 실패했습니다. 마치 느린 사진사와 빠른 센서가 서로 타이밍을 맞추지 못하고 제각기 말하다 보니, 정보가 엉켜버리는 상황이었던 것입니다.

---

2. TAPFormer 의 해결책: "완벽한 듀오"

TAPFormer 는 이 두 카메라의 약점을 보완하고 장점을 극대화하는 두 가지 핵심 전략을 사용합니다.

① '시간의 간극'을 메우는 마법 (Transient Asynchronous Fusion)

• 비유: 사진사가 1 초에 30 장의 사진을 찍는 동안, 센서는 그 사이사이에 수천 번의 '움직임 신호'를 보냅니다. 기존 방식은 이 신호들을 억지로 사진 프레임에 맞춰 잘라냈습니다.
• TAPFormer 의 방식: "사진이 찍히지 않는 시간에도 센서의 신호를 계속 받아서 시간을 연속적으로 이어주는" 방식을 썼습니다. 마치 사진이 찍히는 순간마다 센서의 신호로 사진을 '보정'하고, 사진이 없는 시간에는 센서 신호만으로 움직임을 예측하는 것입니다.
• 결과: 사진이 찍히지 않는 공백 시간에도 물체의 위치를 아주 정밀하게 추적할 수 있게 되었습니다.

② "누가 더 잘 보이니?"를 실시간으로 판단 (Cross-modal Locally Weighted Fusion)

• 비유: 어두운 밤에 길을 걷는데, 한쪽 눈은 안경을 쓰고 (프레임), 다른 쪽 눈은 야간 투시경을 썼다고 칩시다.
  • 어두운 곳에서는 야간 투시경 (이벤트) 이 더 잘 보입니다.
  • 밝고 선명한 곳에서는 안경 (프레임) 이 더 잘 보입니다.
• TAPFormer 의 방식: AI 가 매 순간 **"지금 이 부분은 누가 더 잘 보고 있니?"**라고 물어보고, 더 잘 보이는 쪽의 정보를 집중적으로 활용합니다.
• 결과: 물체가 빠르게 움직여 흐릿해지거나, 빛이 너무 강해 과노출이 되어도, 어느 한쪽이 망가져도 다른 쪽이 그 자리를 메우며 추적을 멈추지 않습니다.

---

3. 새로운 훈련장과 실전 테스트

이 기술이 얼마나 뛰어난지 증명하기 위해 연구팀은 두 가지 일을 했습니다.

1. 가상 훈련장 (FE-FastKub): 실제 세상에 없는, 아주 빠른 속도로 움직이는 가상의 장면을 만들어 AI 를 훈련시켰습니다. 마치 비행기 조종사가 시뮬레이터로 극한 상황을 연습하는 것과 같습니다.
2. 실전 데이터 (InivTAP, DrivTAP): 실제 자동차를 타고 밤낮으로 달리며, 어둡고, 빛이 강하고, 빠르게 움직이는 상황에서도 카메라를 켜고 데이터를 모았습니다. 이는 실제 도로에서 운전하는 상황과 똑같습니다.

---

4. 결론: 왜 이것이 중요한가?

기존 기술들은 빠른 자동차를 따라가다 흐릿해지거나, 밤에 길을 잃어버리는 경우가 많았습니다. 하지만 TAPFormer 는:

• 빠른 속도에서도 흔들리지 않고 따라갑니다.
• 어둠이나 너무 밝은 빛에서도 길을 잃지 않습니다.
• 오염된 데이터 (흐릿한 사진) 가 있어도 다른 센서로 보완하여 정확한 경로를 그립니다.

한 줄 요약:

**"느린 사진사와 빠른 센서가 서로의 약점을 보완하며, 마치 한 쌍의 눈처럼 실시간으로 세상을 완벽하게 따라다니는 새로운 AI 추적기"**가 탄생했습니다.

이 기술은 자율주행차가 밤길이나 급커브에서도 안전하게 운전하거나, 증강현실 (AR) 에서 물체가 빠르게 움직여도 가상 객체가 떨어지지 않게 하는 등, 우리 생활의 다양한 분야에서 혁신을 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

**임의의 점 추적 (Tracking Any Point, TAP)**은 비디오 내의 임의의 점에 대한 운동 궤적을 추정하는 컴퓨터 비전의 핵심 과제입니다. 그러나 기존 프레임 기반 카메라만 사용하는 방법들은 다음과 같은 한계를 가집니다:

• 동적 환경에서의 성능 저하: 빠른 운동으로 인한 모션 블러, 과다 노출, 낮은 프레임률 (고주파수 운동 포착 불가) 등으로 인해 추적 정확도가 급격히 떨어집니다.
• 이벤트 카메라의 한계: 이벤트 카메라는 마이크로초 단위의 시간 해상도와 넓은 동적 범위를 제공하지만, 정지하거나 느린 장면에서는 이벤트가 희소하고, 색상/질감 정보가 부족하여 공간적 세부 사항을 포착하기 어렵습니다.
• 비동기적 융합의 어려움: 기존 융합 방법들은 대부분 프레임과 이벤트를 동기화하거나 하위 샘플링하여 처리하는데, 이로 인해 시간적 불일치 (Temporal Misalignment) 가 발생하거나 시간적 정밀도가 손실됩니다.

2. 제안된 방법론 (Methodology)

저자들은 TAPFormer라는 트랜스포머 기반 프레임워크를 제안하며, 프레임 (RGB) 과 이벤트 스트림을 **비동기적 (Asynchronous)**으로 융합하여 고주파수이고 강건한 점 추적을 가능하게 합니다. 핵심 구성 요소는 다음과 같습니다.

A. 일시적 비동기 융합 (Transient Asynchronous Fusion, TAF)

• 개념: 이산적인 프레임과 연속적인 이벤트 사이의 시간적 간극을 해소하기 위해, 장면을 '시간적으로 연속적인 잠재 표현 (Latent Representation)'으로 모델링합니다.
• 작동 원리:
  1. 초기화: 새로운 프레임이 도착할 때, 해당 프레임과 노출 기간 동안 발생한 이벤트를 결합하여 '일시적 표현 (Transient Representation)'을 초기화합니다.
  2. 연속 업데이트: 프레임 간격 동안 들어오는 새로운 이벤트들을 경량화된 크로스 어텐션 (Cross-attention) 업데이트기를 통해 지속적으로 반영합니다.
• 효과: 프레임률 (예: 20-30Hz) 을 초과하는 고주파수 (100-200Hz) 로 특징을 업데이트하여 빠른 운동에서도 정밀한 추적을 유지합니다.

B. 교차 모드 국소 가중 융합 (Cross-modal Locally Weighted Fusion, CLWF)

• 목적: 다양한 조건 (블러, 저조도, 정지 등) 에서 각 모달리티의 신뢰도가 공간적으로 변동하는 문제를 해결합니다.
• 작동 원리: 이벤트 토큰이 프레임 토큰의 공간적 이웃을 질의 (Query) 하는 국소적 크로스 어텐션 메커니즘을 사용합니다.
• 적응성: 현재 시점과 위치에서 더 유익한 정보 (예: 빠른 운동 시 이벤트, 정지/세부 질감 시 프레임) 를 가진 모달리티에 가중치를 자동으로 부여하여, 한 모달리티가 손상되더라도 강건한 특징을 생성합니다.

C. 데이터셋 구축

• FE-FastKub (Synthetic): Kubric 엔진을 기반으로 생성된 고프레임률 (48Hz) 합성 데이터셋으로, 모션 블러와 고속 운동을 시뮬레이션하여 모델이 이벤트의 시간적 단서에 의존하도록 학습시킵니다.
• InivTAP & DrivTAP (Real-world): DAVIS346 및 PropheSee EVK4 센서를 사용하여 실제 세계 (야간, 과다 노출, 고속 주행 등) 에서 동기화된 프레임 - 이벤트 데이터를 수집하고, 수동으로 점 궤적을 주석 (Annotation) 한 최초의 벤치마크입니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크: RGB 프레임과 이벤트 스트림의 상호 보완적 강점을 최대한 활용하는 최초의 통일된 비동기 융합 프레임워크를 제안했습니다.
2. 새로운 비동기 융합 메커니즘: 시간적 정합성을 유지하면서 고주파수 추적을 가능하게 하는 TAF 메커니즘과 모달리티 신뢰도에 기반한 적응형 CLWF 모듈을 개발했습니다.
3. 실제 세계 벤치마크: 다양한 조명 및 운동 조건을 포함한 동기화된 프레임 - 이벤트 TAP 데이터셋 (InivTAP, DrivTAP) 을 최초로 공개했습니다.
4. 성능 기록: 기존 프레임 기반, 이벤트 기반, 융합 기반 모든 추적기보다 우수한 성능을 달성했습니다.

4. 실험 결과 (Results)

TAPFormer 는 TAP-Vid, EDS, EC 등 여러 벤치마크와 새로 구축한 실제 데이터셋에서 SOTA(State-of-the-Art) 성능을 입증했습니다.

• 정량적 성능:
  • InivTAP: 평균 픽셀 오차 임계값 내 평균 가시 점 지속 시간 ($\delta^{avg}_{vis}$) 에서 기존 프레임 기반 (CoTracker3) 대비 36.4% 향상, 융합 기반 (FETAP) 대비 35.1% 향상.
  • DrivTAP (주행 시나리오): AJ(Average Jaccard) 지표에서 이벤트 기반 (ETAP) 대비 261.5%, 프레임 기반 대비 31.5% 개선.
  • EDS/EC (특징점 추적): Feature Age (FA) 및 Expected Feature Age (EFA) 에서 모든 베이스라인을 상회했습니다.
• 강건성:
  • 프레임률 민감도: 입력 프레임률이 낮아질수록 (10Hz 등) 기존 프레임 기반 추적기 (CoTracker3) 는 성능이 급격히 저하되지만, TAPFormer 는 이벤트 정보를 활용하여 안정적으로 성능을 유지했습니다.
  • 환경 적응: 모션 블러, 과다 노출, 저조도 환경에서도 단일 모달리티 방법들보다 월등히 우수한 추적 안정성을 보였습니다.
• 효율성: 3 번의 반복 정제 (Refinement iteration) 만으로 수렴하여 계산 비용을 줄이면서도 높은 정확도를 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 프레임과 이벤트의 융합을 단순한 동기화 또는 집계에서 비동기적 시간 모델링으로 패러다임을 전환했다는 점에서 의의가 큽니다.

• 실용적 가치: 자율 주행, 증강 현실 (AR), 로봇 공학 등 빠르고 예측 불가능한 환경에서 고주파수, 고정밀 추적이 필요한 응용 분야에 직접적으로 적용 가능한 솔루션을 제공합니다.
• 연구 기반: 실제 세계의 복잡한 조건을 반영한 새로운 데이터셋과 강력한 베이스라인 모델을 제공함으로써, 향후 멀티모달 비전 연구의 발전을 촉진할 것으로 기대됩니다.

요약하자면, TAPFormer 는 이벤트 카메라의 높은 시간 해상도와 카메라의 풍부한 공간 정보를 지능적으로 결합하여, 기존 방법들이 실패했던 극한의 동적 환경에서도 강건하고 정밀한 임의 점 추적을 가능하게 한 획기적인 연구입니다.