Improving Visual Object Tracking through Visual Prompting

이 논문은 사전 훈련된 CLIP 모델을 활용하여 온라인으로 시각적 프롬프트를 자동 생성 및 정제함으로써 주변 방해 요인을 억제하고 범용 객체 추적 성능을 향상시키는 새로운 'PiVOT' 메커니즘을 제안합니다.

핵심

이 논문은 **"PiVOT"**이라는 새로운 비디오 추적 기술을 소개합니다. 쉽게 말해, **"비디오 속의 특정 대상을 다른 방해물들 속에서 정확히 찾아내는 기술"**을 더 똑똑하게 만든 연구입니다.

기존의 추적 기술들은 대상을 찾을 때 "이건 사람이다", "이건 차다"라고 단순히 분류하는 데 그쳤다면, PiVOT 은 **"이건 내가 지금 쫓고 있는 '그' 사람이다"**라고 더 구체적으로 기억하고 찾아냅니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: 혼잡한 광장의 실종된 친구 찾기 🕵️‍♂️

비디오 추적이란, 첫 번째 프레임에서 친구의 얼굴을 보고 그 친구가 움직이는 비디오를 쫓아가는 작업입니다. 하지만 문제는 **방해물 (Distractors)**입니다.

• 친구와 비슷한 옷을 입은 다른 사람
• 갑자기 화면을 가리는 나무나 사람
• 조명 변화나 친구가 돌아서서 모습이 달라지는 경우

기존의 추적기는 "아, 저기 사람 모양이 있네?"라고 대충 찾아서, 친구가 아닌 다른 사람 (방해물) 을 따라가다가 친구를 잃어버리는 경우가 많았습니다.

2. PiVOT 의 해결책: "초능력 안내원 (CLIP)"과 "스마트 메모장"

이 연구는 CLIP이라는 거대하고 똑똑한 AI(기초 모델) 를 고용했습니다. CLIP 은 수억 장의 사진과 설명을 공부해서, 어떤 사물이든 눈만 봐도 "이건 개야", "이건 고양이야"라고 정확히 아는 초능력 안내원과 같습니다.

PiVOT 은 이 안내원을 다음과 같이 활용합니다.

① 초보 추적기에게 '초점'을 맞춰주는 '초점 메모장' (Visual Prompt)

기존 추적기는 화면 전체를 두리번거리며 대상을 찾습니다. PiVOT 은 CLIP 을 통해 **"지금 이 친구가 어디에 있을 가능성이 높은지"**를 미리 예측한 **초점 메모장 (시각적 프롬프트)**을 만듭니다.

• 비유: 친구를 찾을 때, "저기 저기, 저기 있겠지!"라고 손가락으로 가리키는 것입니다. 추적기는 이 손가락이 가리키는 곳만 집중해서 봅니다.

② 실시간으로 메모장을 수정하는 '현장 지시관' (Online Refinement)

하지만 친구가 갑자기 다른 옷을 입거나, 다른 사람과 섞이면 초점 메모장이 틀릴 수 있습니다. 이때 CLIP 이 개입합니다.

• 비유: "잠깐! 저기 있는 사람은 옷이 달라서 우리 친구가 아니야. 저기 저 사람 옷이 우리 친구랑 비슷해. 손가락을 저쪽으로 옮겨!"라고 CLIP 이 실시간으로 지시합니다.
• 이렇게 해서 추적기는 방해물 (비슷한 옷을 입은 다른 사람) 을 무시하고, 진짜 친구에게만 집중하게 됩니다.

③ 방해물을 차단하는 '방어막' (Relation Modeling)

CLIP 이 수정한 메모장을 바탕으로, 추적기는 방해물이 있는 곳의 신호를 약하게 만들고 친구가 있는 곳의 신호만 크게 만듭니다.

• 비유: 시끄러운 광장에서 친구의 목소리만 크게 들리고, 다른 사람들의 소리는 차단되는 노이즈 캔슬링 이어폰 같은 효과를 줍니다.

3. 왜 이 기술이 특별한가요? (기존 기술과의 차이)

• 기존 기술: "이건 사람이다"라고만 배웠습니다. (특정 데이터만 학습)
• PiVOT: "이건 사람이다"는 기본에, **"이건 내가 쫓는 '그' 사람이다"**라는 개념을 CLIP 이라는 거대 지식에서 가져와서 적용합니다.
• 장점: 훈련할 때 보지 못한 새로운 대상 (예: 훈련 데이터에 없던 희한한 모양의 장난감) 이 나와도, CLIP 의 지식을 빌려와서 "아, 이건 저게 맞구나"라고 바로 찾아냅니다. (Zero-shot 능력)

4. 요약: PiVOT 이 어떻게 작동하나요?

1. 초기 탐색: 추적기가 대략적인 후보들을 찾습니다. (초점 메모장 작성)
2. CLIP 의 개입: CLIP 이 후보들을 하나씩 확인하며 "이건 진짜 친구야, 저건 가짜야"라고 판단합니다. (메모장 수정)
3. 집중 추적: 수정된 메모장을 바탕으로 추적기는 진짜 친구에게만 집중하고 방해물은 무시합니다.
4. 결과: 친구가 잠시 가려지거나 (가림), 옷을 바꿔도 다시 찾아냅니다.

5. 결론

이 논문은 **"거대 AI(기초 모델) 의 지식을 작은 추적 기술에 빌려주어, 방해물이 많은 복잡한 상황에서도 대상을 놓치지 않게 만들었다"**는 것을 증명했습니다. 마치 초능력을 가진 안내원을 고용하여, 혼란스러운 광장에서 실종된 친구를 정확히 찾아내는 것과 같습니다.

이 기술은 자율주행차, 감시 카메라, 혹은 스포츠 중계에서 선수들을 추적하는 등 다양한 분야에서 더 정확하고 안정적인 시스템을 만드는 데 기여할 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 범용 객체 추적 (Generic Object Tracking, GOT) 의 한계: GOT 는 비디오의 첫 프레임에서 지정된 대상의 초기 상태를 기반으로 매 프레임의 상태를 추정하는 작업입니다. 기존 추적기 (DiMP, SiamRPN++ 등) 는 학습 데이터에 존재하지 않는 새로운 대상이나 조명 변화, 외관 변화, 가림 (Occlusion) 과 같은 환경 변화에 직면했을 때, 제한된 대상 정보만으로는 방해물 (Distractors) 과 대상을 효과적으로 구분하는 데 어려움을 겪습니다.
• 기존 방법의 문제점:
  • 과적합 (Overfitting): 대규모 사전 학습 모델 (Foundation Model) 을 추적 데이터로 전체 미세 조정 (Fine-tuning) 하는 것은 계산 비용이 매우 높고, 레이블이 있는 데이터에 과적합될 위험이 있습니다.
  • 구분 능력 부족: 기존 추적기는 대상과 유사한 외관을 가진 다른 객체 (동일 클래스의 다른 인스턴스) 나 배경 잡음을 효과적으로 억제하지 못해 추적 실패가 빈번합니다.
  • 영향력 있는 지식의 부재: CLIP 과 같은 강력한 기초 모델의 제로샷 (Zero-shot) 분류 능력을 추적기의 인스턴스 인식 (Instance-aware) 설정으로 전환하는 메커니즘이 부족했습니다.

2. 제안 방법: PiVOT (Methodology)

저자들은 **PiVOT (Promptable Visual Object Tracking)**이라는 새로운 추적기를 제안합니다. 이는 사전 학습된 기초 모델 (CLIP, DINOv2) 의 지식을 활용하여 **시각적 프롬프트 (Visual Prompt)**를 자동 생성 및 정제하여 방해물을 억제하고 추적 성능을 향상시키는 메커니즘을 핵심으로 합니다.

핵심 구성 요소

1. 프롬프트 생성 네트워크 (Prompt Generation Network, PGN):

   • 현재 프레임과 템플릿 (참조 프레임) 의 특징을 상관관계 분석하여 **초기 시각적 프롬프트 (Initial Visual Prompt)**를 생성합니다.
   • 이는 현재 프레임에서 잠재적인 대상 후보 위치를 강조하는 점수 맵 (Score Map) 형태입니다.

2. 테스트 시간 프롬프트 정제 (Test-time Prompt Refinement, TPR):

   • 추론 (Inference) 단계에서 CLIP 을 활용하여 초기 프롬프트를 정제합니다.
   • PGN 이 찾은 후보 영역 (RoIs) 과 참조 템플릿을 CLIP 의 이미지 인코더에 입력하여 특징을 추출합니다.
   • CLIP 의 제로샷 능력을 통해 템플릿과 유사도가 높은 후보를 강조하고, 유사도가 낮은 방해물을 제거하여 정제된 시각적 프롬프트를 생성합니다. 이 과정은 학습 비용 없이 추론 시에만 수행됩니다.

3. 관계 모델링 모듈 (Relation Modeling, RM):

   • 정제된 시각적 프롬프트와 현재 프레임의 특징 맵을 입력받아, 방해물 객체의 특징 반응을 억제하고 대상의 특징을 강화합니다.
   • 이를 통해 추적기 (Tracking Head) 가 방해물이 제거된 향상된 특징 맵을 기반으로 더 정확한 예측을 할 수 있도록 합니다.

4. 백본 및 학습 전략:

   • DINOv2 (ViT-L) 활용: DINOv2 의 백본을 동결 (Frozen) 상태로 유지하고, 경량 어댑터 (Adapter) 만 학습합니다. 이는 전체 백본을 미세 조정하는 것보다 파라미터 수를 1% 미만으로 줄이면서도 강력한 일반화 능력을 유지하게 합니다.
   • 학습 단계:
     1. 1 단계: 프롬프팅 구성 요소 없이 추적기만 학습 (Pre-training).
     2. 2 단계: 사전 학습된 추적기에 프롬프팅 구성 요소 (PGN, RM) 를 통합하여 미세 조정.

3. 주요 기여 (Key Contributions)

1. 자동 시각적 프롬프트 생성 및 정제 메커니즘: 인간의 수동 주석 없이 기초 모델 (CLIP) 의 지식을 시각적 프롬프트를 통해 자동으로 전달하는 새로운 메커니즘을 도입했습니다.
2. 범용 객체 추적을 위한 프롬프팅 프레임워크: 시각적 프롬프트에 의해 유도된 특징 맵을 생성하여 방해물을 억제하고 추적 성능을 극대화하는 새로운 패러다임을 제시했습니다.
3. 효율적인 기초 모델 활용: DINOv2 의 동결 백본과 경량 어댑터를 결합하여, 대규모 모델의 일반화 능력을 유지하면서 학습 효율성을 높이고 계산 비용을 절감했습니다.
4. SOTA 성능 달성: 다양한 벤치마크에서 기존 최첨단 방법들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

PiVOT 는 NfS, LaSOT, TrackingNet, GOT-10k, AVisT, VOT2022 등 다양한 벤치마크에서 평가되었습니다.

• 성능 우위:
  • NfS 및 OTB-100: CNN 기반 백본을 사용하는 추적기 (ToMP-50 등) 를 크게 상회하며, Transformer 기반 추적기들보다도 높은 성공률 (Success AUC) 과 정밀도 (Precision AUC) 를 기록했습니다.
  • LaSOT: 장기간 추적 및 다양한 외관 변화에 강건하여, Success, Precision, Normalized Precision 모든 지표에서 새로운 최고 기록 (State-of-the-Art) 을 수립했습니다.
  • AVisT: 가림, 외관 변화, 노이즈 등 다양한 속성에서 최상위 성능을 보였습니다.
  • VOT2022: 견고성 (Robustness) 지표에서 1 위를 차지했습니다.
• 아블레이션 연구 (Ablation Study):
  • CLIP 을 이용한 프롬프트 정제 (Refinement) 가 성능 향상에 결정적인 역할을 함을 확인했습니다. 초기 프롬프트만 사용하는 경우보다 CLIP 정제를 적용했을 때 Out-of-Distribution 데이터셋 (예: NfS, AVisT) 에서 성능이 크게 개선되었습니다.
• 시각화:
  • 시각적 프롬프트가 적용된 특징 맵은 대상 영역을 명확히 강조하고 방해물 영역의 반응을 억제하는 것을 시각적으로 확인했습니다.
  • 일시적인 가림 (Occlusion) 후에도 원래 대상을 재식별하여 추적 복구가 가능한 것을 확인했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 지식 전이: 기초 모델 (Foundation Model) 의 강력한 제로샷 분류 능력을 구체적인 객체 추적 작업에 성공적으로 적용한 사례입니다.
  • 효율성: 대규모 모델의 전체 미세 조정 없이도 동결 백본과 경량 어댑터만으로 높은 성능을 달성하여, 추론 비용과 메모리 사용량을 최적화했습니다.
  • 강건성: 외관 변화, 가림, 방해물 등 기존 추적기가 취약한 분야에서 CLIP 의 시맨틱 이해 능력을 통해 뛰어난 강건성을 보여줍니다.

• 한계:

  • 작은 객체 및 저해상도: 대상의 크기가 매우 작거나 해상도가 낮아 시맨틱 정보가 부족할 경우 (예: 벌, 작은 새) 추적 성능이 저하될 수 있습니다.
  • 유사한 방해물: 매우 유사한 외관을 가진 방해물들이 교차하는 상황 (예: 계단을 뛰어오르는 오리새끼들) 에서는 혼란이 발생할 수 있습니다.
  • 계산 비용: 추론 시 CLIP 과 DINOv2 두 개의 대형 모델을 사용해야 하므로, 실시간 응용을 위한 추론 속도가 여전히 병목 현상이 될 수 있습니다.

결론

이 논문은 시각적 프롬프팅을 통해 기초 모델의 지식을 추적기에 효과적으로 통합하는 PiVOT를 제안함으로써, 범용 객체 추적의 핵심 과제인 방해물 억제와 일반화 능력을 획기적으로 개선했습니다. 이는 추후 기초 모델 기반의 비전 작업에서 프롬프팅 메커니즘이 중요한 역할을 할 것임을 시사합니다.