UTPTrack: Towards Simple and Unified Token Pruning for Visual Tracking

이 논문은 시각적 객체 추적의 계산 비용을 줄이면서도 정확도를 유지하기 위해 검색 영역, 동적 템플릿, 정적 템플릿을 통합적으로 압축하는 새로운 단일 토큰 가지치기 프레임워크인 UTPTrack 을 제안하고, 다양한 벤치마크에서 기존 방법보다 뛰어난 성능과 효율성을 입증합니다.

핵심

1. 문제점: "너무 많은 재료를 다 쓰려고 하니까 요리가 느려져요"

기존의 최신 추적 기술 (Transformer 기반) 은 매우 똑똑합니다. 하지만 비유하자면, 요리사가 요리를 할 때 냉장고에 있는 모든 재료를 하나하나 다 꺼내서 맛을 보고, 모든 재료를 다 섞어서 요리를 하려고 합니다.

• 문제: 비디오의 한 장면을 구성하는 수많은 작은 조각들 (토큰) 을 모두 분석하다 보니, 컴퓨터의 계산량이 너무 많아져서 실시간으로 요리를 해낼 수 없습니다. (특히 스마트폰이나 드론 같은 작은 기기에서는 더 심합니다.)
• 기존 해결책의 한계: 이전 연구자들은 "검색 영역 (요리할 재료)"만 줄이거나, "템플릿 (레시피)"만 줄이는 식으로 부분적으로만 재료를 덜어냈습니다. 하지만 이 방법은 재료들 사이의 관계를 무시해서, 정작 중요한 재료를 버리거나 불필요한 재료를 남기는 실수를 저지르기도 했습니다.

2. 해결책: "UTPTrack - 똑똑한 '재료 선별' 비서"

이 논문이 제안한 UTPTrack은 **"모든 재료를 한 번에, 그리고 똑똑하게 선별하는 비서"**입니다.

핵심 아이디어 1: "한 번에 다 정리하기" (Unified Pruning)

기존에는 검색 영역, 동적 템플릿, 정적 템플릿을 따로따로 정리했지만, UTPTrack 은 이 세 가지를 한 번에 묶어서 정리합니다.

• 비유: 요리사가 재료를 다룰 때, "이건 필요 없어 (배경)", "이건 조금만 써도 돼 (흐릿한 부분)"라고 전체적인 관점에서 한 번에 판단하고 버립니다. 이렇게 하면 불필요한 계산이 대폭 줄어듭니다.

핵심 아이디어 2: "중요한 건 꼭 챙겨주기" (Attention-Guided & Token Type-Aware)

단순히 무작위로 재료를 버리는 게 아니라, 어떤 재료가 진짜 중요한지를 AI 가 스스로 판단합니다.

• 주의 집중 (Attention): "이 재료가 요리사 (목표 물체) 와 얼마나 닮았는지"를 보고, 닮은 것만 남깁니다.
• 위치 감각 (Token Type-Aware): 특히 **정적 템플릿 (처음에 잡은 목표물 사진)**을 다룰 때는, "이 부분이 목표물의 몸통인가, 아니면 배경인가?"를 미리 알고 있습니다.
  • 비유: 요리사가 "이건 고기 (목표물) 야, 절대 버리면 안 돼!"라고 마법 같은 눈으로 보호해 줍니다. 그래서 중요한 부분은 절대 실수로 버리지 않습니다.

핵심 아이디어 3: "언어까지 이해하는 만능 비서" (Unified Tracking)

이 기술은 단순히 사진 (RGB) 만 보는 게 아니라, **깊이 (Depth), 열화상 (Thermal), 이벤트 (Event), 그리고 언어 (Language)**까지 모두 이해할 수 있습니다.

• 비유: "주황색 고양이를 비 오는 날 따라가줘"라고 말하면, 비서 (UTPTrack) 는 **말 (언어)**과 사진을 동시에 보고 고양이를 찾아냅니다. 이때도 불필요한 정보는 과감히 버리고 중요한 정보만 남깁니다.

---

3. 결과: "속도는 2 배, 맛은 그대로 (혹은 더 좋음)"

이 기술을 적용한 실험 결과는 놀라웠습니다.

• 효율성: 시각 정보 (토큰) 의 약 65~67% 를 버려도 (재료를 3 분의 2 정도 줄여도) 성능이 거의 떨어지지 않았습니다.
• 성능: 오히려 불필요한 잡음 (배경 잡음 등) 을 제거했기 때문에, 정확도가 기존보다 0.5% 정도 더 오르는 경우도 있었습니다. (잡음이 없으니 오히려 더 잘 보이는 셈입니다.)
• 적용: RGB(일반 사진) 는 물론, 열화상, 깊이 영상, 언어 명령까지 포함된 모든 상황에서 최고 수준의 효율을 보여주었습니다.

4. 요약: 왜 이것이 중요한가요?

기존의 똑똑한 추적기는 "무거운 두꺼운 책"을 들고 다니는 것과 같아서, 작은 기기 (스마트폰, 드론, 자율주행차) 에선 쓰기 힘들었습니다.

UTPTrack은 그 책을 **"핵심 요약본"**으로 바꿔주었습니다.

• **중요한 내용 (목표물)**은 그대로 남기고,
• **불필요한 내용 (배경 잡음)**은 과감히 잘라내서,
• **책의 무게 (계산량)**는 절반으로 줄였지만, **내용의 맛 (정확도)**은 그대로, 혹은 더 좋아지게 만들었습니다.

이제 우리는 더 작은 기기에서도, 더 빠르게, 그리고 더 정확하게 움직이는 물체를 따라갈 수 있게 된 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 최근 시각적 객체 추적 (Visual Object Tracking, VOT) 분야에서 Transformer 기반의 'One-stream' 아키텍처가 뛰어난 성능을 보이고 있습니다. 그러나 이러한 모델은 입력 데이터 (검색 영역, 정적 템플릿, 동적 템플릿) 의 모든 토큰을 처리하는 이차 복잡도 (Quadratic Complexity) 로 인해 계산 비용이 매우 높습니다. 이는 리소스가 제한된 환경에서의 실시간 배포를 어렵게 만듭니다.
• 기존 방법의 부족: 기존 토큰 가지치기 (Token Pruning) 방법들은 주로 검색 영역 (Search Region, SR) 이나 동적 템플릿 (Dynamic Template, DT) 중 하나만을 개별적으로 압축하는 데 그쳤습니다.
• 핵심 문제: SR, DT, 정적 템플릿 (Static Template, ST) 은 서로 밀접한 의존 관계에 있습니다. 이를 분리하여 가지치기하면 구성 요소 간의 상호작용을 고려하지 못해 불필요한 정보 (중복성) 는 남기고 중요한 정보는 제거하는 비최적의 결정이 내려지며, 이는 추적 정확도 저하로 이어집니다. 특히 멀티모달 (RGB-Depth, RGB-Thermal 등) 및 언어 기반 추적 환경에서는 이러한 문제가 더욱 심각합니다.

2. 제안 방법론 (Methodology: UTPTrack)

저자들은 UTPTrack을 제안하며, 이는 단일 모델 내에서 SR, DT, ST 의 세 가지 구성 요소를 동시에 (Jointly) 가지치기하는 최초의 통합 프레임워크입니다.

• 아키텍처: 기존 One-stream Transformer 기반 추적기 (OSTrack, SUTrack 등) 에 경량의 **CTEM (Candidate or Template Elimination Module)**을 삽입합니다. 이 모듈은 트랜스포머 인코더 레이어 내에 위치하여 어텐션 맵을 기반으로 불필요한 토큰을 제거합니다.
• 핵심 전략:
  1. 어텐션 기반 유사도 (Attention-guided Similarity): 각 구성 요소 (SR, DT, ST) 의 토큰이 정적 템플릿의 중심 토큰 (Center Token) 과 얼마나 관련성이 높은지 어텐션 가중치를 통해 측정합니다. 관련성이 낮은 토큰은 제거하고 중요한 토큰만 유지합니다.
  2. 토큰 타입 인식 가지치기 (Token Type-Aware Pruning): 정적 템플릿 (ST) 의 경우, 배경 토큰이 제거되는 대신 전경 (Foreground) 토큰이 실수로 제거되는 것을 방지하기 위해 **공간적 사전 지식 (Bounding Box)**을 활용합니다. 바운딩 박스 내부에 포함된 패치에 '보너스 점수'를 부여하여 전경 토큰의 유지 확률을 높입니다.
  3. 통합 및 멀티모달 확장:
     • RGB 기반: SR, DT, ST 의 시각적 토큰을 통합적으로 압축합니다.
     • 멀티모달 (RGB-D/T/E): 깊이, 열화상, 이벤트 등 추가 모달리티도 동일한 임베딩 공간에서 어텐션 기반 메커니즘을 공유하여 가지치기합니다.
     • 언어 기반 (RGB-Language): 텍스트 토큰 (CLIP-L 인코더 사용) 을 시각적 토큰과 결합합니다. 텍스트 토큰과 정적 템플릿 중심 토큰의 어텐션을 결합하여 **텍스트 가이드 가지치기 (Text-Guided Pruning)**를 수행함으로써 의미론적 단서를 활용한 정밀한 토큰 선별을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 토큰 가지치기 프레임워크: One-stream Transformer 내에서 SR, DT, ST 세 가지 소스를 동시에 압축하는 UTPTrack 을 제안했습니다.
2. 정교한 가지치기 전략: 구성 요소 간 유사도와 공간적 사전 지식 (바운딩 박스) 을 결합한 '어텐션 가이드 토큰 타입 인식' 전략을 통해 중복성을 제거하면서도 핵심 정보를 보존합니다.
3. 범용성 및 확장성: RGB 기반 추적뿐만 아니라 깊이, 열화상, 이벤트, 자연어 기반 추적까지 지원하는 통합 가지치기 메커니즘을 구현했습니다. 특히 언어 단서를 활용한 가지치기 전략을 도입했습니다.
4. 성능 입증: 10 개의 벤치마크를 통한 광범위한 실험을 통해 기존 방법들보다 뛰어난 효율성 - 정확도 트레이드오프를 입증했습니다.

4. 실험 결과 (Results)

UTPTrack 은 OSTrack (RGB 기반) 과 SUTrack (통합 추적) 을 기반으로 다양한 벤치마크에서 평가되었습니다.

• 효율성 향상:
  • RGB 기반 추적: vision 토큰의 **65.4%**를 가지치기하면서도 기존 모델 대비 **99.7%**의 성능을 유지했습니다. (MACs 는 31.3% 감소)
  • 통합 추적 (Unified Tracking): vision 토큰의 **67.5%**를 가지치기하면서도 **100.5%**의 성능 (오히려 성능 향상) 을 기록했습니다. (MACs 는 28.4% 감소)
• 비교 우위: ToMe, EViT, DynamicViT 등 기존 토큰 압축 방법들보다 모든 가지치기 비율 (Compression Ratio) 에서 더 높은 정확도를 보였습니다. 특히 가지치기 비율이 높아질수록 UTPTrack 의 성능 우위가 더욱 두드러졌습니다.
• 실시간성: GPU 및 CPU 환경에서 프레임 속도 (FPS) 가 크게 향상되었으며, 학습 시간도 단축되었습니다.

5. 의의 및 결론 (Significance)

• 효율성과 정확도의 균형 달성: UTPTrack 은 계산 비용을 획기적으로 줄이면서도 추적 성능을 유지하거나 오히려 향상시키는 새로운 기준 (SOTA) 을 제시했습니다. 이는 불필요한 토큰이 오히려 노이즈로 작용할 수 있음을 보여주며, 선택적 가지치기가 일반화 성능을 높일 수 있음을 시사합니다.
• 미래 연구의 기반: 단일 모델로 다양한 모달리티 (RGB, Depth, Thermal, Event, Language) 를 처리하면서도 효율적인 추론이 가능하게 하여, 리소스 제약이 있는 엣지 디바이스에서의 고급 시각적 추적 시스템 구현에 강력한 기반을 제공합니다.
• 간결한 설계: 복잡한 구조 변경 없이 기존 One-stream 아키텍처에 경량 모듈을 추가하는 방식으로, 재학습이나 구조 수정 없이도 적용 가능한 범용적인 솔루션입니다.

요약하자면, UTPTrack 은 시각적 추적에서 발생하는 계산 과부하 문제를 해결하기 위해 구성 요소 간의 상호 의존성을 고려한 통합 토큰 가지치기를 도입함으로써, 고효율과 고정확도를 동시에 달성한 획기적인 연구입니다.