OmniTracker: Unifying Object Tracking by Tracking-with-Detection

이 논문은 검출과 추적을 상호 보완적으로 결합한 '추적-검출 (Tracking-with-Detection)' 패러다임을 제안하여, 기존에 분리되어 있던 인스턴스 및 카테고리 추적 작업을 단일 공유 네트워크 아키텍처로 통합하고 성능을 향상시킨 OmniTracker 를 소개합니다.

핵심

🎥 올니트래커 (OmniTracker): "한 번에 모든 걸 따라잡는 만능 추적기"

이 논문은 컴퓨터 비전 분야에서 비디오 속의 물체를 추적하는 기술을 혁신적으로 바꾼 새로운 방법론을 소개합니다. 기존에는 추적할 물체의 종류나 상황에 따라 서로 다른 '전문가'들이 필요했지만, 이 연구는 **한 명의 '만능 추적기'**로 모든 상황을 해결할 수 있음을 증명했습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 비유를 섞어 설명해 드릴게요.

---

1. 문제 상황: "왜 전문가가 여럿이 필요한가요?"

기존의 추적 기술은 크게 두 부류로 나뉘어 있었습니다. 마치 스튜디오와 경찰서가 서로 다른 일을 하는 것과 같습니다.

• 인스턴스 추적 (SOT, VOS): "저기 있는 특정 사람을 계속 따라가줘."

  • 예시: 첫 번째 프레임에서 '강아지'를 지정하면, 그 강아지만 계속 찾아야 합니다.
  • 기존 방식 (추적-as-탐지): 추적기가 "아마 저기 있을 거야"라고 검색 영역을 좁혀서 탐지기에게 "여기서 강아지 찾아줘!"라고 시켰습니다.
  • 단점: 강아지가 갑자기 멀리 도망가거나 가려지면, 검색 영역이 틀려서 강아지를 놓쳐버립니다.

• 카테고리 추적 (MOT, VIS): "이 비디오에 있는 모든 사람과 차를 다 찾아서 번호를 매겨줘."

  • 기존 방식 (탐지-as-추적): 탐지기가 "사람, 사람, 차, 사람..."이라고 모든 것을 일일이 찾아낸 뒤, 추적기가 "아, 이 사람과 저 사람은 같은 사람이네?"라고 연결했습니다.
  • 단점: 탐지기가 실수하면 (예: 가려져서 못 찾으면), 추적기는 그 사람을 영원히 잃어버립니다.

핵심 문제: 두 방식이 서로 다른 '전문가'를 필요로 하므로, 컴퓨터는 두 개의 두뇌를 동시에 훈련시켜야 했고, 이는 시간과 비용의 낭비였습니다.

---

2. 해결책: "상호작용하는 만능 추적기 (OmniTracker)"

이 논문은 "추적 (Tracking)"과 "탐지 (Detection)"가 서로 돕는 새로운 방식을 제안합니다. 이를 **'추적-with-탐지 (Tracking-with-Detection)'**라고 부릅니다.

🧩 비유: "명탐정과 수사관"

기존 방식은 명탐정이 수사관에게 "여기서 범인 찾아줘"라고 지시하거나, 수사관이 범인을 다 찾아서 명탐정에게 "이게 범인일까요?"라고 물어보는 식이었습니다.

하지만 **올니트래커 (OmniTracker)**는 다음과 같이 작동합니다:

1. 명탐정 (추적기) 이 과거의 기억을 제공합니다: "어제 범인이 입었던 옷과 이동 경로를 기억해. 이 정보를 탐지기에게 줘."
2. 수사관 (탐지기) 이 전체 장면을 훑습니다: "알겠어! 과거의 기억 (옷차림, 이동 패턴) 을 바탕으로 화면 전체를 다시 한번 꼼꼼히 살펴볼게."
3. 협력: 탐지기가 찾은 후보들을 명탐정이 "아, 이 옷차림이 맞네!"라고 확인하고 연결합니다.

이처럼 과거의 정보 (추적) 가 현재의 발견 (탐지) 을 돕고, 현재의 발견이 과거의 정보를 업데이트하는 선순환 구조를 만든 것입니다.

---

3. 핵심 기술: "RFE 모듈" (기억을 보강하는 안경)

이 시스템의 핵심은 RFE (Reference-guided Feature Enhancement) 모듈입니다.

• 비유: 마치 안경을 끼는 것과 같습니다.
  • 기존 탐지기는 안경 없이 어두운 방을 비추는 손전등처럼, 가려진 물체나 빠르게 움직이는 물체를 놓치기 쉽습니다.
  • RFE 모듈은 "과거에 본 물체의 모습 (참조 프레임)"을 안경 렌즈처럼 탐지기에 씌워줍니다.
  • 이제 탐지기는 "아, 저게 가려져서 잘 안 보이지만, 과거에 본 모습과 비슷하니까 저게 맞구나!"라고 추론할 수 있게 됩니다.

이 덕분에 한 번의 모델로 '특정 물체 추적'과 '모든 물체 추적'을 모두 완벽하게 수행할 수 있게 되었습니다.

---

4. 성과: "한 번에 모든 걸 해내다"

연구팀은 이 모델을 7 개의 주요 추적 데이터셋 (LaSOT, MOT17, YTVIS 등) 에서 테스트했습니다.

• 결과: 기존에 각 작업별로 따로 훈련된 최고 성능의 모델들과 비교해도 동급이거나 더 좋은 결과를 냈습니다.
• 장점:
  • 효율성: 여러 개의 모델을 따로 훈련할 필요가 없어졌습니다. (비용 절감)
  • 유연성: 갑자기 가려지거나 (Occlusion), 빠르게 움직여도 (Fast Motion) 과거 정보를 활용해 물체를 잘 찾아냅니다.
  • 정확도: 특히 물체가 가려지거나 빠르게 움직일 때, 기존 방식보다 훨씬 견고하게 추적합니다.

---

5. 결론: "AI 의 미래는 통합이다"

이 논문은 **"인간은 하나의 뇌로 다양한 상황을 처리하는데, 왜 AI 는 여러 개의 전문 모델을 써야 하는가?"**라는 질문에서 시작했습니다.

올니트래커는 추적과 탐지가 서로 협력하는 새로운 패러다임을 제시함으로써, 더 똑똑하고 효율적인 AI 를 만들 수 있음을 증명했습니다. 앞으로는 자율주행차나 보안 시스템 등에서, 복잡한 상황에서도 물체를 놓치지 않는 완벽한 추적 시스템을 구현하는 데 큰 기여를 할 것으로 기대됩니다.

한 줄 요약:
"과거의 기억으로 현재의 눈을 밝게 하고, 현재의 발견으로 과거의 기억을 업데이트하는 만능 추적기를 만들어, 모든 비디오 추적 문제를 하나로 해결했습니다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 접근법의 한계: 시각적 객체 추적 (VOT) 은 크게 **인스턴스 추적 (Instance Tracking, 예: SOT, VOS)**과 **카테고리 추적 (Category Tracking, 예: MOT, MOTS, VIS)**으로 나뉩니다.
  • 인스턴스 추적: 첫 번째 프레임의 주석 (박스 또는 마스크) 을 기반으로 특정 객체를 추적합니다. 주로 '추적을 검출로 (Tracking-as-detection)' 접근하며, 검색 영역 (Search Region) 을 제한하거나 메모리 (Memory) 를 활용합니다.
  • 카테고리 추적: 특정 카테고리의 모든 객체를 프레임별로 검출한 후, 공간적/외관적 유사도를 기반으로 프레임 간 연결 (Association) 을 수행합니다. 주로 '검출로 추적 (Tracking-by-detection)' 접근을 사용합니다.
• 문제점: 두 가지 다른 패러다임이 서로 다른 아키텍처와 하이퍼파라미터를 요구하여, 훈련 비용의 중복과 모델 파라미터의 비효율성을 초래했습니다. 또한, 기존 방법들은 추적과 검출이 단방향으로만 상호작용하거나 (검색 영역 제한 또는 검출 결과만 의존), 시간적 정보 (Temporal Information) 를 충분히 활용하지 못해 빠른 이동이나 심각한 가려짐 (Occlusion) 상황에서 성능이 저하되는 문제가 있었습니다.

2. 제안 방법론 (Methodology)

이 논문은 **추적 - 검출 통합 (Tracking-with-Detection)**이라는 새로운 패러다임을 제안하며, 이를 구현한 통합 모델 OmniTracker를 개발했습니다.

2.1. 핵심 패러다임: Tracking-with-Detection

기존의 단방향 접근을 넘어, 추적 (Tracking) 과 검출 (Detection) 이 상호 보완적으로 작동하도록 설계했습니다.

• 추적 $\rightarrow$ 검출: 추적된 객체의 외관 정보 (Appearance Priors) 를 검출기에 제공하여 검출 정확도를 높입니다.
• 검출 $\rightarrow$ 추적: 검출기가 전체 이미지에서 후보 박스를 생성하면, 추적기가 이를 기존 궤적과 연결 (Association) 합니다.

2.2. OmniTracker 아키텍처

OmniTracker 는 Deformable DETR을 기반으로 하며, 인스턴스 추적 (SOT, VOS) 과 카테고리 추적 (MOT, MOTS, VIS) 을 완전히 공유되는 네트워크 아키텍처, 모델 가중치, 추론 파이프라인으로 처리합니다.

• Reference-guided Feature Enhancement (RFE) 모듈:

  • 핵심 구성 요소로, 이전 프레임의 추적 결과 (박스 또는 마스크) 를 기반으로 현재 프레임의 특징 (Feature) 을 강화합니다.
  • 인스턴스 추적 (IT): 이전 프레임의 추적된 박스 영역에 대한 RoIAlign 특징을 Cross-Attention 을 통해 현재 프레임 특징에 융합합니다.
  • 카테고리 추적 (CT): 객체가 가려지거나 흐릿할 수 있으므로, 이전 프레임의 다운샘플링된 특징 맵을 사용하여 시간적 컨텍스트 정보를 제공합니다.
  • 이 모듈은 검출기에 외관 정보를 보강하여 전체 이미지에서 정밀한 검출을 가능하게 합니다.

• Identity Embedding 및 ReID Loss:

  • 학습 가능한 Query 와 해당 RoI 특징을 결합하여 인스턴스별 Identity Embedding 을 생성합니다.
  • **대조적 ReID 손실 (Contrastive ReID Loss)**을 사용하여 프레임 간 객체 매칭 능력을 학습합니다.

• 통합 온라인 추론 (Unified Online Tracking):

  • 메모리 뱅크 (Memory Bank): 각 궤적에 대해 과거 Identity Embedding 을 저장하여 장기적인 매칭을 지원합니다.
  • 칼만 필터 (Kalman Filter): 객체의 운동 모델을 예측하여 위치 정보를 보정합니다.
  • 할당 (Assignment): 검출된 박스와 기존 궤적 간의 공간적 (IoU) 및 외관적 (Embedding Similarity) 유사도를 기반으로 Hungarian 알고리즘을 사용하여 매칭합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제안: 추적과 검출이 상호 보완적으로 작동하는 'Tracking-with-detection' 패러다임을 제안하여, 기존 두 가지 추적 방식의 장점을 통합했습니다.
2. 범용 통합 모델 (OmniTracker): SOT, VOS, MOT, MOTS, VIS 등 5 가지 다른 추적 태스크를 단일 모델, 단일 가중치, 단일 파이프라인으로 해결하는 최초의 범용 모델을 제시했습니다.
3. RFE 모듈 개발: 추적 정보를 검출기의 특징 추출 과정에 직접 통합하여, 가려짐이나 빠른 이동 상황에서도 검출 성능을 향상시키는 RFE 모듈을 설계했습니다.
4. 효율성 및 성능: 별도의 태스크별 모델이 필요 없어 파라미터 중복을 제거하고, 다양한 벤치마크에서 태스크별 전용 모델 및 기존 통합 모델보다 우수한 성능을 달성했습니다.

4. 실험 결과 (Results)

저자는 7 개의 주요 벤치마크 (LaSOT, TrackingNet, DAVIS16-17, MOT17, MOTS20, YTVIS19) 에서 광범위한 실험을 수행했습니다.

• Single Object Tracking (SOT): LaSOT 과 TrackingNet 에서 기존 SOT 전용 모델 (OSTrack, ARTrack 등) 및 통합 모델 (Unicorn, UNINEXT) 과 비교하여 경쟁력 있거나 더 나은 성능 (Pnorm, Suc 등) 을 기록했습니다.
• Video Object Segmentation (VOS): DAVIS 2016/17 에서 J&F 점수가 Unicorn-L 보다 각각 1.1%, 1.8% 향상되었습니다.
• Multiple Object Tracking (MOT): MOT17 에서 MOTA 79.1%, IDF1 75.6%를 달성하여 Unicorn-L 보다 각각 1.9%, 0.1% 개선된 결과를 보였습니다.
• Multiple Object Tracking and Segmentation (MOTS): MOTS20 에서 sMOTSA 67.5%를 기록하여 PointTrackV2 와 Unicorn-L 을 크게 앞섰습니다.
• Video Instance Segmentation (VIS): YTVIS 2019 에서 mAP 63.9%를 기록하여, VIS 전용 모델 및 UNINEXT-L-noObjPre 보다 우수한 성능을 보였습니다.
• 효율성: Joint Training 을 통해 추론 속도 (FPS) 가 Unicorn 보다 2 배 이상 빠르며 (Swin-Tiny 기준 41.7 vs 20.9), 단일 모델로 모든 태스크를 처리합니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: "추적을 위한 검출" 또는 "검출을 위한 추적"이라는 이분법적 사고를 넘어, 두 과정이 시너지를 내는 통합적 접근의 가능성을 입증했습니다.
• 실용성: 다양한 응용 분야 (자율 주행, 증강 현실, 상호작용 시스템 등) 에서 특정 태스크에 맞춰 모델을 일일이 설계하고 훈련할 필요 없이, 하나의 모델로 유연하게 대응할 수 있어 시스템 복잡도와 비용을 크게 절감합니다.
• 미래 지향성: 이 연구는 객체 추적 분야의 통합 모델 개발에 중요한 이정표가 되었으며, 향후 대규모 멀티모달 모델 (LMM) 이나 SAM(Segment Anything Model) 과의 결합을 통해 더 복잡한 환경에서의 추적 성능을 확장할 수 있는 기반을 마련했습니다.

결론적으로, OmniTracker 는 단일 아키텍처로 모든 시각적 객체 추적 태스크를 해결할 수 있음을 증명하며, 효율성과 성능을 동시에 잡은 획기적인 솔루션을 제시했습니다.