GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture

이 논문은 JEPA 아키텍처를 추적 모델 예측으로 확장하여 GOT-JEPA 프레임워크를 제안하고, 가시성 추정을 위한 OccuSolver 를 결합함으로써 가려짐과 같은 열악한 환경에서도 일반화 능력과 강건성을 크게 향상시킨 객체 추적 방법을 제시합니다.

핵심

이 논문은 **"GOT-JEPA"**라는 새로운 비디오 추적 기술을 소개합니다. 쉽게 말해, **"카메라가 움직이는 물체를 얼마나 똑똑하고 튼튼하게 따라갈 수 있을까?"**에 대한 해답을 제시한 연구입니다.

기존의 추적기들은 마치 **"어떤 특정 사물을 몇 번만 보고 외운 학생"**처럼, 훈련할 때 본 사물에는 잘 따라가지만, 처음 보는 사물이나 가려진 상황에서는 길을 잃기 쉽습니다. 반면, 이 논문에서 제안한 방법은 **"어떤 상황에서도 유연하게 적응하는 현명한 관찰자"**를 만드는 것입니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 핵심 아이디어: "가상 시뮬레이션"을 통한 훈련 (GOT-JEPA)

기존 방식은 깨끗한 영상만 보고 학습했습니다. 하지만 현실은 눈이 가리거나, 주변에 방해물이 많거나, 화질이 나쁩니다.

• 비유: "가상 현실 (VR) 훈련을 하는 스파이"
  • 선생님 (Teacher): 깨끗하고 완벽한 영상 (가상 현실이 아닌 실제 상황) 을 보고 "이 물체를 어떻게 따라가야 할지" 완벽한 계획을 세웁니다.
  • 학생 (Student): 같은 과거 정보만 가지고 있지만, 현재 영상에 의도적으로 찌그러짐, 가림, 노이즈 (방해물) 를 섞어서 봅니다.
  • 훈련 방식: 학생은 "선생님이 세운 완벽한 계획"을, 혼란스러운 상황에서도 똑같이 세울 수 있어야 합니다.
  • 결과: 학생은 방해물이 있거나 물체가 가려져도, "아, 이건 가려진 거구나, 그래도 저게 목표물이다!"라고 추론하는 능력을 기르게 됩니다. 이를 통해 어떤 상황에서도 흔들리지 않는 추적기가 됩니다.

2. 숨겨진 부분 찾기: "점 추적기"의 눈 (OccuSolver)

물체가 가려졌을 때, 기존 추적기는 "아, 물체가 사라졌나?"라고 전체를 통째로 판단합니다. 하지만 사람은 가려진 부분만 제외하고, 보이는 부분만 집중합니다.

• 비유: "수천 개의 작은 눈 (점) 을 가진 탐정"
  • 기존 추적기는 물체 전체를 하나의 박스 (상자) 로 봅니다. 상자의 절반이 가려지면 "상자 전체가 가려졌다"고 오해할 수 있습니다.
  • OccuSolver는 물체 위에 **수백 개의 작은 점 (점 추적기)**을 뿌립니다.
  • 스마트한 필터링: 이 점들 중 가려진 것은 "보이지 않음 (Invisible)"으로 표시하고, 보이는 것은 "보임 (Visible)"으로 표시합니다. 마치 "가려진 부분은 눈을 감고, 보이는 부분만 집중해서 보는" 것과 같습니다.
  • 상호 작용: 이 '보이는 점'들의 정보는 다시 추적기에게 돌아가서, "이 부분은 가려졌으니 무시하고 저 부분만 따라가자"는 더 정확한 지시를 내리게 합니다.

3. 전체적인 흐름: "팀워크의 승리"

이 두 기술이 만나면 다음과 같은 시너지가 발생합니다.

1. GOT-JEPA (훈련 단계): 혼란스러운 상황에서도 물체를 찾아내는 강력한 추론 능력을 기릅니다. (예: 비가 오거나, 다른 사람이 지나가도 물체를 놓치지 않음)
2. OccuSolver (실전 단계): 물체가 가려졌을 때, 어떤 부분이 가려졌는지, 어떤 부분이 보이는지를 미시적으로 파악합니다.
3. 결과: 이 두 가지가 결합되면, 추적기는 **"가려진 물체가 다시 나타날 때"**도 즉시 알아차리고, "주변에 비슷한 물체가 있어도 혼동하지 않는" 능력을 갖게 됩니다.

4. 왜 이것이 중요한가요?

• 기존의 한계: 기존 기술은 훈련 데이터에 있는 사물 (예: 특정 종류의 강아지) 에는 잘 작동하지만, 훈련하지 않은 사물 (예: 고양이) 이나 가려진 상황에서는 성능이 급격히 떨어집니다.
• 이 연구의 성과: 7 가지 주요 테스트에서 가장 높은 점수를 받았습니다. 특히 물체가 가려지거나 (Occlusion), 배경이 복잡하거나 (Clutter), 물체가 빠르게 움직일 때 (Fast Motion) 기존 기술들보다 훨씬 더 튼튼하고 정확하게 따라갑니다.

요약

이 논문은 **"비디오 추적기를 단순히 '물체를 찾는 기계'가 아니라, '상황을 이해하고 적응하는 지능형 시스템'으로 업그레이드"**했습니다.

• GOT-JEPA: "혼란스러운 세상에서도 목표물을 찾아내는 강력한 두뇌"를 훈련시킵니다.
• OccuSolver: "물체의 일부가 가려졌을 때, 어떤 부분이 보이는지 정확히 아는 눈"을 만들어줍니다.

이 기술은 자율주행차, 감시 카메라, 증강현실 (AR) 게임 등 실제 환경에서 예측 불가능한 상황이 발생하는 모든 곳에 적용될 수 있는 획기적인 발전입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

범용 객체 추적 (Generic Object Tracking, GOT) 은 첫 번째 프레임의 바운딩 박스만으로 임의의 객체를 추적하고 이후 프레임에서의 위치를 예측하는 작업입니다. 기존 추적기들은 다음과 같은 한계를 가지고 있습니다:

• 일반화 능력 부족: 대부분의 추적기는 훈련 데이터에 있는 특정 대상에 최적화되어 있어, 훈련 중 보지 못한 (Unseen) 대상이나 복잡한 환경에서 강건성이 떨어집니다.
• 가림 (Occlusion) 처리의 한계: 기존 방법들은 대부분 전체 객체나 장면 수준 (Scene/Box level) 에서 가림을 처리합니다. 이는 가려진 부분과 보이는 부분을 세밀하게 구분하지 못하며, 가림 패턴에 대한 상세한 모델링이 부족합니다.
• 신뢰도 점수의 부정확성: 기존 추적기는 외관 기반의 비가림 (Non-occlusion) 감지에 의존하여 신뢰도 점수를 산출하므로, 가림이 발생하면 신뢰도 추정이 불안정해집니다.

인간의 시각 시스템은 과거 정보와 현재 관측을 통합하고, 미세한 단위로 가림을 추론하며 대상과 환경 변화에 적응합니다. 본 논문은 이러한 인간 인지 능력을 모방하여 일반화 능력과 세밀한 가림 처리 능력을 동시에 향상시키는 새로운 프레임워크를 제안합니다.

---

2. 제안 방법론 (Methodology)

저자들은 GOT-JEPA와 OccuSolver라는 두 가지 핵심 구성 요소를 통해 문제를 해결합니다. 전체 아키텍처는 그림 2 와 같이 요약됩니다.

A. GOT-JEPA (모델 예측을 위한 사전 학습 프레임워크)

기존 JEPA(Joint-Embedding Predictive Architecture) 를 이미지 특징 예측에서 추적 모델 (Tracking Model) 예측으로 확장한 것입니다.

• 교사 - 학생 (Teacher-Student) 구조:
  • 교사 (t-Predictor): 정제된 (Clean) 현재 프레임과 동일한 역사적 정보 (과거 프레임 및 레이블) 를 입력받아 '의사 추적 모델 (Pseudo-tracking models)'을 생성합니다.
  • 학생 (s-Predictor): 동일한 역사적 정보와 손상된 (Corrupted) 현재 프레임 (가림, 방해 요소 등 포함) 을 입력받아 교사가 생성한 추적 모델을 예측하도록 학습합니다.
• 학습 목표:
  • 불변성 손실 (Invariant Loss): 학생이 손상된 입력에서도 교사의 모델과 일치하는 추적 모델을 생성하도록 유도하여, 가림 및 방해 요소에 강건한 표현을 학습합니다.
  • 공분산 손실 (Covariance Loss): 예측된 추적 모델의 중복 정보를 줄이고 다양한 패턴을 학습하도록 하여 일반화 능력을 향상시킵니다.
• 효과: 이 방식은 모델 예측기를 단순히 특정 대상에 맞추는 것이 아니라, 다양한 환경 변화에 적응할 수 있는 범용적인 모델 예측 능력을 습득하게 합니다.

B. OccuSolver (세밀한 가림 처리 및 가시성 추정)

GOT-JEPA 기반 추적기에 점 기반 추적기 (Point Tracker, CoTracker 기반) 를 통합하여 가림을 픽셀/포인트 단위로 처리합니다.

• 객체 인식 점 추적 (Object-Aware Point Tracking):
  • 기존 점 추적기는 객체 인식 능력이 부족하여 배경 점까지 추적할 수 있습니다. OccuSolver 는 GOT 추적기에서 생성된 객체 사전 정보 (Object Priors, 레이블) 를 활용하여 점 추적기를 조정합니다.
  • Prior Encoder와 Iterative Transformer를 통해 점의 좌표와 외관 특징을 정제하고, VisHead를 통해 각 점의 가시성 상태 (Visibility State) 를 추정합니다.
• 앙상블 네트워크 (Ensemble Network):
  • OccuSolver 가 생성한 희소 점 (Sparse points) 의 가시성 정보를 GOT 의 밀집 시각 특징 (Dense visual features) 과 결합합니다.
  • 이를 통해 가려진 영역과 보이는 영역을 명확히 구분하고, 더 정확한 추적 모델 생성을 위한 고품질 참조 레이블을 제공합니다.
• 상호 강화: 추적기는 OccuSolver 에 더 나은 객체 정보를 제공하고, OccuSolver 는 추적기에 더 정확한 가시성 정보를 제공하여 서로의 성능을 점진적으로 향상시킵니다.

---

3. 주요 기여 (Key Contributions)

1. GOT-JEPA 프레임워크 도입: JEPA 패러다임을 이미지 특징 예측에서 추적 모델 예측으로 확장했습니다. 손상된 입력에서 정제된 입력의 모델을 예측하도록 학습시켜, 훈련되지 않은 대상과 역동적인 환경에 대한 강력한 일반화 능력을 확보했습니다.
2. OccuSolver 제안: 고수준의 객체 의미론 (Semantic) 과 저수준의 기하학적 단서 (Geometric cues) 를 긴밀하게 결합하여 미세 단위의 (Fine-grained) 가림 추론을 가능하게 했습니다. 이를 통해 가림 상황에서도 객체의 가시성을 정밀하게 추정하고 추적 성능을 유지합니다.
3. 성능 입증: 7 개의 벤치마크 (AVisT, NfS, OTB-100, GOT-10k, LaSOT, TrackingNet, VOT2022) 에서 기존 최첨단 (SOTA) 추적기들보다 우수한 성능을 보였습니다. 특히 분포 외 (Out-of-Distribution) 데이터와 가림, 변형이 심한 환경에서 큰 개선을 이루었습니다.

---

4. 실험 결과 (Results)

• 벤치마크 성능:
  • AVisT (가시성 조건이 열악한 데이터): SUC 63.7% 로 PiVOT(62.2%), LoRAT(62.0%) 등을 상회하며 분포 외 일반화 능력을 입증했습니다.
  • GOT-10k: AO 79.6% 를 기록하여 LoRAT(77.5%) 보다 우수했습니다. (SAM 기반 SAMURAI 에는 미치지 못했으나, 나머지 데이터셋에서는 종합적으로 우세했습니다.)
  • LaSOT 및 TrackingNet: NPr(정규화 정밀도) 및 SUC(성공률) 모두에서 최상위권을 기록했습니다.
  • VOT2022: 강건성 (Robustness) 과 AUC 에서 1 위를 기록했습니다.
• 속성 분석 (Attribute Analysis):
  • 가림 (Occlusion), 변형 (Deformation), 배경 혼란 (Background Clutter) 등 다양한 난이도 속성에서 기존 방법들보다 일관되게 높은 점수를 기록했습니다.
  • 특히 AVisT 데이터셋에서 가림과 방해 요소 (Distractor) 처리 능력이 탁월함을 보였습니다.
• 애블레이션 연구 (Ablation Study):
  • GOT-JEPA 사전 학습과 OccuSolver 를 모두 적용했을 때 가장 큰 성능 향상을 보였습니다.
  • 불변성 손실 (Invariant Loss) 과 공분산 손실 (Covariance Loss) 의 조합이 모델의 강건성에 필수적임을 확인했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 객체 추적 분야에서 모델 예측 (Model Prediction) 과 가시성 추정 (Visibility Estimation) 을 통합한 새로운 패러다임을 제시합니다.

• 이론적 의의: JEPA 를 추상적인 모델 예측에 적용하여, 데이터 증강 (손상된 입력) 을 통해 모델의 적응 능력을 학습시키는 방식을 정립했습니다.
• 실용적 의의: OccuSolver 를 통해 기존 추적기가 간과했던 '어떤 부분이 가려졌는지'에 대한 세밀한 정보를 추적 과정에 통합함으로써, 장기 추적 및 복잡한 환경에서의 추적 실패를 획기적으로 줄였습니다.
• 미래 전망: 2D 심층 특징에 의존하는 기존 방식의 한계를 넘어, 3D 기하학적 단서나 추가 모달리티를 결합하여 배경 혼란과 극단적인 운동 상황을 더 잘 처리할 수 있는 방향을 제시했습니다.

요약하자면, GOT-JEPA는 강건한 모델 예측 능력을, OccuSolver는 정밀한 가림 처리 능력을 결합하여, 기존 추적기들이 겪던 일반화 부족과 가림 처리의 미흡함을 동시에 해결한 획기적인 연구입니다.