기술 요약: 문맥 프롬프트 및 노이즈 학습을 통한 자기지도식 추적 강화 (PNTrack)

문제 제기

시각적 객체 추적은 전통적으로 완전 지도식 모델을 훈련시키기 위해 대규모 인간 주석 데이터셋 (예: LaSOT, TrackingNet) 에 의존해 왔습니다. 그러나 정밀한 주석에 대한 의존성은 이러한 모델의 확장성과 일반화 능력을 제한합니다. 자기지도식 추적이 레이블이 없는 비디오 데이터를 활용하기 위해 등장했지만, 기존 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 문맥 모델링 부재: 기존 자기지도식 추적기 (예: 주기적 일관성에 기반한 것들) 는 종종 명시적인 문맥 모델링이 부족하여 복잡한 시나리오에서 추적 과정을 안내하는 데 필요한 문맥 인식 단서를 학습하기 어렵습니다.
2. 비효율적인 쿼리 연관: 완전 지도식 방법에서 쿼리 연관 패러다임을 직접 자기지도식 설정으로 전이하는 것은 최적이지 않습니다. 기존 방법들은 종종 무작위로 초기화된 비의미적 쿼리에 의존하여 레이블이 없는 비디오 프레임에서 충분하고 신뢰할 수 있는 문맥 단서를 추출하지 못합니다. 이러한 한계는 특히 장기적이고 복잡한 추적 시나리오에서 추적기의 일반화 능력을 훼손합니다.

방법론: PNTrack

저자들은 레이블이 없는 비디오에서 강력한 추적 표현을 학습하도록 설계된 새로운 자기지도식 추적 프레임워크인 PNTrack을 제안합니다. 핵심 혁신은 '쉬운 것에서 어려운 것' 학습 원칙 하에 작동하는 이중 모드 문맥 연관 (DCA) 메커니즘입니다. 이 메커니즘은 다양한 훈련 단계 동안 전방 및 후방 추적 분기에 서로 다른 유형의 문맥 정보를 주입함으로써 학습 난이도를 적응적으로 조절합니다.

1. 이중 모드 문맥 연관 메커니즘

DCA 메커니즘은 대상 토큰과 배경 토큰을 모두 문맥 정보의 형태로 간주하여 두 가지 뚜렷한 단계에서 활용합니다:

• 1 단계: 가속 학습을 위한 문맥 프롬프트 (초기 훈련)

  • 목표: 모델이 아직 신뢰할 수 있는 패턴을 학습하지 못했을 때 추적 지식 습득을 용이하게 하고 학습 효율성을 향상시키는 것.
  • 메커니즘: 모델은 현재 비디오 프레임에서 **인스턴스 패치 토큰 (프롬프트)**을 추출합니다. 이는 백본 네트워크의 공간적 주의 맵 ($A$) 과 분류 응답 맵 ($C$) 을 분석하여 유도됩니다.
  • 과정: 각 토큰의 의미론적 내용을 평가하기 위해 교차 상관 연산 ($A \times C$) 이 수행됩니다. 가장 높은 신뢰도 점수를 가진 상위-$K$개 토큰이 인스턴스 토큰으로 샘플링됩니다. 이러한 토큰은 이후 프레임의 전방 및 후방 추적 분기로 프롬프트로서 전파되어 자기지도식 훈련을 안내합니다.
  • 근거: 이는 훈련 초기에 더 풍부하고 의미론적으로 유의미한 단서를 제공하여 모델의 최적화 안정화에 도움을 줍니다.

• 2 단계: 특징 교란을 위한 문맥 노이즈 (후기 훈련)

  • 목표: 모델을 더 복잡한 특징 공간에서 학습시킴으로써 모델의 견고성을 향상시키는 것.
  • 메커니즘: 훈련이 진행됨에 따라 모델은 대상 프롬프트 사용에서 배경 토큰 (노이즈) 주입으로 전환합니다.
  • 과정: 배경 토큰은 다른 시퀀스 (또는 현재 프레임의 배경) 에서 무작위로 샘플링되어 추적 분기에 주입됩니다. 이러한 토큰은 교차 주의를 통해 특징 공간을 교란시킵니다.
  • 근거: 후기 단계가 되면 추적기는 기본적인 인스턴스 지식을 습득합니다. 노이즈를 주입하면 까다로운 환경을 시뮬레이션하여 모델이 최적화 편향에 덜 취약하고 방해 요소와 대상을 더 잘 구분하는 견고한 표현을 학습하도록 장려합니다.

2. 훈련 및 추론

• 훈련: DCA 메커니즘은 훈련 단계 동안에만 적용됩니다. 모델은 일관성 제약 조건을 통해 훈련되는 전방 및 후방 추적 분기를 갖춘 시amese 또는 트랜스포머 기반 아키텍처 (실험에서는 ViT-Base) 를 활용합니다.
• 추론: 효율적인 추적 성능을 보장하기 위해 문맥 연관 메커니즘 (프롬프트 샘플링 및 노이즈 주입 모두) 은 추론 단계에서 생략됩니다.

3. 손실 함수

이 프레임워크는 표준 추적 손실 함수를 사용합니다:

• 분류: Focal Loss ($L_{cls}$).
• 회귀: GIoU Loss ($L_{GIoU}$) 와 L1 Loss 의 조합.
• 총 손실: $L = L_{cls} + \lambda_1 L_1 + \lambda_2 L_{GIoU}$.

주요 기여

1. 새로운 프레임워크: 자기지도식과 완전 지도식 추적 간의 성능 격차를 해소하도록 설계된 문맥 연관 자기지도식 추적 프레임워크 (PNTrack) 의 최초 제안.
2. 이중 모드 메커니즘: 프롬프트와 노이즈와 같은 다양한 문맥 단서를 추적 분기에 주입하는 점진적 DCA 메커니즘 도입. 이는 학습 난이도를 동적으로 조절함으로써 레이블이 없는 비디오에서 견고한 표현을 효과적으로 학습하도록 지원.
3. 최첨단 성능: 제한된 주석으로 GOT10K, LaSOT, LaSOText, TrackingNet, VOT2020, TNL2K, UAV123, OTB100 등 여덟 가지 추적 벤치마크에서 새로운 SOTA 결과를 달성.

실험 결과

광범위한 실험은 PNTrack 이 기존 자기지도식 및 완전 지도식 방법 모두보다 우수함을 보여줍니다:

• GOT10K: PNTrack-256 은 이전 최고 자기지도식 모델 (SSTrack-256) 보다 AO 1.9%, SR0.5 2.5%, SR0.75 3.6% 더 높은 성능을 기록했습니다.
• TrackingNet: PNTrack-384 은 자기지도식 분야에서 새로운 SOTA 를 달성하여 SSTrack-384 보다 AUC 1.4%, PNorm 1.1%, P 1.8% 더 높은 성능을 보였습니다.
• 장기 추적 (LaSOT/LaSOText): 이 방법은 완전 지도식 추적기와의 성능 격차를 크게 좁혔습니다. 예를 들어, LaSOT 에서 완전 지도식 방법 대비 AUC 격차는 8.2% 로 축소되었습니다.
• 견고성: 정성적 분석에 따르면 PNTrack 은 SSTrack 및 TADS 보다 복잡한 시나리오 (예: 가림, 빠른 운동, 방해 요소) 를 더 효과적으로 처리하여 더 정확한 바운딩 박스를 생성합니다.
• 애블레이션 연구:
  • DCA 메커니즘을 제거하거나 비의미적 쿼리를 사용하면 성능이 현저히 저하됩니다.
  • 문맥 노이즈를 제거하면 AUC 가 0.8% 감소하여 특징 교란의 가치를 확인시켜 줍니다.
  • 문맥 프롬프트를 제거하면 AUC 가 1.8% 감소하여 시공간 일관성에서의 역할을 강조합니다.
  • 노이즈 주입 시기는 결정적입니다; 너무 일찍 (epoch 0) 주입하면 성능이 저하되는 반면, epoch 75 까지 지연하여 주입하면 최적의 결과를 얻습니다.

중요성 및 주장

본 논문은 PNTrack 이 이중 모드 메커니즘을 통해 문맥을 명시적으로 모델링함으로써 현재 자기지도식 추적기의 한계를 성공적으로 해결했다고 주장합니다. 의미론적 프롬프트를 활용하여 학습을 부트스트랩하고 문맥 노이즈로 견고성을 정제함으로써, 이 프레임워크는 추론 오버헤드를 발생시키지 않고 레이블이 없는 비디오에서 고품질 추적 표현을 추출할 수 있게 합니다.

저자들은 이 작업을 시각 추적에서 노동 집약적 주석에 대한 의존성을 줄이는 중요한 단계로 위치시킵니다. 그들은 이 방법이 인상적인 결과를 달성하지만, DCA 메커니즘의 다른 영역 (예: 반지도식 비디오 분할) 으로 일반화 가능성은 향후 과제로 남아 있는 열린 질문이라고 지적합니다. 본 연구는 모든 추적 과제를 해결한다고 주장하지는 않지만, 적응적 문맥 학습이 자기지도식 성능을 향상시키는 실현 가능한 경로임을 보여줍니다.