기술 요약: 효율적 비대칭 UAV 추적을 위한 이중 분기 증류 트랜스포머 (EATrack)

1. 문제 제기

무인 항공기 (UAV) 추적은 계산 효율성과 추적 강건성 사이의 중요한 절충 문제에 직면해 있습니다. 비전 트랜스포머 (ViT) 는 합성곱 신경망 (CNN) 과 판별 상관 필터 (DCF) 에 비해 우수한 전역 모델링 능력을 제공하지만, 높은 계산 비용으로 인해 리소스가 제한된 UAV 온보드 플랫폼에서는 실용적이지 않습니다.

기존의 경량화 접근법은 네트워크 아키텍처를 단순화 (예: 레이어 가지치기, 토큰 드롭, 적응형 계산) 함으로써 이를 해결하려 시도합니다. 그러나 해당 논문은 이러한 구조적 단순화가 종종 대상 표현의 판별 능력을 약화시켜, 빠른 운동, 가림, 외관 변화가 포함된 복잡한 시나리오에서 성능 저하를 초래한다고 주장합니다. furthermore, 추적 분야의 기존 지식 증류 방법은 전역 수준에서 작동하여 공간적 사전 지식을 명시적으로 활용하거나 대상 영역에 초점을 맞춘 감독을 제공하지 못해, 학생 모델이 대상에 집중을 잃거나 국소화 성능이 저하되는 결과를 초래할 수 있습니다.

2. 방법론

저자들은 교사 안내형 이중 분기 증류 전략을 중심으로 한 효율적이고 비대칭적인 UAV 추적 프레임워크인 EATrack을 제안합니다. 핵심 철학은 추론 시 추가적인 계산 비용을 발생시키지 않으면서, 전체 규모의 '교사' ViT 의 풍부한 특징 표현과 정밀한 국소화 능력을 경량 '학생' ViT 로 학습 중에 전이하는 것입니다.

2.1. 아키텍처

• 교사 모델: 지식의 원천으로 작용하는 전체 규모의 비전 트랜스포머 (12 레이어).
• 학생 모델: 실시간 추론을 위해 설계된 경량 비대칭 ViT(8 레이어). 첫 번째 단계 (Stage 1) 에서 템플릿과 검색 프레임을 독립적으로 처리한 후, 두 번째 단계 (Stage 2) 에서 이를 융합합니다.
• 추론 파이프라인: 학생 모델은 독립적으로 작동합니다. 시간적 변화를 처리하기 위해 **타겟 스토어 (Target Store)**가 신뢰할 수 있는 대상 특징을 축적합니다. 주기적으로 이 스토어에서 대표적인 임베딩을 샘플링하여 템플릿을 업데이트함으로써, 최소한의 오버헤드로 시간적 적응을 가능하게 합니다.

2.2. 이중 분기 증류 전략

학습 과정은 학생 모델을 안내하기 위해 두 가지 상호 보완적인 증류 분기를 사용합니다:

1. 공간적으로 초점을 맞춘 특징 수준 증류:

   • 목표: 가지치기로 인해 약화된 특징 표현을 보완합니다.
   • 메커니즘: 정답 바운딩 박스에서 유도된 공간 가중치 마스크를 교사 및 학생 특징 모두에 적용합니다. 이는 증류 손실 (평균 제곱 오차) 이 배경 노이즈를 억제하면서 대상 영역에 집중하도록 강제합니다.
   • 효과: 학생이 강력하고 세밀한 대상 표현을 학습하는 능력을 향상시키고 배경 잡음에 대한 강건성을 개선합니다.

2. 예측 수준 증류:

   • 목표: 공간적 국소화 정확도를 향상시킵니다.
   • 메커니즘: 마스크된 Kullback–Leibler (KL) 발산 손실을 사용하여 학생과 교사의 신뢰도 분포를 특히 대상 영역 내에서 정렬합니다.
   • 효과: 학생이 교사의 정밀한 국소화 행동과 경계 일관성을 복제하도록 안내합니다.

2.3. 학습 및 손실 함수

총 학습 손실은 표준 추적 목표와 증류 항을 결합합니다:
$$L = L_{cls} + \lambda_1 L_1 + \lambda_2 L_{GIoU} + \lambda_3 L_{feat} + \lambda_4 L_{pred}$$
여기서 $L_{feat}$와 $L_{pred}$는 각각 특징 수준 및 예측 수준 증류 손실입니다. 중요한 점은 학습 후 교사 모델과 증류 손실이 폐기되며, 학생 모델은 추론 시 추가 계산을 수행하지 않는다는 것입니다.

3. 주요 기여

논문은 세 가지 주요 기여를 제시합니다:

1. 이중 분기 증류 프레임워크: 공간적으로 가중치가 부여된 특징 감독과 마스크된 예측 수준 정렬을 통해 대상 특정 지식을 선택적으로 전이하는 새로운 설계입니다. 이는 전역에만 국한된 증류의 한계를 극복하고 감독을 대상 영역 내에 집중시킵니다.
2. 세밀한 대상 인식 학습: 감독을 전경에 초점 맞춤으로써 외관 변화를 포착하도록 모델을 명시적으로 안내하는 전략입니다. 이는 추론 지연 시간을 증가시키지 않으면서 미묘하고 역동적인 변화에 대한 강건성을 향상시킵니다.
3. 비대칭 경량 프레임워크: 비대칭 백본과 시간적 향상 메커니즘 (타겟 스토어) 을 통합하여 추적 정확도와 계산 효율성 사이의 균형을 맞추는 프레임워크를 구축함으로써, 가지치기된 트랜스포머가 경쟁력 있는 정확도를 유지할 수 있게 합니다.

4. 실험 결과

저자들은 EATrack 을 다섯 가지 UAV 벤치마크 (DTB70, UAVDT, VisDrone2018, UAV123, UAV123@10fps) 에서 평가했습니다.

• 성능: EATrack-DeiT(DeiT-tiny 백본 사용) 는 다섯 가지 데이터셋 모두에서 최첨단 (SOTA) 결과를 달성하여 Aba-ViTrack 및 SGLATrack 과 같은 이전 경량 추적기를 능가했습니다. 예를 들어, UAV123 에서 **68.1%**의 성공률을 기록하여 이전 최고 기록을 상당한 차이로 능가했습니다.
• 효율성: 이 모델은 가속 도구 (예: TensorRT) 없이 임베디드 NVIDIA Jetson TX2 플랫폼에서 33.6 FPS로 실행되어 실시간 능력을 입증했습니다. 고사양 GPU(A100) 에서는 241.9 FPS에 도달합니다.
• 애블레이션 연구:
  • 증류: UAV123 에서 증류를 제거하면 정밀도가 1.4%, 성공률이 1.1% 감소했습니다. 특징 수준 및 예측 수준 분기 모두 상호 보완적인 것으로 나타났습니다.
  • 시간적 단서: 시간적 단서를 통합하면 동적 데이터셋에서 성능이 크게 향상되었습니다 (예: DTB70 에서 +3.2%, VisDrone 에서 +5.8%). 이는 복잡한 운동 시나리오에서 시간적 모델링의 가치를 확인시켜 줍니다.
  • 깊이 분석: 이 연구는 레이어 깊이와 효율성 사이의 최적 균형을 식별하여, 경량화 목표를 유지하면서 성능을 극대화하는 구성을 선택했습니다.

5. 중요성 및 주장

이 논문은 EATrack 이 UAV 추적에서 효율성과 정확성 사이의 간극을 효과적으로 메운다고 주장합니다. 교사 안내형 대상 인식 증류 전략을 활용함으로써, 이 방법은 추론 오버헤드 없이 구조적으로 가지치기된 트랜스포머가 더 큰 모델의 판별 및 국소화 능력을 유지할 수 있게 합니다.

저자들은 기존 증류 기반 추적기와 구별되는 그들의 접근 방식을 다음과 같이 강조합니다:

• 전역 안내를 넘어 세밀한 대상 인식 감독으로 이동.
• 표현의 품질과 국소화 정밀도를 동시에 해결하기 위해 특징 수준 및 예측 수준 안내를 결합.
• 초저비용으로 작동하는 시간적 적응 메커니즘을 통해 외관 변화에 대한 강건성 달성.

이 결과는 EATrack 이 높은 추적 정확도와 엄격한 계산 제약 조건이 모두 요구되는 실시간 항공 응용 분야에 실현 가능한 해결책임을 시사합니다.