Architecture and evaluation protocol for transformer-based visual object tracking in UAV applications

이 논문은 UAV 환경의 동적 제약과 제한된 온보드 자원을 고려하여 트랜스포머 기반 추적기와 확장 칼만 필터를 결합한 모듈형 비동기 추적 아키텍처 (MATA) 와 임베디드 시스템에 적합한 새로운 평가 프로토콜 및 NT2F 지표를 제안하고, 이를 통해 실시간 성능과 견고성을 입증했습니다.

핵심

🚁 1. 문제: "흔들리는 카메라와 깜빡이는 물체"

드론이 하늘을 날면서 카메라로 특정 물체 (예: 자동차나 사람) 를 따라가려 할 때 겪는 문제는 마치 어지러운 기차 안에서 스마트폰으로 친구를 찍으려는 상황과 비슷합니다.

1. 기차의 흔들림 (드론의 움직임): 드론이 바람에 흔들리거나 급격히 방향을 틀면, 카메라도 함께 움직입니다. 그래서 화면 속 물체가 실제로 움직인 게 아니라, 카메라가 움직여서 움직이는 것처럼 보입니다.
2. 시야 가림 (가림막): 나무나 건물이 지나가며 물체가 잠시 가려지면, 기존 추적기는 "어디로 갔지?" 하고 길을 잃어버립니다.
3. 약한 두뇌 (제한된 성능): 드론은 배터리와 무게 제한이 있어 무거운 컴퓨터를 달 수 없습니다. 하지만 최신 AI 는 무겁고 느려서 실시간으로 따라가기 힘듭니다.

기존의 추적 기술들은 이 세 가지 문제를 동시에 해결하기가 매우 어렵습니다. 정확하느라 느리거나, 빠르느라 자주 길을 잃는 식이죠.

---

🛠️ 2. 해결책: "MATA" (모듈형 비동기 추적 아키텍처)

저자들은 이 문제를 해결하기 위해 MATA라는 새로운 시스템을 만들었습니다. 이 시스템은 마치 한 팀의 전문가들이 각자 맡은 일을 빠르게 처리하는 구조와 같습니다.

① 카메라 흔들림 보정 (Ego-motion Compensation)

• 비유: 기차 창밖을 보며 친구를 찍을 때, "아, 내가 흔들리고 있구나"라고 먼저 인지하는 것입니다.
• 원리: 드론의 움직임 (카메라의 흔들림) 을 먼저 계산해서 제거해 줍니다. 그래야 물체 자체의 움직임을 정확히 볼 수 있습니다.

② AI 추적기 (Transformer Tracker)

• 비유: 물체를 잘 찾아내는 '명탐정'입니다.
• 원리: 최신 AI 기술을 써서 물체의 모양을 잘 기억합니다. 하지만 이 명탐정은 생각할 시간이 좀 걸립니다 (무겁습니다).

③ 예측 필터 (Extended Kalman Filter, EKF)

• 비유: 명탐정이 생각할 동안, 물체의 움직임을 **예측해서 미리 따라가는 '예측가'**입니다.
• 원리: 명탐정이 "여기 있다!"라고 말하기 전까지, 물체가 어느 방향으로 얼마나 움직였을지 물리 법칙을 이용해 계산합니다. 물체가 가려져도 (나무 뒤에 숨어도) 예측가가 "아, 저기서 나올 거야"라고 계속 따라가게 해줍니다.

✨ 핵심 아이디어:
이 세 명 (보정, 명탐정, 예측가) 이 서로 다른 속도로 일합니다.

• 보정과 예측가는 매우 빠릅니다 (30 회/초).
• 명탐정은 조금 느립니다 (10 회/초).
• 하지만 명탐정이 생각할 동안 예측가가 일을 대신해서, 전체 시스템은 끊김 없이 빠르게 움직입니다.

---

📏 3. 새로운 평가 방법: "실전 훈련" (EOP)

기존에 AI 를 평가할 때는 "모든 프레임을 다 처리한다"는 가정 하에 테스트했습니다. 하지만 드론처럼 제한된 장비를 쓸 때는 실제 처리 속도가 중요합니다.

• 기존 방식 (LTP): 모든 문제를 다 풀고 점수를 매기는 시험. (실제 드론 상황과 다름)
• 새로운 방식 (EOP): 실제 드론처럼 느리게 처리하더라도, 얼마나 오래 물체를 놓치지 않고 따라가는지를 평가합니다.
  • 마치 "명탐정이 답을 찾기 전에 예측가가 얼마나 오래 버틸 수 있는지"를 보는 것입니다.
  • 이 방식은 **NT2F (실패까지의 정규화된 시간)**라는 새로운 점수 체계를 도입했습니다. "물체를 처음부터 끝까지 얼마나 오래 붙잡고 있었는가?"를 측정합니다.

---

🧪 4. 실험 결과: "가상의 장애물"을 통과하다

저자들은 드론 데이터에 **인공적인 가림막 (synthetic occlusions)**을 추가해서 테스트했습니다. 마치 물체가 갑자기 나무 뒤에 숨거나, 다른 물체가 지나가는 상황을 만들어낸 것입니다.

• 결과: MATA 시스템을 적용한 추적기는 가림막이 생겼을 때도 기존 방식보다 훨씬 오래 물체를 따라갔습니다.
• 실제 드론 테스트: 실제 드론 (Nvidia Jetson) 에 탑재했을 때도, 새로운 평가 방식 (EOP) 이 실제 성능을 더 정확히 예측해 주었습니다.

---

💡 요약: 이 연구가 왜 중요한가?

1. 팀워크의 승리: 느린 AI 와 빠른 예측 알고리즘을 섞어서, 빠르면서도 정확한 드론 추적 시스템을 만들었습니다.
2. 실전 중심 평가: 이론적으로만 좋은 게 아니라, 실제 드론처럼 느리고 제한된 환경에서도 잘 작동하는지 확인하는 새로운 평가 기준을 만들었습니다.
3. 미래의 드론: 이제 드론은 물체가 가려지거나 빠르게 움직여도, 길을 잃지 않고 임무를 계속 수행할 수 있게 되었습니다.

한 줄 평:

"흔들리는 드론 위에서 물체를 놓치지 않게 하기 위해, 빠른 예측가와 정확한 명탐정을 팀으로 꾸려, 실전 훈련을 시킨 결과입니다."

기술 요약

이 논문은 무인 항공기 (UAV) 환경에서 시각적 객체 추적 (Visual Object Tracking, VOT) 의 한계를 극복하고, 제한된 온보드 자원에서 실시간으로 작동할 수 있는 새로운 아키텍처와 평가 프로토콜을 제안합니다. 주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

UAV 기반 객체 추적은 다음과 같은 고유한 도전 과제로 인해 어렵습니다.

• 플랫폼 동역학 및 카메라 운동: UAV 의 빠른 이동과 카메라의 흔들림으로 인해 객체의 실제 운동과 카메라의 운동 (Ego-motion) 을 구분하기 어렵습니다.
• 가려짐 (Occlusion): 식생, 건물 등 환경적 장애물에 의한 빈번한 가려짐 발생.
• 제한된 자원 (SWaP): 크기, 무게, 전력 (Size, Weight, and Power) 제약으로 인해 고성능 딥러닝 모델을 실시간으로 실행하기 어렵습니다.
• 기존 방법의 한계:
  • 상관 필터 (Correlation Filters): 빠르지만 가려짐이나 큰 변형에 약함.
  • 시아미즈 네트워크 (Siamese Networks): 정확도는 높으나 장기간 가려짐이나 급격한 스케일 변화에 취약.
  • 트랜스포머 기반 모델 (Transformers): 전역 컨텍스트를 모델링하여 정확도가 높지만, 계산량이 많아 임베디드 환경에서 실시간 처리가 어렵습니다.
• 평가 프로토콜의 부재: 기존 평가 (LTP 등) 는 단일 추적기가 모든 프레임을 처리한다고 가정하여, 실제 임베디드 시스템의 비동기적 모듈 처리와 계산 지연을 반영하지 못합니다.

2. 방법론 (Methodology)

2.1 모듈형 비동기 추적 아키텍처 (MATA)

저자들은 Modular Asynchronous Tracking Architecture (MATA) 를 제안합니다. 이는 트랜스포머 기반 추적기와 확장 칼만 필터 (EKF) 를 결합하여 정확도와 실시간성을 모두 확보하는 구조입니다.

• 카메라 운동 보상 (Ego-motion Compensation):
  • UAV 의 카메라 운동과 객체의 실제 운동을 분리하기 위해 희소 광학 흐름 (Sparse Optical Flow, Lucas-Kanade) 을 사용하여 프레임 간 호모그래피 (Homography) 를 추정합니다.
  • 이 과정은 저비용 연산으로 수행되며, 추정된 호모그래피의 공분산을 신뢰도 점수로 활용합니다.
• 시각적 추적 블록 (Visual Tracking Block):
  • MixFormerV2 와 같은 트랜스포머 기반 VOT 모델을 사용합니다.
  • 설명 가능한 점수화 메커니즘: 기존 모델의 불확실한 신뢰도 점수 대신, 특징 맵의 이산 공간 위치에서 생성된 확률 질량 함수 (PMF) 를 기반으로 한 신뢰도 점수를 도입하여 바운딩 박스 위치의 불확실성을 정량화합니다.
• 객체 궤적 추정 블록 (Object Trajectory Estimation):
  • 확장 칼만 필터 (EKF): 카메라 운동 보상과 객체 추적기의 출력을 융합합니다.
  • 동역학 모델: 객체의 고유 운동은 '등속도 모델'로, 카메라 운동은 호모그래피 변환으로 모델링합니다.
  • 비동기 처리: 추적기 (예: 10Hz) 와 필터/운동 보상 (예: 30Hz) 이 서로 다른 주파수로 작동하며, 필터는 추적기의 출력이 없을 때도 예측을 통해 객체 위치를 유지합니다.
  • 측정 거부 메커니즘: 낮은 신뢰도 점수를 가진 측정은 필터에 입력되지 않도록 선별하여 오차를 방지합니다.

2.2 임베디드 지향 평가 프로토콜 (EOP)

• 비동기 모듈 시뮬레이션: 실제 온보드 처리 체인을 모방하여, 각 모듈이 서로 다른 주파수로 작동하고 처리 지연 (Latency) 이 발생하는 환경을 시뮬레이션합니다.
• 기존 프로토콜과의 차이:
  • LTP (Long-term Protocol): 모든 프레임을 처리한다고 가정 (비현실적).
  • DSP (Down-sampling Protocol): 입력 프레임을 줄이지만 처리 지연은 고려하지 않음.
  • EOP (Embedded Oriented Protocol): 프레임 드롭과 처리 지연을 모두 고려하여, 실제 임베디드 하드웨어에서의 성능을 더 정확하게 예측합니다.

2.3 새로운 평가 지표: NT2F (Normalized Time to Failure)

• 정의: 추적기가 외부 도움 없이 첫 번째 실패 (Failure) 가 발생할 때까지 유지할 수 있는 시간의 비율을 정량화합니다.
• 목적: 기존 정확도 지표 (Success Rate 등) 가 놓치는 '추적 지속 시간'과 '회복 능력'을 평가하여, 가려짐 상황에서 얼마나 오래 추적할 수 있는지 측정합니다.

2.4 데이터 증강 (Synthetic Occlusions)

• UAV123 데이터셋에 인공적인 가려짐 (Synthetic Occlusions) 을 추가한 UAV123+occ 데이터셋을 생성했습니다.
• 다양한 모양 (원, 사각형, 다각형 등) 과 크기의 가려짐 객체를 객체 궤적을 따라 부드럽게 이동시키며 생성하여, 추적기의 가려짐 대응 능력을 체계적으로 평가합니다.

3. 주요 기여 (Key Contributions)

1. MATA 아키텍처: 트랜스포머의 정확도와 EKF 의 실시간 추정 능력을 결합하여, 가려짐 및 급격한 운동 상황에서 강건한 추적을 가능하게 함.
2. 임베디드 지향 평가 프로토콜 (EOP): 하드웨어와 무관하게 비동기 모듈 처리와 지연을 시뮬레이션하여, 개발 단계에서 실제 배포 성능을 예측할 수 있는 도구 제공.
3. 새로운 지표 및 도구: 추적 지속 시간을 측정하는 NT2F 지표와, 다양한 가려짐 시나리오를 생성하는 증강 도구를 제안하여 추론 시스템의 강건성을 체계적으로 평가.

4. 실험 결과 (Results)

• 데이터셋: UAV123, VTUAV, 그리고 증강된 UAV123+occ 데이터셋에서 실험 수행.
• 성능 향상:
  • MATA 는 OSTrack 및 MixFormerV2 기반 모델 모두에서 NT2F(추적 지속 시간) 를 크게 향상시켰습니다. 특히 가려짐 (Occlusion) 과 고동역학 (High dynamic) 상황에서 두드러진 개선을 보였습니다.
  • 성공률 (Success Rate, SR) 은 유지하거나 소폭 향상되었습니다.
• 평가 프로토콜 비교:
  • EOP 프로토콜은 실제 임베디드 하드웨어 (Nvidia Jetson AGX Orin) 에서 측정된 성능과 더 높은 상관관계를 보였습니다. 반면, 기존 LTP 프로토콜은 실제 성능을 과대평가하는 경향이 있었습니다.
  • MATA 는 저주파수 (예: 10Hz) 환경에서 성능 향상이 더 두드러졌습니다.
• 임베디드 배포: ROS 2 프레임워크를 통해 Jetson AGX Orin 에서 구현되었으며, MATA 가 실제 하드웨어 제약 하에서도 유효함을 확인했습니다. (단, 통신 지연 등으로 인해 시뮬레이션 (EOP) 과 실제 임베디드 성능 간에는 여전히 약간의 격차가 존재함).

5. 의의 및 결론 (Significance)

이 논문은 UAV 환경에서의 객체 추적 문제를 해결하기 위해 알고리즘적 정확도와 시스템적 실시간성을 동시에 고려한 통합 접근법을 제시했습니다.

• 실용성: 제한된 자원을 가진 UAV 에서도 고도화된 트랜스포머 모델을 활용할 수 있는 아키텍처를 제공했습니다.
• 평가의 혁신: 기존 벤치마크가 간과했던 '처리 지연'과 '비동기성'을 고려한 평가 프로토콜 (EOP) 을 도입함으로써, 연구 결과가 실제 임베디드 시스템에 적용될 때의 성능을 더 정확하게 예측할 수 있게 했습니다.
• 향후 과제: 통신 지연을 명시적으로 모델링하고, 신뢰도 점수의 해석 가능성을 높이는 방향으로 연구를 확장할 계획입니다.

결론적으로, MATA 와 EOP 프로토콜은 UAV 기반 시각 추적 시스템의 설계, 평가, 배포 과정에 있어 중요한 이정표가 될 것으로 기대됩니다.