기술 요약: 에지 인식형 열화상 적외선 UAV 군집 추적

문제 정의

열화상 적외선(TIR) 이미징은 시각적으로 저하된 환경(야간 또는 악천기 등)에서 RGB 카메라가 실패하는 상황에서 무인 항공기(UAV) 군집 운용에 매우 중요합니다. 그러나 자원이 제한된 에지 디바이스에서 초소형 UAV를 실시간으로 다중 객체 추적(MOT)하는 것은 상당한 도전 과제입니다. 여기에는 제한된 외관 단서, 빈번한 폐쇄(occlusion), 급격한 기동, 그리고 열 센서의 지터(jitter) 문제가 포함됩니다.

Anti-UAV 챌린지와 같은 벤치마크에 의해 주도되어 높은 정확도를 달-성한 기존 방법들이 존재하지만, 이들은 실시간 에지 배포에 필요한 계산 제약 조건을 간과하는 경우가 많습니다. 효율성 덕분에 널리 사용되는 표준 칼만 필터(KF)는 등속도 가정을 기반으로 하는데, 이는 매우 역동적인 UAV의 움직임과 센서 노이즈 하에서는 종종 실패합니다. 반대로, 더 정교한 비선형 추정기들은 견고성을 개선하지만 과도한 계산 비용을 초래합니다. 따라서 추적의 견고성과 에지 배포에 필요한 효율성 사이의 균형을 효과적으로 맞추는 솔루션이 부족한 실정입니다.

방법론

저자들은 **적응형 운동학적 칼만 필터(Adaptive Kinematic Kalman Filter, AKKF)**를 중심으로 하는 에지 인식형 온라인 추적 파이프라인을 제안합니다. 이 접근 방식은 표준 선형 KF에 상태 의존적 운동학 모델링을 결ert하여 동적인 움직임을 처리하면서도 실시간 효율성을 유지하도록 보강합니다. 이 파이프라인은 세 가지 핵심 구성 요소로 통합됩니다:

1. 적응형 운동학적 칼만 필터 (AKKF)

AKKF는 표준 KF의 상태 전이($F_k$) 및 측정($R_k$) 행렬을 상태 의존적으로 수정하여, TIR UAV 추적의 특정 실패 모드에 대응합니다:

• 영역 적응형 운동 감쇠 (Area-Adaptive Motion Damping, AAMD): 장기간의 폐쇄 상황에서 궤적 드리프트를 방지하기 위해, 필터는 타겟의 바운딩 박스 영역에 따라 위치 속도를 동적으로 감쇠시킵니다. 공기역학 모델에서 영감을 얻은 이 방식은 타겟이 작거나 폐쇄되었을 때 속도 유지를 줄여, 오래된 속도 추정치가 전파되는 것을 방지합니다.
• 원근 인식 속도 제동 (Perspective-Aware Velocity Braking, PAVB): UAV가 카메라에서 멀어질 때 발생하는 스케일 붕괴(음의 스케일 속도 발생)를 방지하기 위해, 필터는 현재 타겟 스케일에 따라 스케일 속도를 동적으로 억제합니다. 이는 탐지가 일시적으로 손실되더라도 바운딩 박스가 0으로 수축하는 것을 방지합니다.
• 동적 측정 노이즈 추정 (Dynamic Measurement Noise Estimation, DMNE): TIR 클러터가 기하학적으로 일관되지 않은 탐지를 생성할 수 있음을 인식하여, 필터는 탐지 일관성에 따라 측정 불확실성을 조정합니다. 측정된 종횡비와 예측된 종횡비 사이의 편차를 분석함으로써, 시스템은 신뢰할 수 없는 탐지에 대해 측정 공분산을 높여 운동 예측이 업데이트 단계에서 지배적으로 작용하게 합니다.

2. 과도적 가양성 억제 (Transient False Positive Suppression, TFPS)

표준 추적-탐지(tracking-by-detection) 파이프라인은 종종 시간적 확정 전에도 트랙렛(tracklet)을 출력하여, 한 프레임의 가양성이 결과에 오염을 일으킬 수 있습니다. 이는 특히 열 클러터가 존재하는 TIR 이미지에서 문제가 됩니다. 제안된 파이프라인은 시간적 트랙 확정을 복구하여, 과도적인 가양성을 억제하기 위해 확정된 트랙렛만을 출력합니다.

3. 운동학 기반 예측 코스팅 (Kinematics-Guided Predictive Coasting)

센서 지터, 모션 블러 또는 폐쇄로 인한 일시적인 관측 공백 동안 궤적의 연속성을 유지하기 위해, 파이프라인은 예측 코스팅 전략을 채택합니다. 유효한 탐지가 프레임과 연결되지 않을 때, 측정 업데이트를 건너뛰고 운동학 모델을 사용하여 상태를 직접 전파합니다. 실험 결과, 단일 프레임의 코스팅이 최적의 성능을 내는 것으로 나타났습니다.

주요 기여

1. 적응형 운동학적 칼만 필터: 상태 의전적 운동 감쇠, 속도 제약 및 측정 불확실성 추정을 통합하여 실시간 효율성을 희생하지 않으면서도 견고한 추적을 가능하게 하는 표준 KF의 새로운 확장형입니다.
2. 에지 인식형 온라인 추적 파이프라인: AKKF를 TFPS 및 예측 코스팅과 결합하여 TIR UAV 추적의 과제에 특화된 통합 시스템을 제공합니다.
3. BSB 벤치마크를 통한 평가: 추적 성능(HOTA)과 계산 효율성(FPS)을 공동으로 평가할 수 있는 플랫폼인 Beyond Strong Baseline (BSB) 벤치마크를 통해 광범에한 실험을 수행했습니다.

실험 결과

시스템은 다양한 해상도와 타겟 크기를 포함하는 다양한 TIR UAV 시퀀스로 구성된 BSB 벤치마크를 사용하여 평가되었습니다.

• 성능 대 효율성: 파이프라인은 다양한 탐지기(YOLOv12, YOLO26, RF-DETR) 및 설정으로 테스트되었습니다. 1280 해상도의 RF-DETR Nano가 가장 높은 HOTA(0.8437)를 달성했지만, 본 연구는 정확도와 처리량 사이의 유리한 절충안을 제공하는 "에지 인식 후보"(예: 640 해상도의 RF-DETR Nano, YOLO26n 640)를 강조합니다.
• 절제 연구 (Ablation Study): 전체 AKKF 구성은 베이스라인 대비 모든 추적 지표를 개선하는 동시에 프레임 레이트를 132.03 FPS에서 94.92 FPS로 감소시켰으며, 이는 추가된 운동학 모델링이 상당한 견고성 이득을 위해 관리 가능한 수준의 계산 비용을 수반함을 입증합니다.
• 탐지-추적 역설 (Detection-Tracking Paradox): 결과는 높은 탐지 정확도가 항상 더 나은 추적 성능으로 이어지지는 않는다는 관찰을 뒷받침하며, 이는 특히 시간적 모델링이 중요한 초소형 객체에서 두드러집니다.
• 해상도 민감도: 초소형 UAV 타겟의 경우, 입력 해상도를 높이는 것이 성능을 일관되게 향상시켰으며, 이는 추가적인 해상도 감소가 추적 품질을 심각하게 저하시킬 수 있음을 시사합니다.

의의 및 주장

본 논문은 정확도와 계산 효율성 사이의 절충안을 명시적으로 다룸으로써 에지 인식형 UAV 추적을 위한 출발점을 제공한다고 주장합니다. 제안된 파이프라인은 계산 비용이 많이 드는 비선형 추정기에 의존하지 않고도 표준 KF의 경직된 가정을 넘어설 수 있음을 보여줍니다.

저자들은 본 연구가 특히 외관 단서가 제한된 시나리오에서 향후 실시간 배포를 위한 통찰력을 제공한다는 점을 강조합니다. 저자들은 본 방법이 궤적의 연속성과 도전적인 TIR 조건 하에서의 견고성을 개선하지만, 향후 연구는 자원이 제한된 환경에서 이러한 시스템의 잠재력을 완전히 실현하기 위해 계산 최적화(예: 모델 프루닝) 및 전용 에지 하드웨어에서의 검증에 집중해야 한다고 겸허히 결론짓습니다.