넓은 광장에 수많은 요정(드론)들이 날아다니고 있습니다. 그런데 이 요정들은 너무 작아서 눈에 잘 띄지도 않고, 가끔 나무 뒤로 숨거나(가려짐), 다른 요정들끼리 뭉쳐 다니기도 합니다. 게다가 요정들이 워낙 빨라서, 잠깐 눈을 돌리면 어디로 갔는지 놓치기 일쑤죠.
기존의 탐정(기존 기술)들은 두 가지 문제에 부딪혔습니다.
"너무 멀리 있으면 요정이 점처럼 보여서 누군지 모르겠어!" (탐지 능력 부족)
"방금 지나간 요정이 저 요정인가? 아니면 새로 나타난 요정인가?" (추적 혼란)
🚀 해결책: GL-DT 탐정단의 3단계 전략
이 논문에서 제안한 GL-DT라는 탐정단은 아주 똑똑한 세 가지 도구를 사용합니다.
1. "망원경과 돋보기를 동시에!" (Global-Local 협력 탐지)
기존 탐정들은 넓은 광장을 한꺼번에 보거나, 아니면 아주 좁은 곳만 봤습니다. 하지만 GL-DT 탐정은 다릅니다.
망원경 모드 (Global): 먼저 넓은 광장을 훑으며 "어! 저기 뭔가 움직임이 있는데?" 하고 대략적인 위치를 파악합니다.
돋보기 모드 (Local): 움직임이 포착되면 즉시 그 부분만 돋보기로 확대해서 아주 자세히 관찰합니다. 요정이 아무리 작아도 확대해서 보기 때문에 놓칠 일이 거의 없죠.
2. "잔상과 움직임을 읽는 눈" (STFF 모듈)
요정이 너무 빨라서 사진 한 장으로는 정체를 알기 어렵습니다. 그래서 이 탐정은 **'연속 동작'**을 봅니다.
요정이 방금 어디에 있었고, 어떤 속도로 움직였는지 **'잔상(Motion)'**과 **'생김새(Appearance)'**를 동시에 분석합니다. 마치 영화의 프레임을 이어 붙여서 움직임을 예측하는 것과 같습니다. 덕분에 요정이 아주 잠깐 가려져도 "아, 저 속도라면 지금쯤 저기 있겠구나!"라고 정확히 맞춥니다.
3. "기억력 끝판왕 탐정" (JPTrack 알고리즘)
요정들이 서로 엉키거나 나무 뒤로 숨었을 때, 일반 탐정은 "어? 요정이 사라졌다!"라며 포기하거나 다른 요정과 이름을 바꿔버립니다(ID 스위치).
하지만 JPTrack 탐정은 **'기억력(PMR)'**이 엄청납니다. 요정이 잠시 사라져도 "이 요정은 아까 이런 속도로 움직였으니, 곧 여기서 나타날 거야"라고 확률적으로 계산해서 다시 나타나는 순간 **"찾았다! 너 아까 그 요정 맞지?"**라며 정확히 이름을 불러줍니다.
🏆 결론: 그래서 무엇이 좋아졌나요?
이 기술을 적용했더니 다음과 같은 놀라운 결과가 나왔습니다.
"절대 놓치지 않아요": 아주 작은 드론(픽셀이 거의 안 보일 정도)도 정확하게 찾아냅니다.
"헷름하지 않아요": 여러 대의 드론이 뒤섞여 날아다녀도, 각 드론의 번호표(ID)를 헷갈리지 않고 끝까지 잘 따라갑니다.
"눈보다 빨라요": 이 모든 복잡한 계산을 아주 빠르게 처리해서, 실시간으로 드론을 감시할 수 있습니다. (실제 장비에서도 끊김 없이 작동!)
한 줄 요약:
"넓게 보고(망원경), 자세히 보고(돋보기), 움직임의 잔상까지 기억하는(천재 탐정) 기술을 통해, 아주 작고 빠른 드론들을 실시간으로 완벽하게 추적하는 방법입니다."
[기술 요약] GL-DT: 글로벌-로컬 통합을 이용한 다중 UAV 탐지 및 추적
1. 문제 정의 (Problem Statement)
무인 항공기(UAV)의 급증으로 인해 군사 정찰, 환경 모니터링 및 공역 안전 확보를 위한 정밀한 UAV 탐지 및 추적 기술이 필수적입니다. 그러나 기존의 다중 객체 추적(MOT) 기술은 다음과 같은 한계에 직면해 있습니다:
탐지 난이도: UAV는 크기가 매우 작고(Small-scale), 구조가 단순하며 질감이 약해 복잡한 배경 속에서 식별하기 어렵습니다.
추적 불안정성: 고속 이동, 빈번한 폐쇄(Occlusion), 객체 간의 상호작용, 그리고 유사한 외형을 가진 다중 객체로 인해 ID 전환(ID Switch) 및 궤적 단절(Trajectory Fragmentation)이 빈번하게 발생합니다.
실시간성 vs 정확도: 복잡한 환경에서 정확도를 높이려 하면 계산량이 급증하여 실시간 성능이 저하되는 트레이드오프(Trade-off) 문제가 존재합니다.
2. 제안 방법론 (Methodology)
본 논문은 GL-DT (Global-Local Detection and Tracking) 프레임워크를 제안하며, 크게 세 가지 핵심 모듈로 구성됩니다.
A. 글로벌-로컬 협업 탐지 (Global-Local Collaborative Detection)
AM-YOLO (Global Detection): 기존 YOLO11 구조를 개선하여, 연속된 두 프레임(Ft,Ft−1)을 입력으로 받는 STFF(Spatio-Temporal Feature Fusion) 모듈을 도입했습니다.
STFF 모듈: 'Motion-aware Attention'을 통해 외형(Appearance) 특징과 움직임(Motion) 특징을 추출하고, 게이트 정렬(Gated Alignment) 및 동적 특징 융합을 통해 시공간적 특징을 효과적으로 결합합니다.
LD (Local Detection): 글로벌 탐지 단계에서 확인된 객체의 위치를 기반으로 관심 영역(ROI)을 설정합니다. YOLO11s-P2 모델을 사용하여 ROI 내에서 미세한 탐지를 수행하며, 여러 ROI를 배치(Batch) 처리하여 효율성을 높였습니다.
적응형 스케줄링: 프레임 인덱스에 따라 글로벌 모드와 로컬 모드를 동적으로 전환하며, 객체 소실 시 글로벌 모드로 즉시 복귀하는 리셋 메커니즘을 갖추고 있습니다.
B. JPTrack 추적 알고리즘 (Tracking Algorithm) ByteTrack의 다단계 매칭 방식을 기반으로 두 가지 혁신적인 모듈을 추가했습니다.
JCMA (Joint Cost Matching Association): 단순 IoU 매칭의 한계를 극복하기 위해 IoU, 거리(Distance), 움직임 일관성(Motion Consistency), 기하학적 관계(Geometric Relation)를 결합한 복합 비용 행렬을 사용하여 정밀한 객체 연관을 수행합니다.
PMR (Probability-driven Memory Recovery): 객체가 일시적으로 가려지거나 탐지되지 않을 때, 가우시안 혼합 모델(GMM)을 사용하여 과거 궤적의 확률적 상태를 모델링함으로써 단기 폐쇄 후에도 궤적을 성공적으로 복구합니다.
3. 주요 기여 (Key Contributions)
글로벌-로컬 협업 프레임워크 설계: STFF 모듈을 통해 시공간 특징을 융합하고, 글로벌 탐지와 로컬 탐지를 적응적으로 전환하여 소형 UAV 탐지 성능을 극대화했습니다.
JPTrack 알고리즘 개발: JCMA와 PMR 모듈을 통해 ID 전환과 궤적 단절 문제를 획기적으로 줄여 추적의 연속성과 안정성을 확보했습니다.
FT 데이터셋 구축: 고정익 UAV를 대상으로 한 저해상도 소형 타겟 중심의 새로운 벤치마크 데이터셋(25,855 프레임)을 구축하여 연구에 기여했습니다.
4. 실험 결과 (Results)
실험은 MOT-FLY 및 자체 구축한 FT 데이터셋을 통해 검증되었습니다.
탐지 성능: AM-YOLO는 기존 YOLO 모델들(v8, v9, v10, v11)보다 높은 AUC 및 Precision-Recall 성능을 보였습니다. 특히 소형 객체 탐지 능력이 탁월했습니다.
추적 성능: SOTA(State-of-the-art) 알고리즘들(ByteTrack, BoT-SORT, MOTR 등)과 비교했을 때, IDSW(ID 전환 수)를 대폭 감소시켰으며, IDF1(ID 일관성) 및 MOTA(전체 정확도)에서 압도적인 우위를 점했습니다.
실시간성: TensorRT 최적화를 통해 PC 환경에서 124 FPS를 기록했으며, 임베디드 플랫폼인 NVIDIA Jetson Xavier NX에서도 25 FPS를 달성하여 실시간 운용이 가능함을 입증했습니다.
5. 의의 (Significance)
본 연구는 소형 UAV 탐지 및 추적에서 발생하는 고질적인 문제(작은 크기, 폐쇄, 유사 외형)를 시공간 특징 융합과 글로벌-로컬 계층적 탐지, 그리고 확률 기반 궤적 복구라는 통합적 접근법으로 해결했습니다. 이는 높은 정확도와 실시간성을 동시에 요구하는 실제 공중 감시 및 보안 시스템에 즉시 적용 가능한 실용적인 기술적 토대를 제공합니다.