💻 computer science

EMA-Det: Hardware-Aware Edge Verification for Two-Stage UAV Detection

이 논문은 시스템 병목 현상을 극복하기 위해 mAP보다 재현율(recall)을 우선시하는 2단계 UAV 탐지용 하드웨어 인지형 조기 종료 영역 검증 네트워크인 EMA-Det을 소개하며, 이는 엣지 장치에서 우수한 성능을 달 achievement하고 열적 적외선(thermal-IR) 응용 분야를 위한 도메인 특화 학습의 필요성을 입증한다.

원저자: Enes Mert AYDIN, Osman TOKLUOGLU, Enver CAVUS

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Enes Mert AYDIN, Osman TOKLUOGLU, Enver CAVUS

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

도시와 국경 위의 하늘에는 작고, 느리며, 저공 비행하는 드론이라는 새로운 종류의 조용한 도전이 나타났습니다. 새와 크기가 거의 차이 나지 않는 이 무인 항공기들은 기존의 레이더와 카메라를 빠져나갈 수 있어 공항, 경기장, 그리고 주요 기반 시설에 위험을 초래할 수 있습니다. 이들에 맞서 방어하기 위해서는 찰나의 순간에 보고, 결정하고, 행동할 수 있는 시스템이 필요합니다. 하지만 이러한 방어 체계를 실행해야 하는 컴퓨터들은 대개 메모리와 처리 능력이 제한적인 소형 배터리 구동 장치들입니다. 이들은 슈퍼컴퓨터에서 사용하는 것과 같은 무거운 소프트웨어로 방대한 고해외상 비디오 피드를 단순히 스캔할 수 없습니다. 데이터 스트림은 너무 넓고 메모리는 너무 좁기 때문입니다. 이를 해결하기 위해 엔지니어들은 종종 2단계 접근 방식을 사용합니다. 먼저, 빠르고 단순한 센서 스캔이 드론이 포함되어 있을 법한 하늘의 몇몇 작은 영역을 표시합니다. 그 다음, 더 정밀한 두 번째 시스템이 오직 그 작은 패치들만을 확대하여 실제 위협이 존재하는지 확인합니다. 전체 방어의 성공 여부는 이 두 번째 단계에 달려 있습니다. 만약 이 단계에서 드론을 놓친다면, 첫 번째 단계가 아무리 잘 작동했더라도 시스템은 실패한 것입니다.

앙카라 옐디름 베이야지트 대학교(Ankara Yıldırım Beyazıt University)의 연구진은 이러한 엣지 장치에서 이 두 번째 단계를 더 빠르고 신뢰할 수 있게 만들기 위해 EMA-Det라고 불리는 새로운 방법을 개발했습니다. 하나의 거대한 네트워크가 모든 것을 수행하도록 만드는 대신, 그들은 과업의 독특한 성격을 이해하는 특화된 검증기를 설계했습니다. 그들은 검증을 위해 전송되는 대부분의 작은 이미지 패치들이 사실 빈 하늘이라는 점을 깨달았습니다. 표준 컴퓨터 비전 시스템은 패치 안에 드론이 들어 있든 단순히 푸른 하늘이 들어 있든 상관없이 모든 패치를 동일하게 무거운 노력으로 분석하며 시간을 낭비할 것입니다. 새로운 시스템은 '조기 종료(early exits)'를 추가함으로써 이를 변화시켰습니다. 이미지 데이터가 네트워크를 통해 흐를 때, 매우 초기에 간단한 확인 작업이 이루어집니다. 만약 시스템이 해당 패치가 단순히 빈 하늘이라고 확신한다면, 즉시 처리를 중단하고 이를 폐기하여 귀중한 시간과 에너지를 절약합니다. 오직 의심스러운 패치들만이 네트워크의 더 깊고 복잡한 층을 통과하도록 허용됩니다. 이러한 설계는 대부분의 후보가 무해하다는 사실을 속도의 이점으로 전환하여, 장치가 속도가 느려지지 않고도 더 많은 잠재적 위협을 처리할 수 있게 해줍니다.

이 시스템이 무엇을 찾아야 하는지 가르치기 위해, 연구진은 사용하는 데이터에 대해 극도로 주의를 기울여야 했습니다. 그들은 공개 소스에서 드론과 빈 하늘의 사진 수천 장을 수집했지만, 많은 이미지가 동일한 비디오 프레임에서 촬영된 거의 똑같은 복사본이라는 점을 발견했습니다. 시스템이 단순히 중복된 것을 암기하는 것이 아니라 진정으로 학습하도록 보장하기 위해, 그들은 엄격한 정제 과정을 만들었습니다. 그들은 중복된 이미지를 제거하고 남은 고유 이미지들을 훈련 그룹과 테스트 그룹으로 나누었으며, 단 하나의 사진도 양쪽 모두에 나타나지 않도록 했습니다. 또한 그들은 영리한 기술로 시스템의 학습 과정을 시작했습니다. 컴퓨터가 처음부터 가장자리와 모양을 추측하게 하는 대신, 물체의 윤곽을 채우기 전에 인간이 밑그림을 그리는 것처럼 첫 번째 층이 기본적인 선과 가장자리를 인식하도록 프로그래밍하여 도움을 주었습니다. 이러한 물리적인 출발점은 시스템이 더 빠르고 안정적으로 학습하는 데 도움을 주었습니다.

이 접근 방식의 결과는 표준 방식들과 비교했을 때 놀라웠습니다. 전체 광각 뷰를 스캔하도록 설계된 다른 인기 있는 탐지 시스템들은 이 작은 패치들에서 드론의 약 74퍼센트를 찾아낸 반면, 새로운 시스템은 거의 96퍼센트를 찾아냈습니다. 연구진은 복잡한 평균 점수를 살펴보는 기존의 성공 측정 방식이 이 특정 작업에서는 오히려 오해의 소지가 있다는 것을 발견했습니다. 어떤 시스템은 그 평균 점수에서는 좋아 보일 수 있지만, 여전히 너무 많은 드론을 놓칠 수 있으며, 이는 방어 시스템으로서 치명적인 결함입니다. 모든 타겟을 포착하는 능력에 집중함으로써, 이 새로운 설계는 훨씬 더 우월함을 입증했습니다. 연구진은 또한 가시광 카메라로 훈련된 시스템이 열을 감지하는 적외선 영상을 보도록 요청했을 때 어떻게 작동하는지도 테스트했습니다. 재훈련 없이도 시스템은 높은 정밀도로 드론을 인식했지만, 가시광 영상보다는 더 많이 놓쳤습니다. 그러나 열 이미지를 사용하여 처음부터 시스템을 훈련했을 때 매우 뛰어난 성능을 보였으며, 이는 두 유형의 시각 사이의 격차가 이미지 자체의 차이 때문이지 시스템 설계의 한계 때문이 아님을 증ب했습니다.

이 시스템이 실제 하드웨어에서 실제로 구동될 수 있음을 증명하기 위해, 팀은 네트워크의 첫 번째 부분을 가져와 현장 장치에 사용되는 특정 유형의 칩을 위한 디지털 청사진을 구축했습니다. 그들은 이 청사진이 칩의 엄격한 메모리 및 전력 제한 내에 들어올 것임을 검증하여, 이 설계가 단순한 이론이 아니라 실제 현장 배치를 위한 실질적인 솔루션임을 확인했습니다. 이 연구는 작은 드론에 맞서 보호하는 데 있어 핵심은 단순히 더 똑똑한 뇌를 만드는 것이 아니라, 언제 생각을 멈춰야 할지를 아는 뇌를 만드는 것임을 보여줍니다. 시스템이 빈 하늘을 빠르게 일축하게 함으로써, 드론이 존재할 때 그것이 반드시 포착될 수 있도록 중요한 순간을 위해 에너지를 아끼는 것입니다.

기술 요약: EMA-Det

문제 정의
에지 장치에서 저속·저고도·소형(LSS) 무인 항공기(UAV)를 탐지하는 것은 "인지-결정-행동(sense-decide-act)" 루프 내에서 심각한 병목 현상에 직면해 있습니다. 자율 방어 시스템은 일반적으로 1단계(예: 레이더, 모션 감지)가 관심 영역(RoI)을 제안하고 2단계가 이를 검증하는 2단계 파이프라인을 채택하지만, 현재의 접근 방식들은 범용 풀 프레임 탐지기(YOLO 등)를 검증 작업에 그대로 적응시키는 경향이 있습니다. 저자들은 이것이 두 가지 이유로 최적화되지 않았다고 주장합니다:

자원 제약: FPGA 기반 시스템과 같은 에지 장치는 연산량(FLOPs)보다는 메모리 대역폭에 의해 병목이 발생하는 경우가 많습니다. 표준적인 경량 백본(예: depthwise-separable convolution)은 BRAM 제약이 있는 패브릭에서 메모리 압박을 가중시킬 수 있습니다.
메트릭 불일치: 2단계 캐스케이드 구조에서 전체 시스템 재현율( $R_{total}$ )은 제안 단계의 재현율과 검증 단계의 재현율의 곱( $R_{proposal} \times R_{verifier}$ )입니다. mAP(Mean Average Precision)에 최적화된 검증기는 미검출(false negatives)을 최소화하는 데 실패하여 시스템 수준의 병목을 초래할 수 있습니다. 검증 단계는 시스템 전체의 미검출을 방지하기 위해 mAP를 다소 희생하더라도 높은 재현율(recall)을 확보해야 합니다.

방법론: EMA-Det
본 논문은 UAV 탐지의 2단계인 영역 검증을 위해 설계된 하드웨어 인지형 2단계 영역 검증 네트워크인 EMA-Det을 제안합니다. 주요 아키텍처 및 방법론적 구성 요소는 다음과 같습니다:

물리적으로 초기화된 첫 번째 레이어: 소형 타겟의 제한된 공간 정보(128×128 해상도) 문제를 해결하기 위해, 첫 번째 합성곱 레이어를 결정론적인 Laplacian 및 Sobel 연산자 뱅크로 초기화했습니다. 이는 무작위 초기화에 비해 학습 분산을 줄여주는 유도 편향(inductive bias)을 제공합니다.
동적 조기 종료 게이트(Dynamic Early-Exit Gates): 후보 영역의 비대칭적 분포(대부분이 배경인 경우)를 활용하여, 네트워크에 두 개의 신뢰도 기반 조기 종료 지점(Block 2와 Block 4 이후)을 포함합니다. 후보가 배경으로 확신될 경우 추론을 중단하고 후속 레이어를 건너뜁니다. 이는 선형적 지연 시간 스케일링을 점근적(asymptotic) 스케일링으로 전환하여 평균 추론 시간을 크게 단축합니다.
분리된 공간 바운딩 박스 헤드(Decoupled Spatial Bounding-Box Head): 특징을 풀링하기 전에 회귀를 수행하는 표준 아키텍처와 달리, EMA-Det는 분류 헤드(Global Average Pooling 사용)와 바운딩 박스 정밀화 헤드를 분리합니다. 박스 헤드는 풀링 전의 특징 맵을 직접 읽어 공간적 레이아웃 정보를 보존함으로써, 상당한 파라미터 오버헤드 없이 위치 정밀도를 향상시킵니다.
손실 함수: 분류를 위한 Binary Cross-Entropy, 박스 회귀를 위한 Complete-IoU (CIoU), 그리고 조기 종료 게이트를 위한 추가적인 Binary Cross-Entropy를 결합한 손실 함수를 사용합니다.
하드웨어 인지 설계: 메모리 대역폭 압박을 완화하기 위해 depthwise-separable convolution 대신 표준 convolution을 사용하여 아키텍처를 설계했습니다.

실험 설정
본 연구는 엄격하게 통제된 평가 프로토콜을 적용합니다:

데이터셋 구축: 공개된 UAV 및 하늘/새 이미지를 활용하여 소스 레벨 분할(source-level-split) 및 중복 제거가 완료된 데이터셋을 구축했습니다. 8×8 average-hash 비교를 통해 근접 중복을 제거함으로써, 소스 레벨의 중복이 없는 엄격한 훈련/테스트 경계를 확보했습니다. 최종 코퍼스는 4,136개의 고유 패치로 구성됩니다.
학습 프로토콜: 모든 모델은 AdamW, cosine annealing, N=5 random seeds를 사용하여 150 에포크 동안 학습되었으며, 통계적 견고성을 확보했습니다. 데이터 증강 시에는 소형 타겟의 형태를 보존하기 위해 Mosaic/MixUp을 제외했습니다.
베이스라인: 동일한 헤드와 프로토콜로 처음부터 학습된 YOLOv8n, MobileNetV3-Small, ShuffleNetV2와 비교하였습니다.
하드웨어 검증: Vitis HLS 2025.2를 사용하여 Zynq-7020 FPGA 상에서 네트워크의 첫 번째 블록에 대한 정적 자원 분석 및 합성 구현을 수행했습니다.

주요 결과

재현율 vs. mAP: EMA-Det는 동일한 조건 하에서 전체 탐지 베이스라인인 YOLOv8n(73.75 ± 1.86%)을 크게 상회하는 **96.08 ± 0.47%**의 재현율을 달s성했습니다. YOLOv8n은 더 높은 mAP(49.59% vs. 28.04%)를 기록했지만, 저자들은 YOLOv8n의 낮은 재현율이 전체 시스템 성능을 저하시킬 것임을 입증했습니다.
절제 연구(Ablation Studies):
- CBAM: CBAM 어텐션 모듈의 포함은 mAP를 개선하지 못했을 뿐만 아니라 재현율의 안정성과 평균 재현율을 감소시켰습니다. 저자들은 CBAM의 이점이 EMA-Det의 분리된 박스 헤드가 완화하는 '풀링으로 인한 공간 정보 손실'을 대체하려 하기 때문이라고 결론지었습니다.
- 공간 박스 헤드: 박스 헤드를 분리함으로써 mAP@0.75를 5.7 포인트 향상시키고, 재현율 안정성(표준 편차를 2.54에서 0.47로 감소)을 높였으며, 이는 무시할 만한 FLOP 비용만을 수반했습니다.
조기 종료 효율성: 임계값( $\tau$ )을 조정함으로써 mAP를 유지하면서도 최대 21.2%의 FLOP을 절감할 수 있으며, 많은 배경 후보들이 조기에 종료됨을 확인했습니다.
교차 센서 일반화: EO(가시광선)로 학습된 EMA-Det를 열화상(Thermal-IR) 데이터(Anti-UAV410 벤치마크)에 제로샷 적용했을 때, 정밀도는 높게 유지(~95%)되었으나 재현율은 80–86%, mAP는 ~39–52%로 떨어졌습니다. 그러나 열화상 데이터로 처음부터 학습시킨 EMA-Det는 89.52% mAP@0.5와 91.64% 재현율을 달성하여, 이러한 성능 차이가 아키텍처의 한계가 아닌 도메인 변화(domain shift)에 의한 것임을 확인했습니다.
하드웨어 타당성: 16비트 고정 소수점 양자화를 사용하여 Zynq-7020에서 합성된 Block 1은 DSP 예산의 65%, LUT의 26%를 사용하였으며, 이미지당 약 365 µs의 지연 시간을 달성했습니다. 전체 블록의 완전한 언롤링(unrolling)은 DSP 제약으로 인해 불가능하며, 전체 네트워크를 위해서는 시간 다중화(time-multiplexed) MAC 배열이 필요합니다.

의의 및 주장
본 논문은 EMA-Det가 에지 기반 UAV 탐지를 위한 설계 철학의 변화를 나타낸다고 주장합니다:

메트릭 재지향: 2단계 시스템의 검증 단계에서는 mAP가 아닌 **재현율(recall)**이 핵심 최적화 목표라는 점을 강조합니다. mAP를 최적화하는 것은 시스템 수준의 실패를 초래할 수 있습니다.
하드웨어 인지 아키텍처: 메모리 대역폭 병목 현상을 겪는 깊은 FLOP스 최적화 백본보다, 표준 convolution을 사용하는 얕고 스트리밍에 친화적인 아키텍처가 FPGA 에지 배포에 더 적합함을 보여줍니다.
방법론적 엄밀성: 저자들은 UAV 탐지 연구에서 데이터 누수와 성능 과대평가를 방로하기 위해 소스 레벨 중복 제거와 엄격한 훈련/테스트 경계의 중요성을 강조합니다.
도메인 변화 정량화: 본 연구는 EO-to-thermal 도메인 변화에 대한 정량적 기준을 제공하며, 제로샷 전이가 불완전하더라도 해당 아키텍처가 타겟 모달리티에 대해 학습될 경우 높은 성능을 낼 수 있음을 보여줍니다.

저자들은 Block 2–6의 전체 FPGA 매핑은 향후 과제로 남겨두었으나, 검증된 Block 1의 구현과 알고리즘 설계가 자원이 제한된 에지 검증을 위한 EMA-Det의 생존 가능성을 입증한다고 결론지었습니다.

유사한 논문