💻 computer science

Compact convolutional neural networks for AI-based drone detection system

본 연구는 드론 비디오 전송의 소프트웨어 정의 라디오 캡처를 시계열 이미지로 변환하여, 기존의 스펙트로그램 기반 방식에 비해 계산 비용을 크게 줄이면서도 실시간으로 높은 정확도의 탐지를 수행하는 소형 합성곱 신경망 프레임워크를 제안하고 검증한다.

원저자: Gábor Fazekas, Patrik Karakai, András Németh

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gábor Fazekas, Patrik Karakai, András Németh

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 도시 속에서 숨어 있는 아주 작고 윙윙거리는 드론을 찾아내려는 보안 요원이라고 상상해 보세요. 과거에 보안 요원들은 이 드론들을 찾기 위해 크고 무거운 레이더 접시를 사용했지만, 드론들이 너무 작고 낮게 비행하기 때문에 레이더가 종종 이를 놓치곤 했습니다. 그래서 보안 요원들은 대신 소리에 귀를 기울이기 시작했습니다. 그들은 드론이 비디오를 전송하기 위해 보이지 않는 무선 주파수를 사용하여 조종사에게 신호를 보낸다는 사실을 알고 있는데, 이는 마치 멈추지 않고 수다를 떠는 무전기와 같습니다. 문제는 공중에 다른 라디오, 와이파이, 정전기 같은 소음이 가득하여 그 특정한 대화 소리를 듣기가 어렵다는 점입니다.

이 문제를 해결하기 위해 과학자들은 "인공지능(AI)", 구체적으로는 '합성곱 신경망(CNN)'이라고 불리는 일종의 컴퓨터 뇌를 활용하고 있습니다. CNN은 똑똑한 미술 학생과 같다고 생각하면 됩니다. 만약 고양이 사진을 보여주면, 그것은 고양이의 귀와 수염을 찾아내는 법을 배웁니다. 강아지 사진을 보여주면, 축 처진 귀와 코를 찾아내는 법을 배우죠. 이 경우, 과학자들은 AI에게 드론의 무선 신호라는 "그림"을 인식하도록 가르치려 하고 있습니다. 하지만 여기에는 함정이 있습니다. 휴대용 보안 장치에 들어가는 컴퓨터들은 스마트폰과 거대한 슈퍼컴퓨터를 비교했을 때처럼 작고 배터리 용량이 제한적입니다. 따라서 이들은 보통 가장 잘 작동하는 무겁고 복잡한 AI 모델을 실행할 수 없습니다. 그래서 핵심적인 질문은 이것입니다. "우리는 드론을 포착할 만큼 충분히 똑똑하면서도, 배낭에 들어갈 정도로 작게 만들 수 있는 가볍고 경량화된 AI 뇌를 만들 수 있을까?"

이 논문은 바로 그 도전에 대해 탐구합니다. 무선 신호를 포착하는 시스템과 함께 작업한 연구진은 영리한 기술을 시도해 보기로 했습니다. 무선 신호를 복잡한 주파수 맵으로 변환하는 대신(이는 노래를 악보로 바꾼 뒤 모든 음표를 하나하나 분석하는 것과 같으며, 느리고 무거운 과정입니다), 그들은 단순히 가공되지 않은 신호 자체를 그림으로 변환했습니다. 그들은 라디오에서 나오는 숫자들의 흐름을 격자 형태로 배열하여 "래스터화(rasterized)"된 이미지를 만들었습니다. 드론의 비디오 신호는 패턴이 반복되기 때문에, 이 그림은 줄무늬 천이나 바코드처럼 보이는 반면, 배경 소음은 엉망진창인 낙서처럼 보입니다.

연구팀은 이 그림들을 살펴보기 위해 여러 가지 맞춤형 경량 AI 모델을 구축했습니다. 그들은 매우 단순하고 얕은 네트워크부터 약간 더 깊은 네트워크까지 모두 테스트하며, 모델들이 드론 신호와 배경 소음을 얼마나 잘 구별해 내는지 확인했습니다. 그들은 실제 드론 신호를 녹음하고 여기에 가짜 소음을 추가하여 훈련을 더 어렵게 만든 약 40,000장의 이미지 데이터셋을 사용하여 이 모델들을 학습시켰습니다.

결과는 놀라움과 주의가 섞인 결과였습니다. 연구진이 컴퓨터에서 오프라인으로 테스트했을 때(마치 사진 앨범을 보는 것처럼), 그들이 만든 거의 모든 모델은 99% 이상의 정확도를 보이며 믿기 힘들 정도로 정확했습니다. 이는 완벽한 해결책처럼 보였습니다. 하지만 이 동일한 모델들을 실시간으로 무선 신호를 듣는 시스템에 적용했을 때 이야기는 달라졌습니다. 서류상으로는 완벽해 보였던 일부 모델들이 실제 환경에서는 실수를 하기 시작했습니다. 즉, 아무것도 없는데 "드론이다!"라고 외치거나(오경보), 드론이 실제로 날아가고 있음에도 침묵을 지키는 일이 발생했습니다.

이 논문은 성공의 열쇠가 단순히 AI를 더 크거나 복잡하게 만드는 데 있지 않다는 점을 시사합니다. 사실 그들이 발견한 가장 신뢰할 수 있는 모델은 'C2233'이라는 이름의 가장 작은 모델 중 하나였으며, 이는 1,100개 미만의 파라미터(AI의 뇌를 구성하는 아주 작은 수학적 단위들)를 가지고 있었습니다. 이 작은 모델은 실시간 테스트에서 100%의 정확도로 드론을 포착해 낸 반면, 더 크고 복잡한 모델들은 때때로 소음에 혼란을 겪었습니다. 연구진은 신호를 직접 그림으로 바꾸는 방식이 신호를 먼저 주파수 맵으로 변환하는 전통적인 방식보다 훨씬 빠르고 계산 능력을 적게 요구한다는 것을 발견했습니다.

궁극적으로, 이 연구는 이 작은 드론들을 포착하기 위해 거대하고 무거운 AI 뇌가 필요한 것은 아니라는 점을 보여줍니다. 작은 모델이라도 실제 환경에서 테스트를 거친다면 충분히 제 역할을 할 수 있습니다. 저자들은 이 접근 방식이 휴대용 전자전 시스템의 게임 체인저가 될 수 있다고 제안하며, 이를 통해 거대한 처리 능력 없이도 배터리로 작동하는 작은 장치에서 실행될 수 있다고 말합니다. 또한, 그들의 방식이 빠르기는 하지만 환경이 너무 혼란스러워지거나 여러 대의 드론이 동시에 통신하는 경우에는 어려움을 겪을 수 있다고 언급하며, 향에 대한 연구가 단일 스냅샷에서의 모습뿐만 아니라 시간이 지남에 따라 신호가 어떻게 변하는지를 살펴봐야 함을 시사했습니다.

기술 요약: AI 기반 드론 탐지 시스템을 위한 경량 합성곱 신경망(Compact Convolutional Neural Networks)

문제 정의

현대적 갈등 상황에서 1인칭 시점(FPV) 드론의 급증은 복잡한 전자기 환경에서도 작동할 수 있는 소형화되고 신뢰할 수 있는 탐지 시스템에 대한 절박한 필요성을 창출했습니다. 대형 무인 항공기와 달리, FPV 드론은 최소한의 레이더 반사 면적을 가지며, 저고도에서 운용되고, 상용 무선 주파수(RF) 통신 부품을 사용하기 때문에 기존의 방공 시스템으로는 대응이 어렵습니다.

전자 지원책(ESM)은 드론의 비디오 송신기(VTX)에서 발생하는 RF 방출을 모니터링함으로써 유효한 탐지 접근법을 제공하지만, 기존 방식들은 상당한 한계에 직면해 있습니다. 저자들의 이전 연구에서 사용된 자기상관(autocorrelation) 기반 탐지는 노이즈, 신호 왜곡 및 파라미터 변화에 민감하다는 점이 입증되었습니다. 또한, 주파수 영역 표현(스펙트로그램)에 의존하는 표준 딥러닝 방식은 단시간 푸리에 변환(STFT)과 같은 계산 집약적인 전처리 과정을 필요로 합니다. 이러한 요구 사항은 현장 배치를 목적으로 하는 자원이 제한된 휴대용 임베디드 전자전(EW) 플랫폼에 매우 부담스럽습니다. 핵심 과제는 높은 정확도와 실시간 임베디드 운용에 필요한 낮은 계산 오버헤드 사이의 균고를 맞추는 탐지 방법을 개발하는 것입니다.

방법론

제안된 솔루션은 계산 비용이 많이 드는 주파수 영역 변환을 우회하여, 시간 영역(time-domain) RF 신호에서 직접 작동하는 경량 합성곱 신경망(CNN)의 사용을 조사합니다.

1. 신호 표현 및 전처리

본 시스템은 스펙트로그램을 생성하는 대신, 소프트웨어 정의 라디오(SDR)로부터 캡처된 원시 RF 신호 스트림을 래스터화된 시간 영역 이미지로 변환합니다.

래스터화(Rasterization): 순차적인 RF 샘플들을 2차원 그리드(256×256 픽셀)로 배열하여, 아날로그 FPV 비디오 전송에 내재된 반복적인 시간적 구조를 보존합니다.
효율성: 이 과정은 오직 크기(magnitude) 계산과 순차적 샘플 매핑만을 포함하므로, FFT 기반의 스펙트로그램 생성의 $O(n \log n)$ 복잡도와 비교하여 선형 계산 복잡도 $O(n)$ 을 가집니다.
입입력: CNN은 RF 스트림의 짧은 시간적 세그먼트를 나타내는 그레이스케일 이미지를 입력받습니다.

2. 데이터셋 생성

공개된 라벨링된 RF 데이터셋의 부족으로 인해, 저자들은 SDR 프런트엔드를 사용하여 커스텀 데이터셋을 생성했습니다.

소스 데이터: 양성 샘플(Positive samples)은 BetaFPV A03 5.8 GHz 아날로그 비디오 송신기의 20초 녹화본에서 추출되었습니다. 음성 샘플(Negative samples)은 배경 RF 활동으로부터 캡처되었습니다.
데이터 증강(Augmentation): 실제 환경의 가변성을 시뮬레이션하기 위해, 제어된 시간적 이동(temporal shifting), 리샘플링(±0.5% 범위), 그리고 합성 노이즈(10~50% 상대적 왜곡)를 포함한 광범위한 증강을 수행했습니다.
규모: 최종 데이터셋은 약 40,000개의 라벨링된 래스터화 이미지를 포함하며, 훈련(80%), 검증(10%), 테스트(10%) 세트로 분할되었습니다.

3. 모델 아키텍처 및 벤치마킹

본 연구는 네트워크의 깊이, 너비 및 계산 효율성 간의 트레이드오프를 탐구하기 위해 일련의 커스텀 CNN 아키텍처를 설계하고 평가했습니다.

아키텍처 변형: 모델은 최소한의 파라미터를 가진 얕고 좁은 네트워크부터 깊고 넓은 구성까지 다양하게 구성되었습니다. 아키텍처는 레이어 수와 채널 너비에 따라 명명되었습니다(예: C2233은 4-8-8의 너비를 가진 3개 레이어 모델을 의미함).
베이스라인 비교: 커스텀 모델들은 LeNet5 및 MobileNet V2를 포함한 표준 아키텍처와 벤치마킹되었습니다.
평가 프로토콜:
- 오프라인: 모델들은 정확도, 처리량 및 메모리 사용량을 측정하기 위해 ON-NX Runtime을 사용하여 정적 테스트 세트에서 테스트되었습니다.
- 실시간 평가: 모델들은 GNU Radio 신호 처리 체인에 통합되어 Ettus USRP B210 SDR을 통해 작동했습니다. 시스템은 훈련 데이터와 다른 하드웨어 플랫폼(BetaFPV Meteor75 Pro)으로부터 오는 연속적인 스트림을 처리하여 교차 플랫폼 일반화 성능과 실시간 안정성을 평가했습니다.

주요 결과

오프라인 성능

평가된 모든 아키텍처는 오프라인 테스트 세트에서 일반적으로 99.3%에서 99.98% 사이의 완벽에 가까운 분류 정확도를 달랐습니다.

처리량(Throughput): 더 작고 좁은 모델들이 우수한 추론 속도를 보여주었습니다. 예를 들어, C3344 및 C3344444와 같은 모델은 초당 3,000장 이상의 이미지를 처리하는 처리량을 달성했습니다.
효율성: 가장 효율적인 모델들은 1,100개 미만의 파라미터를 필요로 했으며 0.01 MB 미만의 메모리를 점유하여, 자원 사용량 측면에서 MobileNet V2를 크게 압도하면서도 대등한 정확도를 유지했습니다.

실시간 성능

중요한 발견은 오프라인 정확도와 실시간 시스템 동작 사이의 불일치였습니다. 높은 오프라인 정확도가 반드시 신뢰할 수 있는 실시간 탐지를 보장하는 것은 아니었습니다.

불안정성: 완벽에 가까운 오프라인 점수를 기록한 여러 모델이 실시간 GNU Radio 환경에서는 "과민 반응"(잦은 오탐) 또는 "불충분한 민감도"(탐지 실패)를 보이는 현상이 나타났습니다.
강건한 모델: 특정 아키텍처, 특히 C2233(1,077개 파라미터)과 C3445는 실시간 테스트에서 안정적인 동작을 입증했습니다. C2233 모델은 약 0.6 ms의 지연 시간으로 실시간 테스트에서 100% 정확도를 달성했으며, 과도한 오경보 없이 신호의 존재와 부재를 성공적으로 구분했습니다.
비교: 제안된 래스터화 CNN 방식은 기존에 테스트된 자기상관 방식보다 지연 시간(0.6 ms 대 11.8 ms) 측면에서 크게 앞서면서도 경쟁력 있는 탐지율을 유지했습니다.

의의 및 기여

본 논문은 AI 기반 전자전 분야에 다음과 같은 몇 가지 중요한 기여를 주장합니다.

계산 효율성: 제안된 래스터화 기반 접근 방식은 주파수 영역 전처리(STFT/FFT)의 필요성을 제거하여, 스펙트로그램 기반 방식에 비해 계산 비용과 지연 시간을 대폭 줄여줍니다. 이는 저전력 임베디드 하드웨어에서의 실시간 탐지를 가능하게 합니다.
경량 아키텍처의 검증: 본 연구는 매우 작은 CNN(10,000개 미만의 파라미터)도 RF 분류를 위해 높은 탐지 정확도를 달성할 수 있음을 입증하며, 복잡하고 깊은 네트워크가 반드시 필요하다는 통념에 도전합니다.
실시간 평가의 중요성: 본 연구는 오프라인 정확도 지표가 RF 탐지 시스템에 있어 불충분하다는 결정적인 방법론적 격차를 강조합니다. 정적 데이터셋이 드러내지 못하는 과민성이나 불안정성 문제를 식고하기 위해서는 연속적인 스트리밍 환경 내에서 모델을 평가해야 함을 강조합니다.
실제 배치 가능성: C2233 모델을 휴대용 및 견고화된 EW 프레임워크에 성공적으로 통합함으로써, 이 접근 방식의 현장 배치 가능한 실용성을 입증했습니다.

저자들은 주파수 영역 방식이 매우 복잡한 전자기 시나리오에서 더 높은 강건성을 제공할 수는 있지만, 제안된 시간 영역 래스터화 방식은 자원 요구 사항을 대폭 줄이면서도 대등한 탐지 성능을 제공하는 유리한 절충안을 제공하며, 이는 휴대용 전자전 애플리케이션에 이상적이라고 결론지었습니다.