ODD-SEC: Onboard Drone Detection with a Spinning Event Camera

이 논문은 이동체 탑재용 실시간 드론 탐지 시스템인 ODD-SEC 를 제안하며, 360 도 시야를 제공하는 회전형 이벤트 카메라와 모션 보상이 불필요한 새로운 이벤트 표현 방식을 통해 기존 프레임 기반 시스템의 한계를 극복하고 정밀한 드론 탐지 및 방향 추정을 가능하게 합니다.

핵심

1. 왜 이 기술이 필요한가요? (문제 상황)

지금 드론은 사진 촬영, 배달, 구조 활동 등에 많이 쓰이지만, 사생활 침해나 테러 같은 위험도 커지고 있습니다. 그래서 드론을 찾아내는 기술이 중요해졌죠.

하지만 기존 기술에는 두 가지 큰 한계가 있었습니다.

• 일반 카메라의 한계: 햇빛이 너무 강하거나 어두우면 잘 안 보이고, 드론이 너무 빠르게 움직이면 사진이 흐릿해져서 못 찾습니다. (마치 빠른 차를 찍으려는데 사진이 번지는 것과 같습니다.)
• 기존 드론 탐지기의 시야 문제: 대부분의 드론 탐지기는 카메라가 고정되어 있어 시야가 좁습니다. 드론이 카메라 시야 밖으로 날아가면 바로 놓쳐버립니다. (마치 좁은 창문으로만 밖을 내다보다가 옆에서 지나가는 사람을 못 보는 것과 같습니다.)

2. ODD-SEC 의 해결책: "회전하는 눈"과 "생체 모방 카메라"

이 시스템은 두 가지 아이디어를 합쳤습니다.

🌀 아이디어 1: "회전하는 빔프로젝터" 같은 시야

이 시스템은 카메라를 회전하는 플랫폼 위에 설치했습니다.

• 비유: imagine 하세요. 한 사람이 한 손에 손전등을 들고 빙글빙글 돌면서 주변을 비추는 모습입니다.
• 효과: 카메라가 360 도 회전하기 때문에, 드론이 어느 방향에서 오든 놓치지 않고 360 도 전 방향을 감시할 수 있습니다. 기존에 시야가 좁아 놓치던 드론들을 이제 한 번에 다 잡을 수 있게 된 거죠.

⚡ 아이디어 2: "생쥐의 눈" 같은 이벤트 카메라

기존 카메라가 '사진'을 찍는다면, 이 시스템이 쓰는 이벤트 카메라는 '빛의 변화'만 감지합니다.

• 비유: 일반 카메라가 '동영상'을 찍는다면, 이 카메라는 **'깜빡임'**만 기록합니다.
  • 햇빛이 너무 강해도 (과노출) 빛의 변화만 기록하므로 드론이 잘 보입니다.
  • 드론이 매우 빠르게 날아도 (모션 블러) 빛이 깜빡이는 순간을 마이크로초 단위로 잡아내므로 흐릿하지 않습니다.
  • 마치 어둠 속에서 움직이는 물체의 실루엣만 빠르게 포착하는 생쥐의 눈과 비슷합니다.

3. 회전할 때 생기는 문제를 어떻게 해결했나요? (핵심 기술)

카메라가 빙글빙글 돌면, 드론이 화면에서 빠르게 지나가서 흐릿해질 수 있습니다. 보통은 카메라가 움직이는 것을 보정하는 복잡한 계산이 필요하지만, 이 시스템은 새로운 방식을 고안했습니다.

• 비유: 폭포수가 떨어지는 모습을 찍을 때, 물을 한 컵씩 떠서 그릇에 담는다고 생각해보세요.
  • 기존 방식은 폭포수 전체를 한 번에 찍으려다 흐릿해집니다.
  • 이 시스템은 매우 짧은 시간 동안만 빛의 변화를 잘게 쪼개서 (스라이스) 여러 장의 '이미지 조각'을 만듭니다.
  • 그리고 이 조각들을 AI 가 분석하면서, "아, 이 조각들은 드론이 움직인 흔적이야"라고 자연스럽게 학습하게 합니다.
  • 결과: 카메라가 돌고 있어도, AI 가 드론을 선명하게 찾아내고 "저기 30 도 방향에 드론이 있어!"라고 정확히 알려줍니다.

4. 실제 성능은 어떨까요?

이 시스템은 4 발 보행 로봇 (개 로봇) 등 이동하는 기체에 탑재되어 실험되었습니다.

• 실시간성: 로봇이 움직이는 동안에도 1 초에 22 번 이상 드론을 찾아냅니다. (실시간 감시 가능)
• 정확도: 드론이 어디에 있는지 각도로 계산했을 때, 오차가 약 2 도 이내로 매우 정확했습니다. (시계바늘의 2 분 간격보다 더 정확합니다.)
• 환경: 햇빛이 너무 강한 낮이나 해가 진 어두운 밤에도 잘 작동했습니다.

5. 요약: 이 기술이 왜 대단한가요?

기존에는 "카메라가 고정되어야 드론을 잘 잡는다"라고 생각했지만, 이 연구는 **"카메라를 돌리면 오히려 더 넓은 시야를 확보할 수 있고, AI 가 그 움직임을 잘 처리하면 이동하는 로봇 위에서도 드론을 완벽하게 감시할 수 있다"**는 것을 증명했습니다.

마치 회전하는 등대가 바다의 모든 방향을 비추며 배를 찾듯이, 이 시스템은 이동하는 로봇 위에서 360 도 전 방향을 감시하며 드론을 찾아내는 차세대 보안 솔루션입니다.

기술 요약

논문 요약: ODD-SEC (회전식 이벤트 카메라를 이용한 온보드 드론 탐지 시스템)

1. 문제 제기 (Problem)

• 드론의 확산과 보안 위협: 드론의 급격한 증가로 인해 사생활 침해 및 보안 위협이 대두되었으며, 이에 대한 탐지 기술의 필요성이 높아졌습니다.
• 기존 프레임 카메라의 한계: 기존 프레임 기반 카메라는 빠른 이동 물체나 극단적인 조명 조건 (저조도, 고글are) 에서 성능이 저하됩니다.
• 이벤트 카메라의 한계: 생물학적 시각에서 영감을 받은 이벤트 카메라는 높은 동적 범위 (HDR) 와 마이크로초 단위의 응답 속도를 제공하지만, 대부분의 기존 솔루션이 정지된 카메라를 전제로 합니다.
• 동적 환경의 부재: 이동하는 로봇 (예: 4 족 로봇, 무인 지상 차량) 에 탑재될 경우, 카메라의 자체 운동 (Ego-motion) 으로 인한 모션 블러와 시야각 (FoV) 제한으로 인해 탐지 실패가 빈번하게 발생합니다. 특히 드론의 예측 불가능한 비행 궤적은 좁은 시야각을 가진 이벤트 카메라의 탐지 범위를 벗어나게 만들 수 있습니다.

2. 방법론 (Methodology)

이 논문은 이동하는 운반체 (Carrier) 에 탑재되어 실시간으로 드론을 탐지하고 방위각 (Bearing) 을 추정하는 ODD-SEC 시스템을 제안합니다.

• 하드웨어 구성:

  • 회전식 이벤트 카메라: DVXplorer 이벤트 카메라를 스테핑 모터로 구동되는 회전 플랫폼에 장착하여 360° 수평 시야각 (Panoramic FoV) 을 확보합니다.
  • 온보드 컴퓨팅: 회전 플랫폼과 함께 회전하는 엣지 컴퓨터 (NVIDIA Jetson Orin NX) 를 사용하여 슬립 링 (slip ring) 이나 무선 전송 없이 고대역폭 데이터를 직접 처리합니다.
  • 동기화: 광전 스위치를 사용하여 회전 각도 (0 점) 를 동기화하고, 이벤트 카메라의 시간戳 (Timestamp) 과 정렬합니다.

• 알고리즘 및 네트워크 설계:

  1. 다중 슬라이스 시공간 표현 (Multi-slice Spatio-temporal Representation, MSR):
     • 회전으로 인한 공간적 번짐 (Spatial smearing) 을 방지하기 위해 고정된 시간 창을 여러 개의 작은 시간 구간 (Slice) 으로 분할하여 이벤트 데이터를 이미지 형태로 변환합니다. 이를 통해 모션 블러 없이 미세한 시간적 단서를 보존합니다.
  2. Temporal Fusion Module (TFM) 이 포함된 YOLOX 네트워크:
     • 기존 YOLOX 아키텍처에 Temporal Fusion Module을 통합했습니다.
     • Feature Channel Gating (FCG): 각 특징 채널의 정보 가치를 평가하여 중요한 목표 특징을 증폭하고, 회전으로 인한 배경 노이즈를 억제합니다.
     • Motion Context Encoder: 슬라이스 간의 운동 컨텍스트를 인코딩하여 광학 흐름 (Optical Flow) 계산이나 IMU 기반 보정 없이도 시공간 상관관계를 학습합니다.
  3. Scale-Aware Loss (EIoU):
     • 드론과의 거리 변화로 인한 크기 변동을 처리하기 위해 표준 IoU 손실 대신 Efficient IoU (EIoU) 손실을 사용하여 정밀한 위치 회귀를 보장합니다.
  4. 방위각 추정 (Bearing Estimation):
     • 탐지된 드론의 2D 중심점을 카메라 내부 파라미터와 실시간 회전 각도 정보를 사용하여 3D 구면 좌표계로 투영하여 상대적인 방위각을 계산합니다.

3. 주요 기여 (Key Contributions)

1. 360° 회전식 이벤트 카메라 시스템: 이동하는 플랫폼에 탑재된 회전식 이벤트 카메라를 통해 기존 이벤트 카메라의 시야각 제한을 극복하고 360° 전방향 탐지를 가능하게 했습니다.
2. 모션 보상 없는 경량 신경망: 카메라의 자체 운동과 운반체의 움직임을 보상하지 않고도 작동하는 새로운 이미지 유사 이벤트 표현법과 Temporal Fusion Module이 포함된 경량 네트워크를 제안했습니다.
3. 실제 환경 검증: 4 족 로봇 (Unitree Go2-W) 에 탑재하여 야외에서 이동하는 조건에서도 신뢰할 수 있는 탐지 성능을 입증했습니다.

4. 실험 결과 (Results)

• 실험 환경: 정지 상태 및 4 족 로봇이 이동하는 조건에서 야외 실험을 수행했습니다. 조명 조건은 정상, 저조도, 고글are (태양 직사) 로 다양하게 설정했습니다.
• 탐지 성능:
  • 다양한 조명 조건에서 강력한 성능을 보였으며, 특히 고글are 및 저조도 환경에서 프레임 기반 카메라보다 우수한 강인성을 입증했습니다.
  • Temporal Fusion Module을 적용한 결과, AP(Average Precision) 가 약 2.73% 향상되었습니다.
• 방위각 추정 정확도:
  • 이동하는 조건에서도 평균 각도 오차 (Mean Angular Error) 가 약 2° 미만 (정확히는 1.91°) 으로 매우 정밀한 방위각 추정이 가능함을 확인했습니다.
  • 수직 방향 (Elevation) 오차가 수평 방향 (Azimuth) 보다 약간 크지만, 전체적으로 신뢰할 수 있는 성능을 유지했습니다.
• 실시간 성능:
  • Jetson Orin NX에서 약 22 Hz의 프레임 속도로 실시간 처리가 가능함을 확인했습니다. (데스크탑 환경에서는 30 Hz)

5. 의의 및 결론 (Significance)

• 실제 적용 가능성: ODD-SEC 는 이동하는 로봇 플랫폼에 탑재되어 실시간으로 드론을 탐지하고 위치를 파악할 수 있는 최초의 시스템 중 하나로, 실제 감시 및 보안 응용 분야에 직접 적용 가능한 솔루션을 제시합니다.
• 기술적 혁신: 이벤트 카메라의 고유한 장점 (고속 응답, HDR) 을 유지하면서, 회전 운동으로 인한 데이터 왜곡 문제를 해결하기 위한 새로운 표현법과 네트워크 아키텍처를 개발했습니다.
• 오픈소스 기여: 연구팀은 전체 파이프라인을 오픈소스로 공개하여 향후 관련 연구를 지원할 예정입니다.

이 시스템은 드론에 대한 보안 위협을 해결하고, 이동하는 플랫폼을 활용한 능동적인 감시 체계 구축에 중요한 이정표가 될 것으로 기대됩니다.