Relative State Estimation using Event-Based Propeller Sensing

1. 문제 정의 (Problem Statement)

• 배경: 자율 드론 군집 (Swarm) 비행에서는 드론 간 정확한 상대 상태 (위치, 속도, 자세) 추정이 필수적입니다.
• 기존 방법의 한계:
  • 기존 프레임 기반 (Frame-based) 모노큘러 카메라는 이상적인 조건에서는 잘 작동하지만, 높은 지연 시간 (Latency), 스케일 모호성, 그리고 모션 블러, 극단적인 조명 변화, 배경 노이즈가 있는 시각적으로 까다로운 환경에서는 성능이 저하됩니다.
  • 통신 지연이나 패킷 손실이 발생하면 군집 비행의 안정성이 위협받을 수 있습니다.
• 목표: 통신에 의존하지 않는 탈중앙화 (Decentralized) 군집 비행을 위해, 이벤트 카메라 (Event Camera) 를 활용하여 드론의 프로펠러 회전수를 감지하고 이를 통해 상대 상태를 실시간으로 추정하는 프레임워크를 제안합니다.

2. 제안된 방법론 (Methodology)

논문은 이벤트 카메라의 데이터 스트림을 활용하여 프로펠러의 회전수 (RPM) 와 드론의 자세를 추정하는 파이프라인을 제시합니다.

A. 데이터 표현 및 프로펠러 감지

• 이벤트 카메라: 픽셀 단위의 밝기 변화가 있을 때만 비동기적으로 이벤트를 발생시킵니다. 고동적 범위 (HDR), 마이크로초 단위 시간 해상도, 낮은 지연 시간을 가집니다.
• 프로펠러 영역 감지 (Detection): 이벤트 스트림을 시간 단위 (10ms) 청크로 나누어 처리합니다.
  1. 연결 성분 (Connected Components, CC) 라벨링: 이벤트 밀도 맵을 생성하고 형태학적 침식 (Morphological Erosion) 을 통해 프로펠러 영역을 분리합니다. 계산 효율성이 높습니다.
  2. HDBSCAN 클러스터링: 이벤트 스트림을 2D 점으로 간주하여 밀도 기반 클러스터링을 수행합니다. 비원형 모양이나 비정형적인 프로펠러 외관에 강건합니다.
• 추적 (Tracking): Norfair 프레임워크를 사용하여 감지된 프로펠러 영역을 프레임 간에 추적하고 안정적인 ID 를 부여합니다.

B. 프로펠러 주파수 (RPM) 추정

• 감지된 프로펠러 영역 (ROI) 내에서 이벤트를 시간 창 (Sliding window) 단위로 이산화 (Binning) 합니다.
• FFT (Fast Fourier Transform) 를 적용하여 날개 통과율에 해당하는 주파수 피크를 감지합니다.
• 칼만 필터 (KF) 를 사용하여 추정된 RPM 을 평활화하고 노이즈를 제거합니다.

C. 상대 상태 추정 파이프라인 (State Estimation Pipeline)

두 개의 결합된 칼만 필터 (Coupled KFs) 를 사용하여 위치와 자세를 추정합니다.

1. 자세 추정 (Orientation Estimation):
   • P1E (Perspective-1-Ellipse): 이벤트 스트림에서 프로펠러 디스크가 형성하는 타원을 피팅하여 드론의 몸체 좌표계 (Body-frame) 와 세계 좌표계 (World-frame) 간의 관계를 추정합니다.
   • 차동 RPM: 좌우/전후 모터의 RPM 차이를 통해 롤 (Roll) 각속도를 계산하고, 이를 칼만 필터에 입력하여 자세 (Roll, Pitch) 를 업데이트합니다. (요 (Yaw) 는 타원 기하학만으로는 관측 불가능하므로 추정하지 않음).
2. 위치 추정 (Position Estimation):
   • 추력 입력: 추정된 4 개 모터의 RPM 제곱 합을 통해 총 추력 ($T$) 을 계산합니다.
   • 운동학 모델: 추정된 자세 ($\hat{b}_z$, 추력 방향) 와 계산된 추력을 사용하여 드론의 가속도를 구하고, 이를 적분하여 위치와 속도를 예측합니다.
   • 측정 업데이트: 이벤트 프레임 기반의 단안 깊이 추정 (Monocular depth estimation) 을 통해 얻은 상대 위치 정보를 측정값으로 사용하여 칼만 필터를 보정합니다.

3. 주요 기여 (Key Contributions)

• 새로운 센싱 패러다임: 기존 시뮬레이션 데이터에 의존하던 기존 연구와 달리, 실제 야외 환경에서 이벤트 카메라를 사용하여 드론 프로펠러의 주파수를 직접 측정하고 이를 상태 추정에 활용하는 방법을 제시했습니다.
• 정밀한 RPM 추정: 테스트된 5 개의 실제 야외 비행 시퀀스에서 프로펠러 회전수 추정 오차를 3% 미만으로 유지하는 데 성공했습니다.
• 탈중앙화 상대 국소화: 통신 없이도 시각적 정보 (프로펠러 회전 및 기하학적 형태) 만으로 다른 드론의 상대 상태 (위치, 속도, 자세) 를 추정할 수 있는 시스템을 구현했습니다.
• 강건한 파이프라인: 모션 블러와 극단적인 조명 변화가 있는 환경에서도 이벤트 카메라의 특성을 활용하여 안정적인 추정이 가능함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 2 대의 드론 (리더 - 팔로워) 을 이용한 6 개의 야외 비행 시퀀스 (RTK-GNSS 및 IMU 를 통한 정답 데이터 확보).
• RPM 추정 성능:
  • CC 라벨링과 HDBSCAN 클러스터링 두 가지 감지 방법 모두 유사한 정확도를 보였습니다 (평균 절대 백분율 오차 MAPE 약 2.7%).
  • 프로펠러 감지 방법보다는 프로펠러 영역 내 이벤트 신호의 품질이 RPM 추정 정확도에 더 큰 영향을 미쳤습니다.
• 상태 추정 성능:
  • 위치: 수평 방향 (X, Y) 은 카메라 기반 측정 덕분에 정확도가 높았으나, 수직 방향 (Z) 은 단안 깊이 추정의 불확실성으로 인해 오차가 상대적으로 컸습니다.
  • 속도: 모든 축에서 평균 RMSE 0.5 m/s 미만을 달성했습니다.
  • 자세: 롤 (Roll) 각은 좌우 모터 RPM 차이를 통해 피치 (Pitch) 보다 더 정확하게 추정되었습니다. 요 (Yaw) 는 추정되지 않았습니다.
  • 전체적으로 5 개의 테스트 시퀀스에서 위치와 자세 추정 오차가 수용 가능한 수준으로 유지되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실시간성 및 효율성: 이벤트 카메라의 저지연 특성을 활용하여 고속으로 이동하는 드론 군집의 상태 추정이 가능해졌습니다.
• 환경 적응성: 기존 카메라가 취약한 모션 블러나 저조도 환경에서도 프로펠러의 빠른 회전 운동을 정확하게 포착할 수 있습니다.
• 응용 분야: 재난 구조, 광역 탐사, 행성 탐사 등 통신이 제한되거나 환경이 척박한 지역에서의 자율 로봇 군집 운영에 중요한 기술적 기반을 제공합니다.
• 향후 과제: 다중 드론 시나리오 확장 및 이벤트 비전을 활용한 더 정교한 기하학적 특징 추출 연구가 필요하다고 결론지었습니다.

이 논문은 이벤트 카메라를 활용한 드론 간 상대 상태 추정의 새로운 가능성을 열었으며, 특히 프로펠러의 물리적 특성 (회전수) 을 상태 추정의 핵심 입력값으로 활용했다는 점에서 혁신적입니다.