NanoBench: A Multi-Task Benchmark Dataset for Nano-Quadrotor System Identification, Control, and State Estimation

이 논문은 기존 벤치마크의 한계를 극복하고 나노 쿼드콥터의 시스템 식별, 제어, 상태 추정을 위한 액추에이터 명령어부터 정밀한 지상 기준 데이터까지 포함된 최초의 공개 멀티태스크 벤치마크인 'NanoBench'를 소개합니다.

핵심

이 논문은 **'나노 쿼드콥터 (Nano-Quadrotor)'**라는 아주 작은 드론을 위해 만든 새로운 **'시험지 (NanoBench)'**에 대해 소개합니다.

쉽게 말해, **"작은 드론을 더 똑똑하고 안전하게 만드는 방법을 연구하는 과학자들이 서로의 실력을 비교할 수 있는 공정한 경기장을 만든 것"**입니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이런 시험지가 필요할까요? (문제 상황)

지금까지 드론 연구자들은 주로 **무거운 드론 (수백 그램~수 킬로그램)**으로 실험을 해왔습니다. 이는 마치 성인용 자전거로 연습을 해서 어린이용 자전거를 타는 법을 가르치려는 것과 같습니다.

• 문제점: 작은 드론은 바람의 영향이 다르고, 모터가 작아서 반응이 느리며, 컴퓨터 성능도 매우 제한적입니다. 그래서 큰 드론에 쓰던 기술은 작은 드론에 바로 적용하면 실패합니다.
• 현재의 어려움: 연구자들은 각자 자기네 드론으로 실험을 하고, 그 결과만 발표합니다. 마치 **"내 자전거는 저기서 100m 갔는데, 너는 어때?"**라고 묻는 것과 같아서, 누구의 기술이 진짜 좋은지 객관적으로 비교할 수 없었습니다.

2. NanoBench 란 무엇인가요? (해결책)

이 논문은 Crazyflie 2.1이라는 27g (계란 하나 무게) 의 아주 작은 드론으로 170 회 이상의 비행 실험을 하고, 그 데이터를 모두 공개했습니다.

이 데이터는 마치 드론의 '블랙박스'와 '운동화'를 동시에 기록한 것과 같습니다.

• 블랙박스 (내부 기록): 드론이 어떤 명령을 내렸는지 (모터 신호), 드론 내부 컴퓨터가 어떻게 생각했는지 (추정 위치), 배터리가 얼마나 남았는지까지 모두 기록했습니다.
• 운동화 (외부 기록): 정밀한 카메라 (Vicon) 로 드론이 실제로 어디에 있었는지, 얼마나 정확히 움직였는지 '진짜 위치'를 millimeter(밀리미터) 단위로 측정했습니다.

이제 연구자들은 이 공통된 시험지를 가지고 "내 알고리즘이 이 드론을 얼마나 잘 조종하나요?"라고 비교할 수 있게 되었습니다.

3. 이 시험지에서는 무엇을 평가하나요? (3 가지 미션)

이 벤치마크는 드론의 능력을 세 가지 관점에서 평가합니다.

① 미션 1: 시스템 식별 (드론의 '성격' 파악하기)

• 비유: 드론을 처음 만난 사람이 "이 드론은 바람을 받으면 어떻게 반응할까?"를 예측하는 능력입니다.
• 내용: 모터에 전기를 얼마나 흘려보내야 드론이 얼마나 날아오를지, 바람을 맞으면 어떻게 흔들릴지 수학적 모델을 만드는 것입니다.
• 결과: 물리 법칙만으로는 1 초 이상을 예측하기 어렵지만, 인공지능과 물리 법칙을 섞으면 훨씬 정확해졌습니다.

② 미션 2: 제어기 평가 (드론 조종 실력 보기)

• 비유: 드론에게 "저기 저 원 안을 빙글빙글 돌아와"라고 시켰을 때, 얼마나 정확하게 따라가는지 보는 것입니다.
• 내용: 드론이 흔들리지 않고 목표한 길을 따라가는지, 배터리가 닳아도 여전히 잘 조종하는지 테스트합니다.
• 결과: 기존에 쓰던 간단한 제어법 (PID) 보다 더 복잡한 수학적 방법 (Mellinger) 을 쓰면 드론이 길을 잃을 확률이 100 배나 줄어든다는 것을 발견했습니다.

③ 미션 3: 상태 추정 (드론의 '눈' 확인하기)

• 비유: 드론이 자신의 눈 (센서) 만 보고 "내가 지금 어디에 있지?"라고 생각할 때, 그 생각이 실제 위치와 얼마나 일치하는지 보는 것입니다.
• 내용: 작은 드론은 카메라가 없어서 자꾸만 "내가 어디에 있지?"라고 헷갈릴 수 있습니다. 이 데이터로 그 헷갈림을 얼마나 잘 해결하는지 봅니다.
• 결과: 천천히 날 때는 아주 정확하지만, 너무 빨리 날면 작은 컴퓨터가 처리를 못해서 위치를 잃어버리는 한계가 발견되었습니다.

4. 이 연구의 핵심 메시지

이 논문은 **"작은 드론은 큰 드론과 완전히 다른 세상에서 살기 때문에, 그들을 위한 전용 시험지가 필요하다"**고 말합니다.

• 기존: 큰 드론용 기술로 작은 드론을 조종하려다 실패함.
• NanoBench: 작은 드론의 특성 (작은 모터, 제한된 배터리, 약한 컴퓨터) 을 모두 고려한 공정한 데이터를 제공함.

이제 전 세계의 연구자들은 이 데이터를 바탕으로 서로의 드론 조종 기술을 비교하고, 더 작고 똑똑한 드론을 개발할 수 있게 되었습니다. 마치 모든 선수들이 같은 트랙에서 같은 규칙으로 달릴 수 있게 된 것과 같습니다.

요약

NanoBench는 아주 작은 드론 (나노 쿼드콥터) 의 능력을 객관적으로 측정하고 비교할 수 있도록 만든 세계 최초의 공개 데이터베이스입니다. 이를 통해 드론이 더 정교하게 비행하고, 재난 구조나 군집 비행 등 다양한 분야에서 더 안전하게 쓰일 수 있는 길이 열렸습니다.

기술 요약

NanoBench: 나노 쿼드콥터 시스템 식별, 제어, 상태 추정을 위한 다중 작업 벤치마크 데이터셋

1. 문제 정의 (Problem Statement)

기존의 항공 로봇 벤치마크 데이터셋은 수백 그램에서 수 킬로그램에 이르는 대형 드론을 대상으로 하며, 주로 고수준의 상태 데이터 (위치, 속도 등) 만을 제공합니다. 그러나 **나노 스케일 쿼드콥터 (50g 미만, 예: Crazyflie 2.1, 27g)**는 다음과 같은 고유한 물리적, 계산적 제약으로 인해 대형 드론과 질적으로 다른 동역학을 가집니다.

• 공기역학적 차이: 낮은 레이놀즈 수 (약 $10^4$) 에서 작동하여 층류 분리 기포와 점성 손실이 추력 및 토크 특성에 큰 영향을 미칩니다.
• 구동기 비선형성: 브러시리스 모터가 아닌 코어리스 DC 모터를 사용하여 데드밴드 (deadband) 와 응답 지연이 발생합니다.
• 계산 제약: 제한된 컴퓨팅 성능 (168 MHz Cortex-M4) 으로 인해 경량화된 확장 칼만 필터 (EKF) 만 실행 가능하고, 소프트웨어 아키텍처가 극도로 최적화되어야 합니다.
• 데이터 부재: 기존 데이터셋은 액추에이터 명령 (PWM), 제어기 내부 상태, 추정기 출력, 그리고 외부 기준 (Ground Truth) 을 동시에 제공하지 않아, 나노 드론의 시스템 식별, 제어, 상태 추정을 위한 표준화된 벤치마크가 존재하지 않았습니다.

2. 방법론 (Methodology)

가. 하드웨어 및 데이터 수집 플랫폼

• 플랫폼: 상용 나노 드론인 Crazyflie 2.1 (이륙 중량 27g) 을 사용했습니다.
• 환경: Vicon 모션 캡처 어레나 (12 개 카메라, 6x4x2m 부피) 에서 정밀한 6-DoF 기준 궤적을 제공합니다.
• 데이터 동기화:
  • 동기화 프로토콜: 온보드 자이로스코프 각속도와 Vicon 에서 유도된 각속도를 교차 상관 (cross-correlation) 하여 펌웨어와 호스트 간의 시계 오프셋을 보정했습니다.
  • 정확도: 보정 후 잔류 오차는 0.5ms 미만으로 유지됩니다.
• 수집 신호 (100Hz): Vicon 기준 궤적, Raw IMU 데이터, 온보드 EKF 상태 추정치, PID 제어기 내부 변수, 모터 PWM 명령, 배터리 전압 (10Hz) 등.

나. 데이터셋 구성 (Trajectory Design)
총 170 개 이상의 비행 궤적을 3 가지 카테고리로 구성하여 플랫폼의 모든 동적 모드를 자극합니다.

1. Category A (시스템 식별 자극): 0.1Hz~5Hz 대역의 멀티사인 (Multi-sine) 궤적.
2. Category B (표준 궤적 추적): 원, 8 자, 타원, 별, 리사주, 3 차원 나선 등 10 가지 기하학적 궤적 (다양한 속도 0.5~1.0 m/s).
3. Category C (배터리 방전): 전압이 4.2V 에서 3.1V 로 하강하는 동안의 정지 호버링 비행 (전압에 따른 추력 저하 모델링용).

다. 벤치마크 작업 (Evaluation Tasks)
세 가지 주요 작업을 위한 표준화된 평가 프로토콜을 정의했습니다.

1. 작업 1: 시스템 식별 (System Identification): 모터 명령을 입력으로 받아 미래 상태 (6-DoF) 를 예측하는 모델의 성능 평가 (예측 지평선 $h \in \{0.1, 0.5, 1.0\}$초).
2. 작업 2: 제어기 벤치마크 (Controller Benchmarking): 폐루프 기하학적 추적 성능 평가 (RMSE, 궤적 발산률 등).
3. 작업 3: 상태 추정 (State Estimation): 경량 온보드 EKF 의 정확도 평가 (ATE, RTE 등).

3. 주요 기여 (Key Contributions)

1. 최초의 나노 스케일 공개 데이터셋: 상용 나노 플랫폼 (Crazyflie 2.1) 에서 수집된 액추에이터 명령, 제어기 내부, 추정기 출력, 그리고 밀리미터 단위의 기준 궤적을 동기화하여 제공하는 최초의 공개 데이터셋입니다.
2. 다중 작업 평가 프레임워크: 시스템 식별, 제어, 상태 추정을 통합적으로 평가할 수 있는 표준화된 train/test 분할, 지표, 오픈소스 베이스라인을 제공합니다.
3. 정밀한 시간 동기화: 펌웨어와 외부 센서 간의 시계 오차를 0.5ms 이하로 보정하는 검증된 절차를 제시합니다.
4. 배터리 영향 분석: 배터리 방전 곡선 전체에 걸친 전압 - 추력 비선형성을 포착한 데이터를 포함하여, 비정상적인 (non-stationary) 배터리 효과를 모델링할 수 있게 합니다.

4. 실험 결과 (Results)

가. 시스템 식별 (Task 1)

• 물리 기반 모델: 10ms(1 스텝) 이내의 짧은 지평선에서는 서브밀리미터 (0.3mm) 수준의 높은 정확도를 보였으나, 시간이 지남에 따라 추력 모델링 오차가 누적되어 50 스텝 (500ms) 이후에는 오히려 단순 외삽 (Naive) 보다 성능이 떨어졌습니다.
• 하이브리드 모델 (Physics + Residual): 물리 모델과 잔차 신경망 (Residual MLP) 을 결합한 모델이 전체 예측 지평선에서 가장 낮은 누적 오차를 보였습니다.
• LSTM: 회전 속도 예측에서는 물리 모델보다 나았으나, 각속도 예측에서는 큰 오차를 보였습니다.

나. 제어기 벤치마크 (Task 2)

• 실제 비행 (Real-flight):
  • PID vs Mellinger: PID 와 Mellinger (기하학적 제어기) 는 위치 추적 오차는 비슷했으나, 궤적 발산률에서 큰 차이가 있었습니다. PID 는 4.2% 의 발산률을 보인 반면, Mellinger 는 **0.01%**로 안정성이 월등히 뛰어났습니다.
  • Trade-off: Mellinger 는 더 정밀한 자세 제어로 인해 속도 변동 (transients) 이 PID 보다 컸습니다.
• 오프라인 학습 (Offline Learned):
  • 행동 클로닝 (BC-MLP, BC-LSTM) 은 시뮬레이션 환경에서 0% 발산률을 보였으나, 이는 학습된 모델의 이상적인 환경 때문입니다.
  • MPPI (모델 예측 제어): 학습된 동역학 모델과 0.6N 의 제한된 추력 한계 사이의 불일치로 인해 75.22% 의 발산률을 기록하며 심각한 성능 저하를 보였습니다. 이는 나노 스케일 플랫폼에 특화된 튜닝의 필요성을 시사합니다.

다. 상태 추정 (Task 3)

• 온보드 EKF:
  • 저속/중속: 위치 오차 (ATE RMSE) 가 22mm 이내로 유지되었으며, 자세 오차는 3 도 미만으로 안정적이었습니다.
  • 고속: 플랫폼의 동적 한계 (1.0 m/s) 에 도달하면 EKF 가 **발산 (3m 이상 오차)**하여, 168 MHz Cortex-M4 기반의 경량 필터가 고속 기동 시 상태 일관성을 유지하지 못함을 확인했습니다.

5. 의의 및 결론 (Significance)

NanoBench 는 나노 스케일 쿼드콥터 연구에 다음과 같은 중요한 기여를 합니다:

• 표준화된 비교: 연구자들이 각자의 비공개 데이터나 시뮬레이션이 아닌, 동일한 하드웨어와 동기화된 데이터 위에서 알고리즘을 비교할 수 있는 기반을 마련했습니다.
• 물리적 제약의 이해: 대형 드론에서는 무시되던 저 레이놀즈 수 공기역학, 코어리스 모터 비선형성, 배터리 전압 변화, 그리고 제한된 컴퓨팅 자원이 시스템 성능에 미치는 영향을 정량적으로 분석할 수 있게 합니다.
• 차세대 자율성 연구 촉진: 안전한 학습 (Safe Learning), 군집 로봇 (Swarm Robotics), 충돌 인지 경로 계획 등 나노 드론의 핵심 응용 분야 연구를 가속화할 것입니다.

이 데이터셋과 벤치마크는 GitHub 에서 오픈소스로 공개되어 있으며, 나노 항공 로봇 분야의 표준 벤치마크로 자리 잡을 것으로 기대됩니다.