E2E-Fly: An Integrated Training-to-Deployment System for End-to-End Quadrotor Autonomy

1. 문제 정의 (Problem)

quadrotor(4 축 비행체) 의 자율성을 위한 End-to-End(종단 간) 학습은 시뮬레이션에서 실세계 (Real-world) 로의 전이 (Sim-to-Real Transfer) 과정에서 다음과 같은 심각한 장애물에 직면해 있습니다.

• 비효율적인 렌더링 및 물리 모델링: 기존 시뮬레이터는 시각적 렌더링 속도가 느리거나, 미분 가능한 물리 모델 (Differentiable Physics) 을 지원하지 않아 학습 효율이 낮습니다.
• 감지 및 제어 불일치: 시뮬레이션과 실세계 간의 센서 오차, 시스템 식별 (System Identification) 부족, 제어 지연 (Latency) 등이 정책의 성능을 급격히 저하시킵니다.
• 통합 플랫폼의 부재: 학습, 검증, 배포를 아우르는 체계적인 파이프라인이 부족하여, 연구자들은 각 단계마다 별도의 도구를 사용해야 하며 재현성 (Reproducibility) 과 실세계 배포가 어렵습니다.
• 보상 함수 설계의 어려움: 다양한 비행 태스크에 적용 가능한 체계적인 보상 함수 설계 가이드라인이 부재하여, 경험에 의존한 튜닝이 필수적입니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 E2E-Fly라는 통합 프레임워크를 제안했습니다. 이 시스템은 훈련 (Training), 검증 (Validation), 배포 (Deployment) 의 전 과정을 하나의 파이프라인으로 통합합니다.

가. 훈련 단계 (Training)

• 고성능 미분 가능 시뮬레이터 (VisFly): Habitat-sim 기반의 고사양 렌더링 엔진을 사용하여 초당 6000 프레임 (256x256 해상도) 의 다중 모달 센서 데이터 (RGB, 깊이, 세그멘테이션) 를 생성합니다.
• 미분 가능 물리 (Differentiable Physics): PyTorch 기반의 정확한 4 축 비행체 동역학 모델을 제공하여, BPTT (Back-Propagation Through Time) 알고리즘을 통한 미분 가능한 학습을 지원합니다. 이는 블랙박스 강화학습 (RL) 대비 샘플 효율성을 극대화합니다.
• 체계적인 보상 함수 설계: 태스크 유형 (호버링, 추적, 착륙, 레이싱 등) 에 따라 Progress(진행도), Smooth Action(부드러운 동작), Orientation(자세), Velocity(속도), Collision Avoidance(충돌 회피) 등의 구성 요소를 모듈화하여 보상 함수를 설계하는 가이드라인을 제시합니다.
• 커리큘럼 학습 (Curriculum Learning): 복잡한 환경 (장애물 회피 등) 에서는 단순한 태스크부터 점진적으로 난이도를 높이는 커리큘럼 학습 전략을 적용하여 수렴성을 향상시킵니다.

나. 검증 단계 (Validation)

• Sim-to-Sim 검증: VisFly 에서 학습된 정책을 AirSim 으로 직접 이전하여 교차 검증합니다.
• 하드웨어 인 더 루프 (HIL): 실제 비행체의 자세 데이터를 모션 캡처 시스템으로 받아 시뮬레이터에 입력하고, 시뮬레이터에서 생성된 가상 센서 데이터를 실제 비행체에 피드백하는 VIS-HIL 노드를 개발하여 안전하고 효율적인 검증 환경을 구축했습니다.

다. 배포 단계 (Deployment)

• 하드웨어 플랫폼: 온보드 (VIS-R) 와 오프보드 (VIS-H) 실험을 위한 두 가지 맞춤형 4 축 비행체 플랫폼을 설계 및 공개했습니다.
• Low-Level 제어 인터페이스: 학습된 정책을 Betaflight 펌웨어와 연결하는 betaflight-ctrl 패키지를 개발하여, 고수준 정책 출력을 저수준 모터 제어 명령으로 변환합니다.
• 4 단계 Sim-to-Real 정렬 (Alignment):
  1. 시스템 식별 (System Identification): 질량, 관성 모멘트, 모터/프로펠러 특성 등을 정밀 측정하여 시뮬레이션 모델에 반영.
  2. 지연 보상 (Latency Compensation): 통신 및 모터 응답 지연을 측정하고 시뮬레이션에 지연을 주입하여 정렬.
  3. 도메인 랜덤화 (Domain Randomization): 학습 중 환경 파라미터와 센서 노이즈를 무작위화하여 일반화 능력 향상.
  4. 노이즈 모델링 (Noise Modeling): 실제 센서 (Intel D435i 등) 의 노이즈 특성을 시뮬레이션에 추가.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 시스템: 미분 가능 물리 학습, RL, 체계적인 검증, 그리고 실세계 배포를 하나의 파이프라인으로 통합한 최초의 4 축 비행체 전용 프레임워크 (E2E-Fly) 를 제안했습니다.
2. 효율적인 학습 알고리즘: 미분 가능한 동역학 모델을 활용한 BPTT를 적용하여, 기존 PPO(강화학습) 대비 약 30% 미만의 시간으로 수렴하는 높은 샘플 효율성을 입증했습니다.
3. 체계적인 보상 설계 가이드라인: 다양한 태스크에 적용 가능한 모듈화된 보상 함수 설계 원칙을 제시하여 연구자의 튜닝 부담을 줄였습니다.
4. Zero-Shot 전이 성공: 추가적인 미세 조정 (Fine-tuning) 없이 시뮬레이션에서 학습된 정책을 **실제 비행체에 직접 배포 (Zero-shot transfer)**하여 성공적인 비행을 달성했습니다.
5. 오픈 소스 및 재현성: 6 가지 벤치마크 태스크 (호버링, 착륙, 추적, 레이싱, 장애물 회피 등) 에 대한 데이터, 하드웨어 설계, 소프트웨어 스택을 공개하여 커뮤니티의 연구 장벽을 낮췄습니다.

4. 실험 결과 (Results)

• 학습 효율성: 4 가지 기본 태스크 (호버링, 착륙, 추적, 레이싱) 에서 BPTT 는 PPO 대비 평균 1,200 초 만에 수렴한 반면, PPO 는 4,150 초가 소요되었습니다.
• 성능 비교: BPTT 와 PPO 모두 모든 태스크에서 성공적인 비행을 달성했으나, BPTT 가 더 높은 최종 보상 값을 기록했습니다.
• 비전 기반 태스크: 심층 분할 (Semantic Segmentation) 을 이용한 착륙과 깊이 맵 (Depth Map) 을 이용한 장애물 회피 레이싱에서 성공률을 100% 에 가깝게 달성했습니다.
• 실세계 배포: 6 가지 태스크 모두 시뮬레이션과 실세계 (VIS-R 플랫폼) 에서 유사한 성능을 보이며, Zero-shot 전이가 가능함을 입증했습니다. 특히 레이싱 태스크에서 10m/s 이상의 고속 비행이 성공적으로 수행되었습니다.

5. 의의 및 중요성 (Significance)

• 연구 패러다임의 전환: 기존의 모듈식 접근법에서 End-to-End 학습으로의 전환을 가속화하며, 특히 미분 가능 물리 학습의 실용성을 입증했습니다.
• 실용적 배포 가능성: "시뮬레이션에서 학습하여 바로 실세계에 배포"하는 것을 가능하게 함으로써, 드론 개발의 시간과 비용을 획기적으로 절감할 수 있는 표준 프레임워크를 제시했습니다.
• 향후 연구의 기반: 체계적인 보상 설계와 Sim-to-Real 정렬 방법론은 로봇 공학 및 자율 주행 분야의 다른 플랫폼에도 적용 가능한 중요한 통찰을 제공합니다.

이 논문은 단순히 새로운 알고리즘을 제안하는 것을 넘어, 학습부터 배포까지의 전체 생명주기를 아우르는 완전한 생태계를 구축함으로써 4 축 비행체 자율 비행 연구의 새로운 기준을 제시했습니다.