Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles

1. 문제 정의 (Problem Definition)

기존의 자율 드론 레이싱 연구는 주로 장애물이 없는 트랙에 집중되어 왔습니다. 그러나 실제 환경에서는 장애물 회피 (Obstacle Avoidance) 와 게이트 통과 (Gate Traversal) 라는 두 가지 상충되는 목표를 동시에 달성해야 하는 어려움이 존재합니다.

• 상충되는 목표: 장애물 회피는 보수적인 기동을 요구하는 반면, 게이트 통과를 위해서는 게이트 중심에 근접하여 공격적이고 정밀한 기동이 필요합니다. 게이트 자체가 '장애물'로 인식될 수 있어, 단순한 장애물 회피 보상 함수는 드론이 게이트를 우회하게 만들어 레이싱 성능을 저하시킵니다.
• 현실적 한계: 기존 학습 기반 방법론들은 시뮬레이션과 현실 (Sim-to-Real) 간의 격차, 다양한 장애물 구성에 대한 일반화 부족, 낮은 성공률로 인해 실제 복잡한 환경에서의 고속 비행에 실패하는 경우가 많습니다.

2. 제안 방법론 (Methodology)

저자는 시각 기반 커리큘럼 강화 학습 (Curriculum Reinforcement Learning, CRL) 프레임워크를 제안하여, 예측 불가능한 장애물이 있는 환경에서도 견고한 제어 정책을 학습합니다.

A. 엔드 - 투 - 엔드 시각 기반 제어기 (End-to-End Vision-based Controller)

• 관측 공간 (Observation Space): 드론의 상태 (위치, 속도, 각속도 등) 와 깊이 카메라 (Intel D435i) 로부터 얻은 64x64 깊이 맵을 결합합니다. 시뮬레이션 - 현실 격차를 줄이기 위해 역깊이 (inverse depth) 와 가우시안 노이즈를 적용합니다.
• 행동 공간 (Action Space): 관측 데이터를 직접 집합 추력 (Collective Thrust) 과 기체 각속도 (Body Rate, CTBR) 명령으로 매핑합니다.
• 네트워크 아키텍처:
  • CNN: 깊이 맵의 시각적 특징을 추출.
  • MLP: 드론 상태 정보를 인코딩.
  • GRU (Gated Recurrent Unit): 시계열적 의존성을 포착하여 동적 환경에서의 연속성을 유지.
  • Actor-Critic: 추출된 특징을 결합하여 행동을 생성하고 가치를 평가합니다.

B. 보상 함수 설계 (Reward Function Design)

게이트 통과와 장애물 회피 간의 상충 관계를 해결하기 위해 복합 보상 함수를 설계했습니다.

• 주요 보상 항목:
  • r_prog: 다음 게이트로 진행하는 정도.
  • r_theta: 게이트 정렬 및 장애물 인식 각도 (대각도 기동 허용).
  • r_avoid: 연속적인 장애물 회피 보상 (이전 연구의 이산적 페널티와 달리, 충돌 위험 거리에 따라 연속적으로 보상을 조정하여 게이트 우회를 방지).
  • r_pass / r_crash: 게이트 통과 시 보상, 충돌 시 페널티.
  • r_cmd / r_vd: 부드러운 궤적 유지 및 원하는 속도 초과에 대한 패널티.

C. 학습 전략 (Training Strategy)

1. 다단계 커리큘럼 학습 (Multi-stage Curriculum Learning):
   • Level 1: 장애물 없는 환경에서 시각 입력으로 기본 레이싱 학습.
   • Level 2: 낮은 속도로 무작위 장애물이 있는 환경 학습.
   • Level 3: 최대 속도로 장애물 밀도를 높인 환경 학습.
   • 효과: 에이전트가 점진적으로 난이도를 극복하며 국소 최적해 (Local Optima) 에 빠지는 것을 방지.
2. 도메인 랜덤화 (Domain Randomization): 장애물의 위치, 게이트의 위치, 드론의 초기 상태 등을 무작위화하여 시뮬레이션 - 현실 격차를 줄이고 일반화 능력을 향상.
3. 다중 장면 업데이트 (Multi-scene Updating): 모든 에이전트가 동일한 장면에서 업데이트되는 기존 방식과 달리, 커리큘럼 난이도에 따라 병렬 업데이트되는 장면 수를 동적으로 조절하여 학습 효율성과 일반화 성능을 극대화.

3. 주요 기여 (Key Contributions)

1. 체계적인 일반화를 위한 커리큘럼 학습: 무작위 장애물이 있는 복잡하고 예측 불가능한 환경으로의 정책 전이를 가능하게 하는 다단계 학습 전략 제시.
2. 효율성을 높인 다중 장면 학습: 다양한 장애물 구성에 대한 정책의 일관된 일반화를 가능하게 하면서 RL 학습 효율성을 개선하는 새로운 패러다임 도입.
3. 상충 문제 해결을 위한 보상 설계: 장애물 회피와 게이트 통과 간의 본질적인 모순을 해결하여, 안전성을 해치지 않으면서도 대각도 기동을 통한 고속 비행을 가능하게 하는 보상 함수 설계.

4. 실험 결과 (Results)

실험은 시뮬레이션, 하드웨어 인 더 루프 (HITL), 실제 비행 (Real-world) 으로 진행되었습니다.

• 성능 지표: 3 가지 다른 트랙 (S 자형, 3D 원형, J 자형) 에서 성공률 (Success Rate) 과 랩 시간 (Lap Time) 을 측정.
• 비교 결과:
  • 제안된 방법은 기존 시각 기반 RL 방법 및 상태 기반 방법보다 100% 성공률을 기록하며 압도적인 성능을 보였습니다 (기존 방법들은 30~40% 수준).
  • 랩 시간 또한 기존 방법보다 빠르거나 동등한 수준을 유지했습니다.
• HITL 및 실제 비행:
  • HITL: 최대 10 m/s 속도에서 100% 성공률 달성.
  • 실제 비행 (Raspberry Pi 탑재): 최대 8 m/s 속도에서 100% 성공률 달성.
  • Zero-shot Sim-to-Real: 추가적인 미세 조정 (Fine-tuning) 없이 시뮬레이션에서 학습된 정책이 실제 환경에서 즉시 작동함을 입증.
• 민감도 분석: 장애물 밀도 증가 및 게이트 위치 변화에 대한 테스트에서 높은 강인성 (Robustness) 을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 시각 기반 자율 드론 레이싱 분야에서 장애물이 풍부한 환경에서의 고속 비행을 가능하게 하는 중요한 진전을 이루었습니다.

• 기술적 의의: RL 기반 제어 정책이 복잡한 물리 환경과 상충되는 목표 (속도 vs 안전) 를 동시에 처리할 수 있음을 입증했습니다.
• 실용적 가치: 단일 네트워크로 엔드 - 투 - 엔드 제어를 수행하며, 저사양 온보드 컴퓨터 (Raspberry Pi) 에서도 실시간 추론이 가능하여 실제 드론 레이싱 적용 가능성이 높습니다.
• 한계 및 향후 과제: 현재는 고정된 트랙 레이아웃을 가정하고 있으며, 완전히 새로운 레이아웃으로의 일반화 능력은 아직 제한적입니다. 향후 가변적인 물리 학습과 결합하여 더 미구조화된 (Unstructured) 환경에서의 비행으로 확장할 필요가 있습니다.

요약하자면, 이 연구는 커리큘럼 학습과 정교한 보상 설계를 통해 드론이 예측 불가능한 장애물 속에서 인간 챔피언을 능가하는 속도와 안정성으로 레이싱할 수 있는 강력한 제어 정책을 개발했습니다.