기술 요약: 강화학습을 통한 쿼드콥터의 적응형 외루프 제어

문제 제기

복잡한 실제 환경에서의 자율 쿼드콥터 비행 제어는 모델링되지 않은 역학, 즉 심각한 공기역학적 교란, 작동기 마모, 갑작스러운 페이로드 변화 등으로 인해 상당한 도전에 직면해 있습니다. 전통적인 제어 방법 (PID, LQR, MPC) 은 명시적인 수학적 모델에 의존하며, 이러한 불확실성 하에서는 종종 급격히 성능이 저하됩니다. 딥 강화학습 (DRL) 은 모델이 없는 대안을 제공하지만, 시뮬레이션에서 훈련된 표준 DRL 제어기는 '시뮬레이션에서 현실로 (sim-to-real)'의 간극으로 고통받습니다. 지배적인 해결책인 도메인 무작위화 (DR) 는 견고한 정책을 생성하지만, 최악의 경우 성능을 극대화하는 단일하고 지나치게 보수적인 전략을 학습하도록 제어기를 강요합니다. 이 접근법은 환경의 즉각적인 상태를 제어기가 인식하지 못하기 때문에 정상 조건에서의 민첩성과 최적 성능을 희생합니다.

핵심 연구 질문은 다음과 같습니다: 학습 기반 비행 제어기가 과거 상태로부터 모델링되지 않은 물리적 교란을 동적으로 추정하고, 이러한 잠재 정보를 활용하여 최적의 추적 성능을 유지하면서 시뮬레이션과 현실 간의 간극을 매끄럽게 연결할 수 있는 방법은 무엇인가?

방법론

저자들은 제어기가 즉각적인 교란을 능동적으로 감지하고 반응하도록 함으로써 정적이고 보수적인 정책을 넘어선 새로운 적응형 제어 아키텍처를 제안합니다. 이 시스템은 고수준 강화학습 (RL) 정책이 외루프 제어기로 작용하여 원하는 몸체 각속도와 총 추력을 출력하고, 이를 온보드 PID 속도 제어기가 추적하는 계단식 제어 구조를 기반으로 구축됩니다.

방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 오라클 베이스라인이 있는 적응형 제어기:
   성능의 상한선을 확립하기 위해 저자들은 먼저 6 차원 환경 교란 (힘과 모멘트) 에 대한 실제 값을 접근할 수 있는 '오라클'과 함께 RL 정책을 훈련합니다. 이 정책은 일반적인 절충안이 아닌 특정 동적 변화에 대한 최적의 반응을 학습합니다. 그러나 물리적 마이크로 UAV 는 이러한 힘을 실시간으로 측정할 센서가 없으므로, 이 오라클은 직접 배포될 수 없습니다.

2. 잔여 역학 예측기 (RDP):
   실제 세계 배포 시 오라클을 대체하기 위해 저자들은 비선형 암시적 상태 추정기로 설계된 순환 신경망 (RDP) 을 도입합니다. RDP 는 차량 상태의 시간적 기록과 저수준 작동 신호만을 사용하여 관찰되지 않은 6 차원 외부 힘과 모멘트를 추정합니다.

   • 입력: RDP 는 차량 운동학 상태의 창, 이전 외루프 동작, 그리고 개별 모터에 명령된 4 차원 펄스 폭 변조 (PWM) 신호를 입력으로 받습니다. PWM 신호의 포함은 과도 작동기 상태와 모터 지연을 포착하는 데 필수적입니다.
   • 아키텍처: 이 네트워크는 표준화된 관측치의 롤링 역사적 창을 처리하기 위해 게이트 순환 유닛 (GRU) 을 활용하여 예측된 6 차원 교란 벡터를 출력합니다.

3. 데이터 효율적인 시뮬레이션 - 현실 보정 브릿지:
   시뮬레이션에서 훈련된 추정기와 물리적 현실 간의 불일치를 해결하기 위해 저자들은 경량 선형 보정 계층을 도입합니다. 광범위한 재훈련 대신, 다변량 선형 회귀 모델을 적합시키기 위해 최소 데이터셋 (세 번의 짧은 비행 샘플) 을 사용합니다. 이 브릿지는 질량 분포 비대칭이나 배터리 전압 곡선과 같은 정적 오프셋을 보정합니다. 또한, 온라인 추력 보정 메커니즘은 고도 추적 오차를 누적하여 일정한 수직 힘 오프셋을 조정하여 추정기의 잠재 공간이 물리적 현실과 정렬되도록 합니다.

주요 기여

• 적응형 RL 제어기: 오라클을 사용하여 훈련된 외루프 제어기를 개발하여 다양한 외부 힘에 대한 최적의 반응을 학습하고, DR 의 보수적 성향에서 벗어났습니다.
• 잔여 역학 예측기 (RDP): 상태 기록과 모터 명령만을 사용하여 6 차원 물리적 교란을 암시적으로 예측하는 순환 신경망을 설계하여, 실제 교란 센서의 필요성을 효과적으로 대체했습니다.
• 데이터 효율적인 시뮬레이션 - 현실 브릿지: 시뮬레이션에서 훈련된 추정기를 현실과 정렬시키기 위해 계산적으로 경량인 선형 보정 계층과 온라인 추력 보정을 도입하여, 대규모 실제 데이터셋 없이도 몇 초의 비행 데이터만으로 간극을 해소했습니다.

실험 결과

이 접근법은 중앙 페이로드 질량 변화, 비대칭 페이로드 분포, 그리고 매달린 하중을 가진 동적 궤적 추적을 포함하는 세 가지 실제 시나리오에서 Bitcraze Crazyflie 2.X 마이크로 쿼드콥터에서 검증되었습니다.

• 중앙 페이로드 변화: 학습된 RDP 가 있는 적응형 제어기는 페이로드가 0% 에서 25% 로 증가하는 구간에서 0.024m 에서 0.030m 의 평균 제곱근 오차 (RMSE) 를 달성했습니다. 이는 25% 하중에서 0.160m 로 저하된 베이스 제어기 (Base Controller) 와 0% 하중에서도 심각한 진동 불안정성을 보인 견고한 제어기 (Robust Controller) 보다 우수한 성능을 보였습니다. 특히 RDP 기반 제어기는 오라클 기반 버전보다 약간 더 나은 성능을 보였는데, 이는 학습된 잠재 표현이 경직된 물리적 입력보다 모델링 불일치를 암시적으로 더 잘 보상함을 시사합니다.
• 비대칭 페이로드: 병진 및 회전 교란이 결합된 시나리오에서 적응형 제어기는 베이스라인에 비해 훨씬 낮은 추적 오차를 유지했습니다. RDP 는 유도된 롤 (roll) 및 피치 (pitch) 모멘트를 성공적으로 추정하여 제어기가 이러한 토크를 분리하고 상쇄할 수 있게 했습니다.
• 동적 궤적 추적: 매달린 하중을 가진 8 자형 궤적을 추적할 때, 시스템은 궤적의 공격성이 증가하더라도 (주기 T 가 15 초에서 3 초로 감소) 안정적인 비행을 유지했습니다. 대역폭 제한으로 인해 공격성이 증가함에 따라 추적 오차가 증가했지만, 시스템은 발산 없이 안정적으로 유지되었습니다. RDP 는 매달린 하중의 시간에 따라 변하는 진동 역학을 성공적으로 포착했습니다.

의의 및 주장

이 논문은 안정적이고 최적의 비행 추적을 유지하는 데 있어 수동적 견고성 (DR) 보다 능동적 실시간 적응이 근본적으로 우수하다고 주장합니다. 주요 통찰력은 다음과 같습니다:

• 암시적 추정의 충분성: 복잡한 6 차원 외부 힘과 모멘트는 전용 힘 - 토크 센서 없이도 표준 온보드 운동학 및 작동기 신호만을 사용하여 정확하게 재구성될 수 있습니다.
• 제어 관련성 대 정확한 추정: 고성능을 위해 실제 물리량의 정확한 재구성이 반드시 필요한 것은 아닙니다. 네트워크가 교란 추세의 일관되고 제어 관련 표현을 생성한다면, 유계 추정 오차 (예: 질량 추정에서 3%~7%) 로도 충분합니다.
• 효율적인 시뮬레이션 - 현실 전이: 시뮬레이션과 현실 간의 불일치는 저차 선형 관계로 근사할 수 있습니다. 이는 복잡한 비선형 도메인 적응이나 광범위한 재훈련 없이 경량 선형 보정과 온라인 보정을 사용하여 시뮬레이션 - 현실 간극을 효과적으로 연결할 수 있게 합니다.
• 분리된 훈련의 효과성: 부분 관측 환경에서 종종 발생하는 불안정성과 샘플 비효율성을 우회하기 위해, 학습된 추정기로 전환하기 전에 오라클을 사용하여 최적 정책을 훈련하는 것이 효과적입니다.

저자들은 이 아키텍처가 질량 변화 및 동적 슬링 하중과 같은 심각한 동적 불확실성 하에서도 마이크로 쿼드콥터가 고전적 및 견고한 RL 베이스라인을 크게 능가하는 정밀도로 작동할 수 있게 한다고 결론지었습니다. 향후 연구는 난류 돌풍 및 더 큰 플랫폼으로 이 프레임워크를 확장하는 것을 목표로 합니다.