기술 요약: RL 기반 쿼드콥터 제어의 성능 튜닝을 위한 휴리스틱 접근법

문제 제기

강화 학습 (RL) 은 드론 레이싱이나 복잡한 환경 내 항법과 같은 고속·기동성 쿼드콥터 작업에서 뛰어난 능력을 입증해 왔으나, 인프라 점검과 같은 응용 분야에서 요구되는 조정 가능하고 정밀하며 제어된 기동을 제공하는 능력은 종종 부족합니다. 일반적인 RL 훈련 설정은 경직되어 있어, 막대한 계산 비용을 치르지 않고는 생성된 동작을 특정 제어 이론적 지표 (예: 정착 시간, 오버슈트, 정상 상태 오차) 를 충족하도록 반복적으로 튜닝하기 어렵습니다. 또한 직관적인 튜닝 휴리스틱을 제공하는 고전적인 비례 - 적분 - 미분 (PID) 제어기와 달리, RL 보상 함수는 종종 복잡하며 특정 과도 및 정상 상태 성능 요구 사항과 매핑하기 어렵습니다.

방법론

저자들은 보상 설계와 종료 조건을 조작함으로써 엔드 - 투 - 엔드 RL 기반 쿼드콥터 제어에서 조정 가능한 성능을 달성하기 위한 새로운 휴리스틱 접근법을 제안합니다. 시스템은 근접 정책 최적화 (PPO) 알고리즘을 사용하여 부분 관측 가능 마르코프 의사 결정 과정 (POMDP) 으로 모델링됩니다.

1. 시스템 및 관측

• 플랫폼: 본 연구는 $X$형 구성의 Crazyflie 2.1 쿼드콥터를 활용합니다.
• 동역학: 시스템은 특이점을 피하기 위해 단위 쿼터니언을 사용하여 방향을 표현하며, 추력, 토크, 중력을 포함한 강체 동역학을 모델링합니다.
• 관측 공간: 에이전트는 위치 오차, 쿼터니언 오차, 선형 속도, 각속도, 그리고 이전 행동을 포함하는 17 차원 벡터를 관측합니다. 실시간 센서 노이즈에 대한 강인성을 향상시키기 위해 이전 행동을 제외한 모든 상태 구성 요소에 가우시안 노이즈가 주입됩니다.
• 행동 공간: 정책은 정규화된 모터 RPM 값을 출력하여 드론의 네 개 모터에 직접 매핑합니다.

2. 보상 함수 설계

정책을 안정화 제어 방향으로 유도하기 위해 다중 구성 요소 보상 함수가 설계되었습니다:
$$R(t) = s_R + \lambda_1 e^R_{xy} + \lambda_2 e^R_{z} + \lambda_3 v_R + \lambda_4 \theta_R - \lambda_5 a^P_{\Delta}$$

• 생존 보상 ($s_R$): 에이전트가 충돌이나 위험한 상태를 피하도록 장려합니다.
• 위치 오차 보상 ($e^R_{xy}, e^R_z$): 이중 대역폭 지수 보상을 활용합니다. 이 구조는 보상 초기 응답 ($\alpha$) 에 영향을 미치는 계수와 정상 상태 정밀도 ($\beta$) 에 영향을 미치는 계수로 보상을 분할합니다.
• 속도 및 각도 보상 ($v_R, \theta_R$): 선형 속도와 방향 오차 (측지선 각을 통해 측정됨) 의 감소를 보상합니다.
• 부드러움 패널티 ($a^P_{\Delta}$): 연속된 행동 간의 차이에 대한 유클리드 노름의 제곱을 패널티로 부과하여, 미분과 유사한 제어 동작을 장려하는 감쇠 항으로 작용합니다.

3. 종료 및 잘라내기 조건

저자들은 특정 실패 조건 (예: 10cm 미만 하강, 과도한 가속도) 및 잘라내기 지평선을 정의합니다. 이러한 조건은 쿼드콥터의 동작을 제약하도록 튜닝되어 기동성과 응답의 임계 감쇠 특성에 영향을 미칩니다.

4. 휴리스틱 튜닝 규칙

핵심 기여는 보상 가중치, 지수 계수, 종료 경계를 조정하여 성능을 세 가지 명확한 모드 간에 전환하기 위한 직관적인 휴리스틱 세트입니다:

• 기준선 (Baseline): 낮은 정상 상태 오차를 가진 임계 감쇠 응답.
• 아크로바틱 (빠름): 위치 오차의 초기 응답 대역폭을 증가시키고 속도 제약을 완화하여 더 빠른 정착 시간을 달성합니다.
• 점검 (느림): 속도 종료 경계를 축소하고 위치 오차 보상의 날카로움을 증가시키며, 지역 최소값을 피하기 위해 생존 보상을 완화하여 더 부드럽고 느린 과도 현상을 유도합니다.

주요 기여

1. 새로운 보상 구조: 설정점 추적에서 낮은 정상 상태 오차를 가진 임계 감쇠 기준선 응답을 달성하는 이중 대역폭 지수 보상 도입.
2. 조정 가능한 휴리스틱: 보상 가중치와 종료 조건을 조정하여 "아크로바틱과 유사한 (빠른)" 및 "점검과 유사한 (느린)" 정착 시간을 생성하면서도 기준선 정상 상태 오차 특성을 유지하는 직관적 규칙의 프레임워크.
3. 샘플 효율성: 복잡한 하이브리드 아키텍처 (예: PID 와 결합된 RL) 가 필요 없이 PPO 를 사용하여 약 6 백만 시간 단계에서 원하는 성능을 달성할 수 있음을 입증.
4. 통계적 검증: 무작위 초기 조건을 가진 100 회 시험을 통한 검증으로, 위치 및 요 (yaw) 추적 전반에 걸쳐 일관된 성능을 입증.

결과

저자들은 동일한 PPO 하이퍼파라미터를 사용하여 세 가지 다른 정책 (기준선, 아크로바틱, 점검) 을 훈련했습니다.

• 훈련 효율성: 모든 정책은 6 백만 시간 단계에서 보상 포화에 도달했습니다. 무작위 시드 간 분산이 낮아 안정성을 나타냈습니다.
• 성능 지표:
  • 정착 시간: 아크로바틱 정책은 일관되게 더 짧은 정착 시간을 달성한 반면, 점검 정책은 기준선에 비해 더 길고 부드러운 과도 현상을 보였습니다.
  • 오버슈트: x, y, z 위치 변수는 오버슈트에서 0 의 사분위 범위 (IQR) 를 보여, 최소 75% 의 시험이 의도된 임계 감쇠 응답을 달성했음을 나타냅니다. 요 (yaw) 오버슈트는 무작위화된 초기 조건으로 인해 더 컸습니다.
  • 정상 상태 오차: 세 가지 정책 모두 위치와 요에 대해 지정된 2% 밴드 내에서 정상 상태 오차를 유지했습니다.
• 모터 작동: 점검 정책은 더 공격적인 아크로바틱 정책보다 적은 모터 작동을 요구했으며, RPM 안정화 측면에서 더 빠르게 정착했습니다.

의의 및 주장

본 논문은 제안된 휴리스틱 접근법이 조정 가능한 안정화 성능을 가진 RL 기반 쿼드콥터 제어기를 설계하기 위한 신뢰할 수 있고 실용적인 방법론임을 주장합니다. 고정된 기대치를 가진 단일 정책을 훈련하는 데 중점을 둔 이전의 하이브리드 접근법과 달리, 이 작업은 직관적인 매개변수 조정을 통해 정책의 성능 특성 (과도 대 정상 상태) 을 제어하는 메커니즘을 제공합니다.

저자들은 이 접근법이 RL 의 유연성과 고전 제어 이론의 예측 가능성 사이의 간극을 좁혀, 고속 레이싱부터 정밀한 인프라 점검에 이르기까지 다양한 응용 분야에 적합한 제어기를 생성할 수 있게 한다고 강조합니다. 본 작업은 범위가 제한적이며 가우시안 노이즈를 사용한 시뮬레이션 기반 검증에 초점을 맞추고 있으며, 시뮬레이션 - 현실 전이 (sim-to-real transfer), 도메인 무작위화, 지연, 그리고 온보드 계산적 한계를 향후 연구에 필요한 영역으로 명시적으로 지적합니다.