Deep Reinforcement Learning for Spacecraft Attitude Control During Atmospheric Re-Entry

기술 요약: 대기 재진입 시 우주선 자세 제어를 위한 심층 강화 학습

문제 정의
본 논문은 대기 재진입(고도 93km에서 10km 사이) 중 극초음속 리프팅 바디(lifting-body) 우주선의 자세를 제어하는 과제를 다룹ان다. 이는 고도로 비선형적인 역학, 상당한 불확실성, 그리고 변화하는 환경 조건(마하 수, 동압)을 포함하는 안전 필수적(safety-critical) 추적 문제이다. 전통적인 방식은 게인 스케줄링(gain-scheduled) PID 제어기에 의존하며, 이는 특정 코너 케이스에 대한 광범위한 전문가 튜닝과 형식 검증을 필요로 한다. 저자들은 심층 강화 학습(Deep Reinforcement Learning, RL)이 "블랙박스" 특성으로 인해 검증 및 확인(V&V)이 복잡해지는 문제를 해결하면서도, 더 적응적이고 정밀하며 강건한 대안이 될 수 있는지 조사한다.

방법론
저자들은 연속적 오프-폴리시(off-policy) RL 프레임워크 내에서 우주선 자세 제어 문제를 공식화한다. 이들은 공력, 추력기 역학, 센서 지연을 포함하는 고충실도 6자유도 시뮬레이션 모델을 활용한다.

• 제어 아키텍처: 세 가지 아키텍처를 비교한다:
  1. 베이스라인(Baseline): 피드포워드 역역학(inverse dynamics)이 포함된 산업 표준 게인 스케줄링 PID 제어기.
  2. 순수 RL(Pure RL): 플랩 편향 변화량과 추력기 명령을 직접 출력하는 모델 프리(model-free) 에이전트 (MR.Q, TD7, TD3, SAC).
  3. 하이브리드 제어기(Hybrid Controllers):
     • 가산형 하이브리드(Additive Hybrid): RL 에이전트가 베이스라인 PID 출력에 더해질 잔차(residual) 명령을 출력함.
     • 게인 스케줄링 하이브리드(Gain-Scheduling Hybrid): RL 에이전트가 베이스라인 PID의 게인을 조정하기 위한 스케일링 인자(데시벨 단위)를 출력함.
• 알고리즘: 본 연구는 최신 연속 제어 알고리즘에 초점을 맞추며, 특히 TD3 기반 확장형(TD7, MR.Q)과 SAC 기반 확장을 비교한다. MR.Q(모델 기반 표현 학습을 이용한 Q-러닝)는 모델 기반 표현 학습과 손실 조정 우선순위 경험 재현(loss-adjusted prioritized experience replay)을 사용하는 점이 강조된다.
• 보상 함수: 조기 종료 인센티브를 방지하기 위해 엄격히 양수인 보상을 설계한다. 이는 받음각(angle of attack), 옆미끄럼각(sideslip), 뱅크각(bank angle)의 자세 추적 오차에 대한 지수적 감쇠와 과도한 추력기 사용 및 플랩 변화율에 대한 제어 비용 페널티를 결합한다.
• 일반화 전략: 분포 외(OOD) 일반화를 해결하기 위해 저자들은 다음을 채택한다:
  • 역학 무작위화(Dynamics Randomization, DR): 물리적 파라미터(질량, 관성 텐서, 액추에이터 대역폭)와 초기 자세를 훈련 중에 무작위화함.
  • 태스크 스케줄링(Task Scheduling): "어려운 태스크 우선"(SMT) 및 "능동적 멀티 태스크"(AMT) 전략을 균등 무작위 샘플링과 비교함.

주요 기여

1. 극초음파 재진입에 대한 SOTA RL 적용: 저자들은 고급 연속 제어 알고리 \text{즘}(특히 MR.Q)을 게인 스케줄링이 필요한 도전적인 우주선 자세 추적 문제에 적용한다. 이들은 MR.Q가 태스크별 튜닝 없이도 우수하게 작동하며, 명목 조건에서 환경 변화에 지속적으로 적응함으로써 전통적인 게인 스케줄링 PID 제어기를 능가함을 입증한다.
2. 강건성을 위한 하이브리드 제어: 본 논문은 순수 RL의 불투명성과 안정성 문제를 완화하기 위해 하이브리드 아키텍처를 탐구한다. 연구 결과, 순수 RL이 명목상으로는 베이스라인보다 뛰어난 성능을 보일 수 있지만, 하이브리드 제어기(특히 가산형 하이브리드)가 더 안전한 폴백(fallback) 메커니즘을 제공한다는 것을 발견했다. 베이스라인 PID는 검증된 안전 계층 역할을 하며, RL 에이전트는 성능을 향상하거나 변동에 적응한다.
3. 훈련 전략 평가: 연구는 역학 무작위화와 태스크 스케줄링 접근 방식을 체계적으로 비교한다. 저자들은 연속 균등 역학 무작위화가 일반화를 강제하는 데 충분하고 효과적인 반면, 복잡한 태스크 스케줄링 전략(SMT 또는 AMT)은 이 특정 영역에서 우수한 결과를 내지 못하고 훈련 불안정성을 유발한다는 것을 결정한다.

결과

• 명목 성능: 명목 조건에서 MR.Q 알고리즘(순수 및 가산형 하이브리드 모두)은 산업 표준 베이스라인에 비해 더 높은 누적 수익과 더 정밀한 받음각 추적을 달성한다. 받음각의 오차 분포는 학습된 제어기에서 더 좁게 나타나지만, 베이스라인은 오차가 0 근처에 더 집중되는 경향을 보인다.
• 분포 외(OOD) 일반화:
  • 초기 자세 및 관성 텐서의 변화에 대해서만 훈련된 정책은 일반화가 잘 되지 않으며, 베이스라인보다 성능이 떨어지는 경우가 많다.
  • **역학 무작위화(DR)**로 훈련된 정책은 현저히 개선된 강건성을 보여준다. 이들은 베이스라인이 실패하는 지점(특히 낮은 액추에이터 대역폭 상황)에서도 질량, 관성 및 액추에이터 대역폭의 변화에 대해 높은 성공률(>93%)을 유지한다.
  • DR로 훈련된 가산형 하이브리드 제어기가 가장 좋은 균형을 보여, 베이스라인 대비 공력 각도의 90, 95, 98 백분위 오차를 줄이면서 최고 성공률(최대 94-99%)을 달성한다.
• 태스크 스케줄링: 태스크 스케줄링 방법(SMT, AMT)은 단순 균등 역학 무작위화보다 우수하지 않았다. 어떤 경우에는 "어려운" 태스크에 먼저 집중하는 것(SMT)이 훈련 실패(성공률 0%)로 이어졌다.

의의 및 주장
본 논문은 심층 강화 학습이 하이브리드 제어 아키텍처와 결합되고 역학 무작위화를 통해 훈련될 때, 극초음파 재진입의 운용 범위 내에서 전통적인 게인 스케줄링 PID 제어기보다 우수한 강건성과 추적 성능을 달성할 수 있다고 주장한다.

저자들은 순수 RL이 높은 성능을 제공하지만, 하이브리드 접근 방식이 비행 가능 시스템을 위한 가장 유망한 후보임을 강조한다. 이 아키텍처는 검증된 베이스라인 제어기를 유지함으로써 내재적인 안전성을 제공하며, 시스템이 검증된 도메인의 경계에 접근할 경우 감독 로직을 통해 RL 구성 요분을 제한하거나 비활성화할 수 있게 한다. 연구는 MR.Q가 모델 기반 표현 및 다단계 리턴 덕분에 특히 효과적이며, 단순 역학 무작위화가 일반화를 보장하기 위한 복잡한 태스크 스케줄링보다 더 신뢰할 수 있는 훈련 전략이라는 결론을 내린다. 이 연구는 엄격하게 정의된 운용 범위 내에서 신뢰성에 대한 통계적 증거를 제공함으로써, 적응형 AI와 우주 비행의 엄격한 V&V 요구 사항 사이의 간극을 메우는 것을 목표로 한다.