기술 요약: 고차원 시스템을 위한 MPC 감독이 포함된 신경 역방향 도달-회피 튜브

문제 제기

자율 우주선 도킹은 강하게 결합된 고차원 병진 - 회전 역학 하에서 충돌 회피와 목표 도달성을 모두 보장하는 제어 정책을 요구합니다. 해밀턴 - 야코비 (HJ) 도달성 이론은 이러한 "도달 - 회피" 문제에 대한 형식적 보장을 제공하지만, 고전적인 그리드 기반 솔버는 차원의 저주로 인해 제한되어 일반적으로 5 차 또는 6 차 시스템에 대한 실용적 적용에 국한됩니다. 6 자유도 (6-DOF) 역학을 포함하는 우주선 도킹은 13 차원 상태 공간을 생성하여 그리드 기반 방법을 계산적으로 처리 불가능하게 만듭니다.

딥리치 (DeepReach) 와 같은 기존 학습 기반 접근법은 신경망을 사용하여 HJ 가치 함수를 근사함으로써 더 높은 차원으로 확장하려 시도합니다. 그러나 이러한 방법은 목표 집합 (도킹 포트) 과 실패 집합 (충돌 구역) 이 강하게 결합된 도달 - 회피 설정에서 특히 어려움을 겪습니다. 도달 - 회피 변분 부등식 (VI) 의 중첩된 min-max 구조는 상태 공간의 넓은 영역에서 기울기 소실을 유발하여 불안정한 학습과 비최적 정책을 초래합니다. 또한, 순수한 편미분방정식 (PDE) 기반 학습은 도킹 작업에 필요한 긴 시간 범위에서 수렴하지 못하는 경우가 많습니다.

방법론

저자들은 이러한 과제를 해결하기 위해 HJ 구조와 모델 예측 제어 (MPC) 감독을 통합한 학습 기반 역방향 도달 - 회피 튜브 (BRAT) 프레임워크를 제안합니다. 이 접근법은 오프라인 학습 단계와 온라인 배포 단계로 구성됩니다.

오프라인 학습: MPC 감독 커리큘럼 학습

핵심 혁신은 커리큘럼 기반 MPC 감독으로 표준 PDE 잔차 최소화를 보강하는 학습 전략입니다.

1. 신경 아키텍처: HJ 가치 함수는 경계 조건이 구성상 만족되도록 정확한 경계 조건 파라미터화를 갖춘 SIREN (Sinusoidal Representation Networks) 신경망을 사용하여 근사됩니다.
2. 하이브리드 손실 함수: 네트워크는 결합된 손실을 최소화하도록 학습됩니다.
   • PDE 손실: 도달 - 회피 변분 부등식 위반에 대한 패널티를 부과합니다.
   • MPC 감독 손실: MPC 솔버에서 생성된 가치 목표를 사용합니다. 이러한 레이블은 PDE 잔차 신호가 약한 영역 (예: 활성 경계에서 멀리 떨어진 영역) 에서 직접적인 감독을 제공합니다.
3. 학습 - 검증 - 정제 사이클: 긴 시간 범위 가치 함수 학습의 시간적 과제를 처리하기 위해 저자들은 능동 피드백 루프를 도입합니다. 학습은 시간 범위를 점진적으로 확장하는 커리큘럼으로 진행됩니다. 특정 체크포인트에서 학습이 일시 중단되어 홀드아웃 세트에 대한 MPC 비용 추정치와 현재 가치 함수를 검증합니다. 검증이 실패하면 현재 범위에서 학습이 계속됩니다. 중요하게도, MPC 레이블은 현재 학습된 정책을 "와밍 스타트"로 사용하여 각 체크포인트에서 재생성되며, 이는 개선된 네트워크 품질이 더 나은 감독 레이블로 이어지는 부트스트래핑 루프를 생성합니다.

온라인 배포: 듀얼 컨트롤러 아키텍처

학습된 가치 함수는 시스템이 학습된 BRAT 외부에 있을 때도 안전을 보장하기 위해 최소 제한 안전 필터 (회전 전용 BRT) 를 백업으로 사용하는 두 가지 실시간 컨트롤러를 통해 배포됩니다.

1. BRAT 기울기 컨트롤러:
   • 수렴 단계: 상태가 BRAT 외부 ($V > 0$) 일 때, 컨트롤러는 뱅 - 뱅 (bang-bang) 제어를 사용하여 가치 함수 기울기를 이용해 시스템을 BRAT 내부로 유도합니다.
   • 정밀 단계: BRAT 내부 ($V \leq 0$) 에 진입하면, 컨트롤러는 상태가 안전하게 유지되는 가장 좁은 시간 슬라이스를 찾기 위해 최소 시간 탐색을 수행하고 정밀한 종단 유도를 위해 뱅 - 뱅 제어를 적용합니다.
2. 종단 MPC 컨트롤러: 이 컨트롤러는 학습된 가치 함수를 미분 가능한 종단 비용으로 활용하는 짧은 시간 범위 MPC 를 사용하며, 짧은 시간 범위 계획의 계산 가능성과 신경망에 인코딩된 긴 시간 범위 도달 - 회피 정보를 결합합니다.

주요 기여

1. 도달 - 회피 문제로 확장: 저자들은 MPC 감독 딥리치를 도달 - 회피 문제로 확장하여 고차원 시스템에서 안정적인 학습을 가능하게 하는 학습 - 검증 - 정제 루프가 포함된 커리큘럼 기반 학습 전략을 도입했습니다.
2. 새로운 컨트롤러 스위트 개발: 학습된 가치 함수를 활용하여 안전한 도킹을 가능하게 하는 두 가지 실시간 컨트롤러 (BRAT-기울기 및 가치 함수 강화 종단 MPC) 를 개발했습니다.
3. 고차원 검증: 그리드 기반 기준truth 대비 검증된 6 차 평면 시스템과 전체 13 차 궤도 시스템을 포함한 점진적 충실도의 우주선 도킹 모델에 대한 평가.
4. 성능 우위: 제안된 방법이 성공률과 계산 효율성 모두에서 기존 MPC, 바니야 딥리치, 그리고 강화 학습 (RL) 기준보다 우수함을 입증했습니다.

결과

이 프레임워크는 6 차 평면 도킹 문제와 전체 13 차 궤도 도킹 문제에 대해 평가되었습니다.

• 6 차 평면 도킹:

  • 정확도: 학습된 BRAT 은 그리드 기반 기준truth과 밀접하게 일치하여 그리드 솔루션 대비 81.12% 의 True Positive Rate (TPR) 와 0.15% 의 낮은 False Positive Rate (FPR) 를 달성했습니다.
  • 성능: 제안된 BRAT 컨트롤러는 0% 충돌로 99.6% 의 도킹 성공률을 달성하여 그리드 기반 기준truth (99.8% 성공) 와 일치했습니다.
  • 효율성: BRAT 컨트롤러는 10.74ms 의 평균 계산 시간으로 실시간으로 작동하여 표준 MPC (5880ms) 및 종단 MPC (2246ms) 보다 훨씬 빨랐습니다.
  • 최적성: 학습된 컨트롤러는 그리드 기반 솔루션 (30.18 초) 보다 약간 빠른 평균 도킹 시간 (29.17 초) 을 달성했는데, 이는 신경망이 그리드 기반 솔버에 내재된 이산화 오차를 완화할 수 있는 능력에 기인합니다.

• 13 차 궤도 도킹:

  • 확장성: 이 프레임워크는 그리드 기반 솔버가 처리 불가능한 영역인 13 차 시스템으로 성공적으로 확장되었습니다.
  • 성능: BRAT 컨트롤러는 10,000 개의 균일하게 샘플링된 초기 조건에 대해 98.88% 의 도킹 성공률과 0.58% 의 충돌률을 달성했습니다.
  • 비교: 기준 방법들은 13 차에서 크게 실패했습니다. 표준 MPC 는 27% 충돌률과 73% 타임아웃률을 보였습니다. 바니야 딥리치와 RL 기준은 거의 완전히 실패했습니다 (99.4% 타임아웃). 종단 MPC 는 83% 성공률을 달성했지만 제어 단계당 약 12.7 초가 소요되어 실시간 온보드 실행에는 비실용적이었습니다. 제안된 BRAT 컨트롤러는 단계당 16.00ms 의 실행 시간을 유지했습니다.

중요성과 주장

이 논문은 우주선 도킹과 같은 고차원 결합 역학 시스템에 형식적 도달 - 회피 보장을 적용하는 데 있어 중요한 격차를 해소했다고 주장합니다. MPC 감독을 PDE 기반 학습과 긴밀하게 통합함으로써 저자들은 도달 - 회피 설정에서 순수 PDE 기반 학습의 불안정성을 극복했습니다.

이 작업의 중요성은 다음과 같은 컨트롤러를 합성할 수 있는 능력에 있습니다.

1. 형식적 안전성: HJ 프레임워크를 통해 도달 - 회피 보장을 제공할 수 있습니다.
2. 확장성: 기존 그리드 방법이 실패하는 13 차원 상태 공간에서 효과적입니다.
3. 계산 효율성: 고차원 문제에 대해 너무 느린 최적화 기반 MPC 와 달리 온보드 하드웨어에서 실시간 실행이 가능합니다.
4. 강건성: 학습 기반 접근법을 일반적으로 혼란스럽게 만드는 목표 집합과 실패 집합 간의 긴밀한 결합을 처리할 수 있습니다.

저자들은 현재 공식화가 교란이 없는 환경과 정지된 목표를 가정한다고 지적합니다. 향후 작업은 미분 게임 공식을 통해 유계 교란을 포함하도록 프레임워크를 확장하고, 시간 가변 목표 집합을 가진 회전하는 목표를 처리하는 것으로 식별됩니다.