Multistep Belief Space Dynamics Learning For Risk-Aware Control

기술 요약: 위험 인식 제어를 위한 다단계 신념 공간 역학 학습

문제 제기
자율 주행 차량이 통제된 연구 환경에서 실용적인 현실 세계 배포로 전환됨에 따라, 인간 운전 행동과 자율 시스템 성능 사이에는 특히 비구조화된 오프로드 환경에서 상당한 격차가 존재합니다. 현재의 계획 및 제어 시스템은 종종 역학적 불확실성에 대처하는 데 어려움을 겪어, 지나치게 보수적인 행동이나 공격적인 실패로 이어집니다. 핵심적인 과제는 역학적 불확실성이 시간에 따라 어떻게 진화하는지 예측하고, 과도한 휴리스틱이나 수동 튜닝에 의존하지 않고 이러한 진화를 고려한 계획을 최적화하는 것입니다. 샘플링 기반 모델 예측 경로 적분 (MPPI) 제어와 같은 기존 방법들은 종종 견고한 불확실성 전파가 부족하거나 다양한 지형과 조건에서 일반화에 실패합니다.

방법론
저자들은 학습된 분포 역학 모델을 통합한 모델 예측 제어 (MPC) 기반의 위험 인식 계획 아키텍처를 제안합니다. 이 접근법은 매개변수 기반 물리 방정식과 신경망 구성 요소를 결합하여 하이브리드 아키텍처를 생성합니다.

• 분포 역학 학습: 시스템은 불확실성을 가우시안 분포로 표현하는 이산 시간 비선형 시스템으로서 차량 역학을 모델링합니다. 역학은 알려진 물리 (타이어 모델 및 운동학 등) 를 기반으로 한 매개변수 함수 $\hat{f}$와 학습된 보상 항 $\zeta$(신경망) 로 보강된 근사 함수로 표현됩니다.

  • 평균 예측: 평균 역학은 상태 공간이 아닌 힘 공간에서 예측되어 기하학적 변환을 활용하고 정확도를 향상시킵니다. 하이브리드 아키텍처는 초기화 네트워크가 역사적 버퍼를 기반으로 예측 네트워크의 숨겨진 상태와 셀 상태를 예측하는 초기화 LSTM(I-LSTM) 을 사용합니다.
  • 불확실성 전파: 프로세스 노이즈 행렬 $\hat{Q}$는 구조화된 접근 방식을 사용하여 예측됩니다. 이는 매개변수 방정식과 야코비안에서 유도된 구조화된 성분과 상부 대각 행렬로 예측되는 비구조화된 성분으로 분할됩니다. 이를 통해 학습된 불확실성이 변수 간의 물리적 관계를 존중하도록 보장합니다.
  • 폐루프 근사: 궤적 끝에서 과도하게 큰 불확실성이 발생하는 것 (개방 루프 예측의 일반적인 문제) 을 방지하기 위해, 시스템은 런타임 동안 상태 야코비안에 피드백 이득을 적용하여 휴리스틱하게 폐루프 불확실성 감소를 근사화합니다.

• 제어 아키텍처 (MPPI): 계획 스택은 샘플링 기반 확률적 최적화기인 컬러드 MPPI 를 활용합니다.

  • 언센티드 변환: 몬테카를로 샘플링 오버헤드 없이 비선형 비용 함수를 처리하기 위해 시스템은 언센티드 변환 (UT) 을 사용합니다. 이는 가우시안 신념 상태에서 시그마 포인트 집합을 생성하여 GPU 에서 병렬로 역학과 비용 함수를 통해 전파합니다.
  • 위험 측정: 궤적의 비용은 단순히 평균이 아닌 조건부 가치 위험 (CVaR) 또는 시그마 포인트의 최대 비용을 사용하여 평가됩니다. 이를 통해 시스템이 고위험 결과를 직접적으로 패널티로 부과할 수 있습니다.
  • 비용 함수: 비용 함수는 그리드 셀 기반의 주행 가능성 비용, 물리 기반 제약 조건 (예: 전복 위험, 서스펜션 힘), 공격적인 행동 (미끄러짐, 가속) 에 대한 소프트 페널티, 그리고 지형 기하학에서 유도된 속도 제한을 포함합니다.

주요 기여

1. 새로운 프레임워크: 매개변수 구조와 신경망 보상을 결합하여 일반적인 비선형 시스템에서 분포 역학을 학습하기 위한 계산 효율적인 프레임워크.
2. 엄격한 제거 연구: 대규모 실외 오프로드 주행 데이터셋에 대한 포괄적인 분석. 이 연구는 구조적 선택 (예: 힘 공간 예측, 하이브리드 노이즈 모델링, 초기화 네트워크) 의 영향을 평가하고, 구조화된 학습이 순수하게 학습된 접근법이나 비구조화된 접근법보다 훨씬 우수함을 입증합니다.
3. 하드웨어 검증: 학습된 모델과 계획 스택을 풀 사이즈 Polaris S4 1000 RZR 차량에 배포. 시스템은 개입 없이 다양한 도전적인 오프로드 지형 수 마일을 성공적으로 주행하여 문맥 인식의 창발적 행동을 입증했습니다.

결과

• 제거 연구 결과: 힘 공간에서 역학을 예측하고 프로세스 노이즈에 하이브리드 구조 (매개변수 야코비안과 학습된 성분의 결합) 를 사용하는 것이 가장 좋은 성능을 보였습니다. 또한 역사적 문맥에 기반하여 LSTM 숨겨진 상태를 초기화하는 것이 평균 예측 정확도를 크게 향상시켰으며, 초기화 네트워크의 구체적인 크기는 미미한 영향을 미쳤음이 밝혀졌습니다.
• 하드웨어 성능: 차량은 열린 지역에서는 공격적으로 주행하고 제한되거나 불확실한 환경에서는 속도를 늦추는 지능적인 속도 조절을 보여주었습니다.
  • 장거리 주행: 시스템은 밀집된 식생, 도랑, 경사면을 포함한 다양한 지형에 적응하며 약 8.7 분에 3.5km 를 주행하여 평균 6.2 m/s 의 속도를 기록했습니다.
  • 사례 연구: 나무와 도랑 사이의 좁은 간격을 통과하는 특정 시나리오에서, 불확실성을 인식한 계획기는 차량을 감속시켜 불확실성 타원체가 간격을 통과하도록 하여 이전 휴리스틱 기반 시스템에서 발생했던 전복을 방지했습니다. 반면, 열린 진흙에서는 시스템이 높은 속도를 유지하고 미끄러짐에서 정지 없이 회복했는데, 이는 위험 패널티가 불확실성의 단순한 존재가 아닌 장애물 충돌과 연결되었기 때문입니다.
  • 위험 튜닝: 실험은 불확실성 팽창 매개변수 ($c_\sigma$) 를 튜닝하는 것이 공격성에 직접적인 영향을 미친다는 것을 보여주었습니다. $c_\sigma$가 낮을수록 트레일에서 평균 속도가 더 높았습니다 (9.5 m/s 대비 10.75 m/s). 이는 단일 매개변수를 기반으로 위험과 속도 사이의 균형을 맞출 수 있는 시스템의 능력을 입증합니다.

의의
본 논문은 제안된 아키텍처가 환경별 재튜닝이나 명시적 모드 전환 없이 다양한 오프로드 주행 수 마일을 처리할 수 있는 단일 통합 설정을 제공한다고 주장합니다. 제어 제약에 방향성 있고 구체적인 분포 역학을 학습함으로써, 시스템은 환경의 복잡성에 따라 속도를 자연스럽게 조절하는 인간 운전과 유사한 수준의 위험 인식 행동을 달성합니다. 이 작업은 물리 기반 제약과 같은 원칙적인 근사법을 학습된 불확실성과 결합함으로써 실제 세계의 노이즈와 복잡성에 대한 견고한 일반화를 가능하게 함을 강조하며, 이는 재난 대응, 농업, 그리고 외계 탐사를 위한 자율 시스템 배포를 위한 중요한 단계입니다.