기술 요약: 신호 시계열 논리 명세를 가진 확률적 비선형 시스템에 대한 피드백 운동 계획

문제 공식화

본 논문은 신호 시계열 논리 (STL) 명세에 직면한 연속 시간 확률적 비선형 시스템에 대한 피드백 운동 계획의 과제를 다룹니다. 공간적 경계만 인코딩하는 고전적인 안전 집합 제약과 달리, STL 은 순서 ("A 를 방문한 후 B 로 이동"), 기한, 지속성과 같은 복잡한 시공간 요구사항을 명세할 수 있습니다.

핵심적인 어려움은 센서 또는 작동기 잡음과 같은 모델링되지 않은 동역학과 외부 섭동의 존재에 있으며, 이는 무제한 확률적 잡음으로 모델링됩니다. 이러한 환경에서 최악의 경우를 가정한 강인 제어 방법은 지나치게 보수적이 됩니다. 반면, 기존 확률적 접근법은 연속 시간 비선형 시스템으로 확장되지 않거나 엄격한 보장을 제공하지 못하는 경우가 많습니다. 구체적인 문제는 확률 제약 STL 궤적 최적화로 공식화됩니다: 확률적 궤적 $X_t$가 STL 공식 $\phi$를 높은 확률 (예: $1-\delta \geq 99.99\%$) 로 만족하도록 보장하면서 비용 함수를 최소화하는 제어 정책 $u$를 찾는 것입니다.

주요 과제는 STL 의 논리적 및 시간적 구조를 동시에 만족시키면서, 셀 수 없는 많은 시간 순간에 걸친 궤적 수준의 확률 제약을 부과하는 것이 계산적으로 불가능하다는 점입니다.

방법론

저자들은 계산적으로 불가능한 확률적 문제를 제약이 강화된 결정론적 STL 궤적 최적화 (STLTO) 문제로 변환하는 체계적인 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 술어 침식 전략

핵심 아이디어는 무작위성과 논리를 분리하는 것입니다. 저자들은 원래 STL 술어를 "침식" (강화) 하여 결정론적 대리 문제를 생성하는 술어 침식 전략을 도입합니다.

• 메커니즘: 확률적 궤적 $X_t$와 연관된 명목 결정론적 궤적 $x_t$ 사이의 편차를 제한하기 위해 확률 도달 튜브 (PRT) 가 구성됩니다.
• 변환: 명목 궤적이 "침식된" STL 공식 $\tilde{\phi}$를 만족하면 (여기서 각 술어 집합 $C$는 $C \ominus E_t$로 대체되며, $E_t$는 튜브 단면임), 확률적 궤적은 최소한 $1-\delta$ 확률로 원래 공식 $\phi$를 만족함이 보장됩니다.
• 결과: 이는 확률 제약 문제를 기존 수치 도구를 사용하여 풀 수 있는 표준 결정론적 최적화 문제 (8) 로 변환합니다.

2. 수축 기반 PRT 구성

PRT 가 과도한 보수성을 피하기 위해 충분히 엄격하도록 보장하기 위해, 저자들은 수축 이론을 활용합니다.

• 피드백 설계: 폐루프 시스템이 강하게 수축되도록 피드백 추적 제어기가 설계됩니다. 이는 명목 궤적에서의 확률적 편차가 발산하지 않도록 보장합니다.
• 엄격한 경계: 새로운 아핀 마팅게일 (AM) 과 평균 모멘트 생성 함수 (AMGF) 를 사용하여 저자들은 PRT 에 대한 궤적 수준 경계 $r_{\delta,t}$를 유도합니다.
• 핵심 통찰: 유도된 경계는 $O(\sqrt{\log(T/\delta)})$로 스케일링되며, 이는 Itô 확률 시스템에 대해 가능한 가장 엄격한 의존성입니다. 이는 종종 시간 또는 이산화 단계에 선형적으로 스케일링되는 합집합 경계에 의존하는 방법보다 훨씬 덜 보수적입니다.

3. 피드백 운동 계획 파이프라인

프레임워크는 두 단계 합성 프로세스로 작동합니다:

1. 오프라인 계획: 명목 궤적 $(x^*, u^*)$과 순방향 제어를 얻기 위해 결정론적 대리 문제 (8) 를 풉니다.
2. 온라인 실행: $u_t = u^*_t + K_t(X_t; x^*_t, u^*_t)$라는 복합 제어 법칙을 적용합니다. 여기서 $K_t$는 명목 계획 주변에서 확률적 시스템을 안정화하는 추적 제어기 (예: 시간 가변 LQR 또는 시간 가변 제어 수축 메트릭) 입니다.

• 결합: 논문은 튜브 크기에 의존하는 계획 시간 범위와 튜브 크기를 결정하는 제어기 합성 사이의 결합을, 반복 알고리즘 또는 궤적 독립 TVCCM 합성을 사용한 비결합 설계를 통해 해결합니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

1. 연속 시간 STL 침식: 일반 연속 시간 비선형 시스템에 적용 가능한 PRT 기반 술어 침식을 통해 확률 제약 STL 궤적 최적화 문제를 결정론적 문제로 변환하는 체계적인 전략.
2. 엄격한 확률적 보장: 기존 이산 시간 또는 선형 전용 방법의 한계를 극복하고, 확률적 시스템에 대해 엄격한 확률적 보장 (예: $\geq 99.99\%$ 만족) 을 제공하는 피드백 제어 합성을 위한 완전한 파이프라인.
3. 엄격한 PRT 경계: 수축 이론과 마팅게일 기반 분석을 사용하여 개발된 엄격한 궤적 수준 PRT 경계로, 연속 시간에서 합집합 경계의 보수성을 피함.
4. 실증적 검증: 네 가지 로봇 벤치마크 (더블 적분기, 더빈스 카, PVTOL, 4 축 로터) 에 대한 광범위한 시뮬레이션과 4 족 로봇에 대한 실제 실험을 통해 프레임워크의 확장성과 효과성 입증.

결과

제안된 프레임워크는 네 가지 시뮬레이션 벤치마크와 실제 4 족 로봇 (Unitree Go1) 에서 평가되었습니다.

• 시뮬레이션 성능:

  • 이 방법은 네 가지 벤치마크 (더블 적분기, 더빈스 카, PVTOL, 3D 4 축 로터) 에 대해 10,000 회의 확률적 롤아웃에서 100% STL 명세 만족을 달성했습니다.
  • 기준 비교: "비강인" 결정론적 계획 및 "축소 시간 범위 MPC"(SHMPC) 를 포함한 경쟁 방법들은 현저히 낮은 만족률 (0.2% 에서 77.6% 사이) 을 보였으며, 이는 확률적 시스템에 대해 결정론적 계획만으로는 부족함을 입증합니다.
  • 보수성: 이산 시간 기준 (DPRT 및 STLCD) 과의 비교는 제안된 연속 시간 방법이 덜 보수적임을 보여주었습니다. 구체적으로, 제안된 방법의 침식 반경은 이산화 단계 크기 $N$에 독립적이며, 이산 시간 합집합 경계의 선형 스케일링과 비교하여 위험 수준 $\delta$에 대해 더 완만하게 ($\sqrt{\log(1/\delta)}$로) 스케일링됩니다.

• 실제 실험:

  • 이 프레임워크는 고수준의 단바퀴 추상화를 사용하여 Unitree Go1 4 족 로봇에 배포되었습니다.
  • 두 가지 다른 항해 작업 (도달 - 회피 및 통과 - 선행) 에 대한 50 회 하드웨어 실행에서 로봇은 상태 추정 잡음, 작동 잡음, 모델 불일치에도 불구하고 모든 시도에서 작업을 성공적으로 완료하고 STL 명세를 만족했습니다.

중요성 및 주장

저자들은 이 작업이 불확실성 하의 연속 시간 비선형 시스템에 대한 신뢰할 수 있는 고수준 시간 논리 계획을 가능하게 함으로써 로봇 자율성 분야에서 중요한 격차를 해소했다고 주장합니다.

• 보수성 극복: 본 논문은 기존 확률적 방법들이 합집합 경계로 인해 너무 보수적이거나 근사로 인해 형식적 보장이 부족하다고 주장합니다. 제안된 PRT 기반 침식 전략은 엄격하면서도 덜 보수적인 대안을 제공합니다.
• 확장성: 확률적 문제를 결정론적 문제로 축소함으로써, 이 방법은 기존 수치 최적화 솔버 (예: SNOPT, MOSEK) 를 활용하여 복잡한 비선형 동역학으로 확장 가능합니다.
• 실용적 적용 가능성: 실제 4 족 로봇에 대한 성공적인 배포는 이론적 프레임워크가 완벽한 시스템 모델 없이도 하이브리드 동역학 및 충격 사건을 포함한 실제 세계의 불확실성을 처리할 만큼 견고함을 입증합니다.

이 작업은 확률적 환경에서 신뢰할 수 있는 STL 만족을 위해 술어 침식과 피드백 제어를 통한 확률 제약의 명시적 처리가 필수적이며, 불확실한 환경에서 신뢰할 수 있는 자율성으로 가는 체계적인 길을 제시한다고 결론짓습니다.