SIT-LMPC: Safe Information-Theoretic Learning Model Predictive Control for Iterative Tasks

1. 문제 정의 (Problem Definition)

로봇이 복잡한 불확실한 환경에서 반복적인 작업 (예: 드론 레이싱, 사족 보행 로봇, 외과 수술 등) 을 수행할 때, 강인성 (Robustness), 안전성 (Safety), 그리고 고성능 (High Performance) 사이의 균형을 맞추는 제어 전략이 필요합니다.

기존의 방법론들은 다음과 같은 한계를 가집니다:

• Iterative Learning Control (ILC) 및 LMPC: 결정론적 선형 시스템에는 효과적이지만, 확률적 (Stochastic) 비선형 시스템으로 확장 시 안전 보장과 최적성 유지가 어렵습니다.
• ABC-LMPC (Adjustable Boundary Condition): 확률적 비선형 시스템에 적용되지만, 상태 제약을 비용 함수에 높은 상수 비용으로 인코딩하여 지나치게 보수적인 (Conservative) 제어를 유발하거나, CEM(Cross-Entropy Method) 샘플링의 한계로 인해 고차원 시스템에서 비실현 가능한 해를 도출할 수 있습니다.
• MPPI (Model Predictive Path Integral Control): 확률적 시스템에 강점이 있고 GPU 병렬 처리가 가능하지만, 본질적으로 제약이 없는 (Unconstrained) 최적 제어 방법입니다. 상태 제약을 처리하기 위해 동역학에 클램핑을 적용하거나 높은 비용을 부과하는 방식은 일반화된 상태 제약 처리에 한계가 있습니다.

따라서, 일반적인 확률적 비선형 시스템에서 반복 작업을 수행하며, 안전한 상태 제약을 만족하면서도 성능을 지속적으로 개선할 수 있는 새로운 제어 프레임워크가 필요합니다.

2. 제안된 방법론 (Methodology: SIT-LMPC)

저자들은 SIT-LMPC (Safe Information-Theoretic Learning Model Predictive Control) 알고리즘을 제안했습니다. 이는 LMPC 프레임워크를 확률적 비선형 시스템으로 확장하고, 이를 해결하기 위해 제약 조건이 포함된 정보 이론적 MPC를 설계한 것입니다.

핵심 구성 요소:

1. 안전 집합 (Safe Set) 및 가치 함수 학습:

   • 이전 반복 (Iteration) 에서 얻은 성공적인 궤적 데이터를 활용하여 **안전 집합 (Safe Set)**을 점진적으로 확장합니다.
   • **정규화 흐름 (Normalizing Flows, NF)**을 사용하여 가치 함수 (Value Function) 를 학습합니다. 기존의 가우시안 사전 분포 (Gaussian Priors) 나 베이지안 신경망 (BNN) 보다 복잡한 불확실성 분포를 모델링할 수 있어 더 풍부한 표현력을 가집니다.

2. 온라인 적응형 페널티 방법 (Online Adaptive Penalty Method):

   • MPPI 는 본래 제약이 없는 알고리즘이므로, 상태 제약 ($X$) 과 안전 집합 제약 ($CS_{l-1}$) 을 위반할 경우 발생하는 비용을 **외부 페널티 함수 (Exterior Penalty Functions)**로 변환합니다.
   • 적응형 페널티 (AP) 기법: 고정된 큰 페널티 값은 성능을 저하시키고, 작은 값은 안전을 위협합니다. 이를 해결하기 위해 페널티 파라미터 ($\lambda_X, \lambda_{CS}$) 를 균등 분포에서 샘플링하고, 생성된 궤적이 제약 조건을 만족하는지 확인하여 최적의 페널티 파라미터를 실시간으로 선택합니다. 이는 안전성과 최적성 사이의 균형을 동적으로 조절합니다.

3. 병렬 처리 아키텍처 (GPU Parallelization):

   • 제어 시퀀스 샘플링과 페널티 파라미터 샘플링을 GPU 에서 완전히 병렬화하여 실행합니다.
   • 이를 통해 실시간 (100Hz 이상) 최적화가 가능하며, 지연 시간 (Latency) 을 최소화합니다.

4. 알고리즘 흐름:

   • 초기 궤적에서 시작하여, MPPI 를 통해 여러 궤적을 샘플링합니다.
   • 다양한 페널티 파라미터 조합에 대해 비용 함수를 계산하고, 제약 조건을 만족하는 궤적 중 비용이 최소인 것을 선택합니다.
   • 첫 번째 제어 입력을 적용하고, 다음 상태가 관측되면 다시 최적화 문제를 풉니다 (Receding Horizon Control).
   • 작업이 성공적으로 완료되면 해당 궤적 데이터를 안전 집합과 가치 함수 학습에 추가하여 다음 반복 (Iteration) 의 성능을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 일반적인 확률적 비선형 시스템을 위한 안전한 반복 제어 프레임워크: 시스템 동역학이나 상태 제약에 대한 사전 가정이 필요 없는 범용적인 SIT-LMPC 알고리즘을 개발했습니다.
2. 안전성과 최적성의 균형: 온라인 샘플링 기반 적응형 페널티 (AP) 방법을 통해 제약 위반을 방지하면서도 과도한 보수성을 피하는 제어 전략을 제시했습니다.
3. 정규화 흐름 (Normalizing Flows) 을 통한 가치 함수 학습: 기존의 가우시안 기반 방법보다 복잡한 불확실성을 모델링하여 더 정확한 가치 함수 추정을 가능하게 했습니다.
4. 실시간 병렬 실행: NVIDIA Jetson Orin AGX 와 같은 엣지 하드웨어에서 100Hz 이상의 제어 주파수를 달성할 수 있도록 GPU 병렬 처리를 최적화했습니다.

4. 실험 결과 (Results)

저자들은 세 가지 단계의 실험을 통해 방법론을 검증했습니다:

1. 점 질량 (Point-mass) 내비게이션 (결정론적 선형 시스템):

   • 비선형 비볼록 제약 (장애물 회피) 이 있는 환경에서 SIT-LMPC 가 기존 LMPC 및 ABC-LMPC 보다 더 빠른 수렴 속도를 보였습니다.
   • 그라디언트 기반 솔버를 사용하는 LMPC 는 국소 최적점에 갇히는 반면, 샘플링 기반인 SIT-LMPC 는 전역 최적해에 더 잘 도달했습니다.

2. 자율 레이싱 시뮬레이션 (확률적 비선형 시스템):

   • ABC-LMPC 는 반복 횟수가 증가함에 따라 자주 충돌하거나 궤적 이탈 (Out-of-track) 을 겪었습니다. 이는 CEM 의 노이즈 민감성과 모드 붕괴 (Mode Collapse) 때문입니다.
   • SIT-LMPC 는 150 회 반복 동안 안전성을 유지하면서 랩 타임을 지속적으로 단축시켰습니다.
   • Ablation Study: 고정된 페널티는 성능 저하 또는 안전성 문제를 일으켰으며, 적응형 페널티 (AP) 가 학습 과정에 필수적임이 입증되었습니다. 또한, NF 를 사용한 가치 함수 모델링이 BNN 보다 우수한 성능을 보였습니다.

3. 실제 실험 (1/5 스케일 오프로드 자율 주행 차량):

   • 실제 오프로드 환경 (잔디, 불규칙한 지형) 에서 모델 불일치, imperfect localization, 제어 노이즈가 존재하는 상황에서도 SIT-LMPC 를 적용했습니다.
   • 결과: SIT-LMPC 는 ABC-LMPC 와 비교하여 랩 타임을 31.43% 단축시켰으며, 평균 속도는 75% 증가 (최대 3.5 m/s) 시켰습니다.
   • 반면, ABC-LMPC 는 충돌 없이 수렴하지 못했습니다. 이는 SIT-LMPC 가 실제 환경의 불확실성과 모델 오차에도 강인함을 보여줍니다.

5. 의의 및 결론 (Significance)

이 논문은 안전한 반복 학습 제어의 새로운 패러다임을 제시합니다.

• 이론적 확장: LMPC 를 결정론적 시스템에서 일반적인 확률적 비선형 시스템으로 성공적으로 확장했습니다.
• 실용성: GPU 기반의 병렬 처리를 통해 복잡한 비선형 시스템에서도 실시간 제어가 가능함을 입증했습니다.
• 안전성: 제약 조건을 단순히 비용 함수에 반영하는 것을 넘어, 적응형 페널티와 학습된 안전 집합을 통해 시스템이 안전 영역 내에서 성능을 극대화하도록 보장합니다.

결론적으로 SIT-LMPC 는 모델 불확실성과 환경적 노이즈가 존재하는 실제 로봇 시스템 (자율 주행, 드론 등) 에서 안전성을 유지하면서 성능을 지속적으로 향상시킬 수 있는 강력한 제어 솔루션입니다.