Policy Optimization for Unknown Systems using Differentiable Model Predictive Control

1. 문제 정의 (Problem Statement)

• 배경: 모델 기반 정책 최적화 (Policy Optimization) 는 시스템 동역학 모델을 기반으로 제어 정책을 설계하는 방법이지만, 실제 시스템과 모델 간의 불일치 (모델 불확실성) 가 존재할 경우 성능이 저하되거나 수렴 보장이 어렵다는 문제가 있습니다.
• 주요 과제: 모델 예측 제어 (MPC) 는 제약 조건을 자연스럽게 처리하고 안전성을 보장할 수 있는 강력한 제어 기법이지만, MPC 기반 정책 최적화는 비선형적이고 비연속적인 (nonsmooth) 특성을 가집니다. 기존 연구들은 대부분 동역학 모델이 정확하다고 가정하고 수렴성을 증명했으나, 모델이 부정확할 때 (Unknown Systems) MPC 정책의 최적화 파라미터를 학습하며 수렴을 보장하는 방법은 여전히 해결되지 않은 문제였습니다.
• 목표: 정확한 동역학 모델을 알 수 없는 환경에서, MPC 정책의 파라미터 ($\theta$) 를 최적화하여 주어진 비용 함수를 최소화하고, 모델 오차에도 불구하고 수렴성을 보장하는 알고리즘을 개발하는 것입니다.

2. 방법론 (Methodology)

저자들은 **미분 가능한 최적화 (Differentiable Optimization)**와 **영차수 최적화 (Zeroth-order Optimization)**를 결합한 하이브리드 프레임워크를 제안합니다.

A. 문제 설정

• 시스템은 $x_{t+1} = f(x_t, u_t)$로 정의되며, $f$는 알려지지 않았습니다.
• 제어 입력 $u_t$는 파라미터 $\theta$를 가진 MPC 정책에 의해 결정됩니다.
• 목표는 폐루프 궤적의 비용 $C(x, u)$를 최소화하는 $\theta^*$를 찾는 것입니다.

B. 제안된 알고리즘 (Hybrid Gradient Estimation)

알고리즘은 두 가지 그라디언트 추정 방식을 가중치 $\eta_k$로 결합하여 업데이트 방향을 결정합니다.

1. 모델 기반 그라디언트 추정 (Model-based Estimation):

   • 알려진 근사 모델 $g(x, u) \approx f(x, u)$를 사용합니다.
   • MPC 해의 민감도 분석을 위해 보존적 야코비안 (Conservative Jacobian) 이론 (Bolte & Pauwels, 2021) 을 적용합니다. 이는 MPC 와 같은 비연속 함수에 대해 체인 룰이 성립하도록 하여 미분 가능한 경로를 제공합니다.
   • 모델 $g$를 사용하여 비용 함수의 야코비안을 재귀적으로 계산합니다.
   • 장점: 초기 학습 단계에서 빠른 수렴 속도를 제공합니다.
   • 단점: 모델 오차가 크면 잘못된 방향으로 업데이트될 수 있어 수렴 보장이 어렵습니다.

2. 모델 프리 (영차수) 그라디언트 추정 (Model-free Estimation):

   • 실제 시스템 데이터만을 사용하여 그라디언트를 추정합니다.
   • 랜덤화된 스무딩 (Randomized Smoothing) 기법을 사용하여 목적 함수 $C$를 $C_\delta$로 근사합니다.
   • **단점 추정기 (One-point estimator)**를 사용하여 함수 값 평가만으로 그라디언트 방향을 추정합니다.
   • 장점: 모델 오차와 무관하게 수렴성을 보장할 수 있습니다.
   • 단점: 학습 속도가 느리고 노이즈에 민감할 수 있습니다.

3. 하이브리드 업데이트 규칙:

   • 업데이트 방향 $d_k$는 다음과 같이 계산됩니다:
     $$d_k = \eta_k d_{k, \text{model}} + (1 - \eta_k) d_{k, \text{zeroth}}$$
   • 여기서 $\eta_k$는 시간 단계 $k$에 따라 변하는 가중치입니다. 초기에는 모델 신뢰도가 높다고 가정하여 $\eta_k \approx 1$로 설정하여 빠른 학습을 유도하고, 시간이 지남에 따라 $\eta_k \to 0$으로 감소시켜 모델 프리 정보에 의존하도록 하여 최종 수렴성을 보장합니다.

C. 수렴성 분석

• Goldstein $\delta$-Critical Point: 비연속적이고 비볼록한 최적화 문제의 맥락에서, 알고리즘이 Goldstein $\delta$-critical point로 수렴함을 증명했습니다. 이는 Clarke stationary point 의 약화된 형태로, 목적 함수의 $\delta$-근방에서의 그라디언트 정보를 기반으로 합니다.
• 가정: 시스템 동역학, 비용 함수, MPC 정책 등이 'definable' 함수 (o-minimal 구조 내) 이고 국소 리프시츠 (locally Lipschitz) 성질을 가진다고 가정합니다. 이는 제어 및 최적화 분야에서 매우 일반적인 가정입니다.

3. 주요 기여 (Key Contributions)

1. 불완전 모델 하의 MPC 정책 최적화 프레임워크: 모델 불확실성이 존재하는 환경에서도 MPC 기반 정책의 파라미터를 학습할 수 있는 새로운 알고리즘을 제안했습니다.
2. 하이브리드 그라디언트 접근법: 모델 기반의 빠른 학습 속도와 모델 프리 방법의 수렴 보장 장점을 결합하여, 두 방법의 단점을 상호 보완하는 가변 가중치 전략을 도입했습니다.
3. 비연속 최적화를 위한 이론적 기반: MPC 의 비연속성을 처리하기 위해 **보존적 야코비안 (Conservative Jacobian)**과 Goldstein $\delta$-critical point 이론을 적용하여 엄밀한 수렴성 증명을 수행했습니다.
4. 실제 적용 가능성 검증: 12 차원 쿼드콥터 (Quadcopter) 시뮬레이션을 통해 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 실험 환경: 12 차원 쿼드콥터 모델 (위치, 속도, 오일러 각, 각속도) 을 사용했습니다. 실제 동역학은 비선형이지만, 학습에는 선형 근사 모델 (Least-squares 로 식별된 $A, B$ 행렬) 을 사용했습니다.
• 비교 대상:
  • 순수 모델 기반 방법 ($\eta_k = 1$)
  • 순수 영차수 방법 ($\eta_k = 0$)
  • 제안된 하이브리드 방법 (가변 $\eta_k$)
• 결과 분석:
  • 수렴 속도: 제안된 하이브리드 방법은 초기 학습 단계에서 모델 기반 방법과 유사한 빠른 성능 향상을 보였으며, 영차수 방법보다 훨씬 빠르게 수렴했습니다.
  • 안정성: 순수 모델 기반 방법은 초기에는 빠르지만, 모델 오차로 인해 후기 학습에서 불안정해지고 발산하는 경향을 보였습니다. 반면, 제안된 방법은 영차수 보정을 통해 안정적으로 최적점에 수렴했습니다.
  • 최적성: 학습된 제어기는 완벽한 모델 정보를 가진 최적 제어기 (Exact Model) 와 비교하여 **1% 미만의 서브옵티멀리티 (Sub-optimality)**를 보였습니다. 궤적 추적 성능과 제약 조건 위반 여부에서도 두 방법 간의 질적, 양적 차이가 거의 없었습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 실용적 가치: 실제 공학 문제에서는 정확한 물리 모델을 얻는 것이 어렵거나 비용이 많이 듭니다. 이 연구는 불완전한 모델을 사용하더라도 데이터 기반 보정을 통해 안전하고 효율적인 제어 정책을 학습할 수 있음을 보여줍니다.
• 안전성: MPC 의 본질적인 제약 조건 처리 능력을 유지하면서, 모델 오차로 인한 안전성 저하를 방지할 수 있는 수렴 보장을 제공합니다.
• 미래 작업: 제안된 방법론의 안전성 보장 (Safety Guarantees) 을 더욱 강화하고, 더 복잡한 실제 시스템에 적용하는 것이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 모델의 불확실성을 극복하면서도 MPC 의 강점 (제약 조건 처리, 안전성) 을 유지하기 위해, 미분 가능한 최적화 이론과 데이터 기반 영차수 최적화를 지능적으로 결합한 혁신적인 정책 최적화 알고리즘을 제시했습니다.