⚡ electrical engineering

Policy Optimization with Differentiable MPC: Convergence Analysis under Uncertainty

이 논문은 모델 기반 정책 최적화와 재귀적 시스템 식별을 결합하여 불확실성 하에서도 최적 제어기 설계로의 수렴을 보장하고 이를 다양한 제어 사례를 통해 입증함을 보여줍니다.

원저자: Riccardo Zuliani, Efe C. Balta, John Lygeros

게시일 2026-03-30

📖 3 분 읽기☕ 가벼운 읽기

원저자: Riccardo Zuliani, Efe C. Balta, John Lygeros

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚗 핵심 비유: "지도가 엉망인 자율주행차"

상상해 보세요. 여러분이 **자율주행차 (MPC)**를 타고 있습니다. 이 차는 목적지에 가장 빨리, 안전하게 도착하기 위해 매초마다 "앞으로 10 초간 어떻게 운전할까?"를 계산해서 핸들을 돌립니다.

하지만 여기서 큰 문제가 하나 있습니다.
이 차가 사용하는 **지도 (시스템 모델)**가 정확하지 않습니다.

실제 도로는 울퉁불퉁하고 (노이즈),
차의 무게나 엔진 성능도 정확히 모릅니다 (불확실성).

지도가 엉망이면, 차는 계산을 잘못해서 길을 잃거나 사고가 날 수 있습니다. 기존에는 "지도가 정확해야 차가 잘 다닌다"고 생각했지만, 이 논문은 **"지도를 모르면, 운전하면서 지도를 바로바로 수정하고, 그 지도를 바탕으로 운전 실력을 키우는 방법"**을 제안합니다.

🛠️ 이 논문이 제안한 3 단계 훈련법

이 연구는 두 가지 핵심 기술을 섞어서 **"실제 운전 (실험) + 지도 수정 (학습) + 운전 실력 향상 (최적화)"**을 동시에 진행합니다.

1. "운전하며 지도 그리기" (시스템 식별)

운전자가 차를 몰고 다니는 동안, 차는 "아, 내가 핸들을 10 도 돌렸는데 차는 5 도만 돌아갔구나. 아, 여기는 미끄러지네"라고 데이터를 모읍니다.

비유: 마치 낯선 도시를 운전하면서, 내비게이션이 틀린 부분을 직접 고쳐가며 정확한 지도를 그려가는 과정입니다.
이 논문은 이 과정을 수학적으로 엄밀하게 증명했습니다. "데이터를 모을수록 지도가 점점 정확해진다"는 것을 보장합니다.

2. "지도 수정과 운전 실력 동시 향상" (미분 가능한 최적화)

기존 방식은 "지도가 완성되면 그걸로 운전법을 배운다"는 식이었습니다. 하지만 이 논문은 지도 (모델) 자체도 운전 실력 (파라미터) 을 조절하는 도구로 사용합니다.

비유: 운전자가 "지도가 조금 어색하네? 그럼 지도를 살짝 수정하고, 그 수정된 지도로 다시 운전법을 계산해 보자"라고 한 번에 두 가지를 다 고쳐가는 것입니다.
이를 위해 컴퓨터는 "어떤 부분을 고치면 운전이 더 잘 될까?"를 미분 (기울기) 계산을 통해 아주 정밀하게 찾아냅니다.

3. "실수해도 괜찮아, 결국은 잘하게 돼" (수렴성 분석)

가장 중요한 부분은 **"지도가 100% 완벽해지지 않아도 괜찮다"**는 것을 수학적으로 증명했다는 점입니다.

비유: 지도가 완벽하게 맞지 않아도 (예: 90% 정확도), 운전자는 그 90% 지도를 바탕으로 계속 운전하면서 실력을 키워 결국 최고의 운전 실력에 도달할 수 있다는 것을 보여줍니다.
만약 지도가 완벽하지 않다면, "이 정도 오차는 감수하더라도 이 정도 실력은 보장한다"는 **안전장치 (확률적 bound)**도 함께 제시했습니다.

🎮 실제 실험 결과 (시뮬레이션)

논문에서는 이 방법을 세 가지 상황에 적용해 보았습니다.

랜덤한 선형 시스템: 무작위로 만들어진 가상의 차들.
- 결과: 지도를 수정하며 훈련한 차는, 지도를 모르고 훈련한 차보다 3 배나 더 잘 달렸습니다.
드론 (Quadcopter): 4 개의 프로펠러를 가진 드론.
- 결과: 드론이 흔들리는 바람 (불확실성) 속에서도 훈련을 통해 안정적으로 목표 지점에 착륙했습니다.
자율주행 레이싱 카: 구불구불한 트랙을 달리는 차.
- 결과: 지도가 엉망인 상태에서도 훈련을 거치니, 경쟁용 차 (완벽한 지도를 가진 차) 와 거의 똑같은 궤적을 그리며 달렸습니다.

💡 한 줄 요약

"정확한 지도가 없어도 괜찮습니다. 운전하면서 지도를 바로바로 고치고, 그 지도를 바탕으로 운전 실력을 계속 갈고닦으면, 결국 최고의 운전자가 될 수 있습니다."

이 연구는 로봇, 드론, 자율주행차처럼 **"실제 환경이 불확실한 곳"**에서 AI 가 스스로 학습하며 최고의 성능을 내도록 돕는 강력한 이론적 토대를 마련했습니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 모델 기반 정책 최적화 (Policy Optimization) 는 다양한 제어 응용 분야에서 신뢰성 있고 고성능의 제어기를 설계하는 데 널리 사용됩니다. 최근에는 명시적인 동역학 모델을 제어 법칙에 내장한 모델 예측 제어 (MPC) 정책으로 이 접근법이 확장되었습니다.
핵심 문제: 기존 연구들은 주로 모델이 정확히 알려진 경우나 완전한 모델 지식 하에서 MPC 의 하이퍼파라미터를 조정하는 데 집중했습니다. 그러나 실제 시스템에서는 시스템 동역학이 불완전하게 알려져 있거나 (부분적으로만 알려짐) 확률적 노이즈 (stochastic noise) 의 영향을 받습니다.
연구 격차: 시스템 동역학이 불확실하고 노이즈가 존재하는 환경에서, 미분 가능 최적화 (Differentiable Optimization) 를 통해 MPC 정책을 최적화할 때 수렴성 (Convergence) 을 보장하는 이론적 분석이 부족했습니다. 기존 연구들은 수렴성 증명 없이 주로 경험적 성능 개선에 그쳤거나, 안전성 (Safety) 에만 초점을 두었습니다.
목표: 본 논문은 시스템 식별 (System Identification) 을 재귀적으로 수행하면서 미분 가능 MPC 기반 정책 최적화를 수행할 때, 최적 제어기로의 수렴성을 보장하는 이론적 틀을 제시하고, 모델이 완벽하게 학습되지 않는 경우에도 부분 최적해 (Suboptimal solution) 로 수렴함을 증명하는 것을 목표로 합니다.

2. 제안된 방법론 (Methodology)

논문은 재귀적 시스템 식별 (Recursive System Identification) 과 미분 가능 최적화 (Differentiable Optimization) 를 결합한 폐루프 최적화 알고리즘을 제안합니다.

A. 시스템 모델 및 문제 설정

이산 시간 시스템 $x_{t+1} = f(x_t, u_t, \theta) + w_t$ 를 고려하며, 여기서 $\theta$ 는 알려지지 않은 상수 파라미터, $w_t$ 는 확률적 노이즈입니다.
시스템 동역학은 선형 파라미터화 형태 $f(x, u, \theta) = \phi(x, u)^\top \theta + \varphi(x, u)$ 로 가정합니다.
목표는 상위 레벨 비용 함수 (Upper-level cost function) 를 최소화하는 설계 파라미터 $p$ 를 찾는 것이며, 이 과정에서 $\theta$ 를 온라인으로 학습합니다.

B. 핵심 알고리즘 (Algorithm 2)

제안된 알고리즘은 각 반복 (Iteration) $k$ 에서 다음 단계를 수행합니다:

데이터 수집: 현재 정책 $p_k$ 로 시스템을 실행하여 상태 - 입력 궤적 $(x_k, u_k)$ 을 수집합니다.
시스템 식별 (System Identification): 수집된 데이터를 기반으로 재귀적 최소제곱법 (Recursive Least Squares, RLS) 을 사용하여 파라미터 $\theta$ $θ$ 의 추정치 $\theta_k$ $θ_{k}$ 와 신뢰 영역 (Confidence Set) $\Theta_k$ $Θ_{k}$ 를 업데이트합니다.
- 이 과정은 파라미터 추정 오차가 반복에 따라 감소함을 보장합니다 (Assumption 2: 지속적 자극 조건).
민감도 계산 (Sensitivity Computation):
- 미분 가능 MPC: MPC 문제를 미분 가능한 층 (Differentiable Layer) 으로 간주합니다.
- 역전파 (Backpropagation): MPC 해의 매핑 (Solution Map) 에 대한 그래디언트를 계산하기 위해 비매끄러운 암시적 함수 정리 (Nonsmooth Implicit Function Theorem) 와 체인 룰을 적용합니다.
- 목적 함수의 그래디언트 추정치를 계산할 때, 현재 반복에서 관측된 노이즈 실현값과 추정된 모델 $\theta_k$ 를 사용합니다.
파라미터 업데이트: 계산된 그래디언트를 사용하여 설계 파라미터 $p$ $p$ 를 프로젝션 경사 하강법 (Projected Gradient Descent) 으로 업데이트합니다.
- 업데이트 시, 추정된 모델 $\theta_k$ 가 신뢰 영역 $\Theta_k$ 내에 있도록 제약 조건을 적용합니다.

C. 변형 알고리즘

확신 등가 (Certainty Equivalence, Algorithm 3): MPC 예측 모델을 설계 변수가 아닌, 현재 가장 좋은 추정치 $\theta_k$ 로 고정하는 방식입니다. 이는 계산 효율성을 높이고 파라미터 공간의 차원을 줄여 더 나은 수렴을 유도합니다.
불완전한 모델 학습 (Algorithm 4): 지속적 자극 조건이 만족되지 않아 모델이 완벽하게 수렴하지 않는 경우, 목적 함수 그래디언트의 노름에 대한 확률적 상한 (Probabilistic Upper Bound) 을 산출하여 알고리즘의 안정성을 분석합니다.

3. 주요 기여 (Key Contributions)

불확실성 하의 수렴성 증명: 시스템 동역학이 불확실하고 확률적 노이즈가 존재하는 환경에서, 재귀적 시스템 식별과 결합된 미분 가능 MPC 정책 최적화가 임계점 (Critical Point) 으로 수렴함을 수학적으로 증명했습니다.
불완전한 학습에 대한 분석: 모델이 점근적으로 정확히 학습되지 않는 경우 (즉, 추정 오차가 0 이 되지 않는 경우), 알고리즘이 부분 최적해 (Suboptimal solution) 로 수렴함을 보였습니다. 또한, 그래디언트 노름에 대한 확률적 상한을 제공하는 방법을 제시했습니다.
비매끄러운 최적화 이론의 적용: MPC 해의 매핑이 비매끄럽거나 불연속일 수 있음을 고려하여, 보수적 야코비안 (Conservative Jacobian) 과 경로 미분 가능성 (Path-differentiability) 개념을 도입하여 이론적 엄밀성을 확보했습니다.
실용적 변형 제안: 계산 효율성을 높이기 위한 '확신 등가 (Certainty Equivalence)' 전략을 제안하고, 그 수렴성을 증명했습니다.

4. 실험 결과 (Simulation Results)

논문은 세 가지 시나리오를 통해 제안된 방법의 유효성을 검증했습니다.

무작위 선형 시스템 (Random Linear Systems):
- 500 회의 반복 실험 결과, 제안된 알고리즘 (Algorithm 2 및 3) 은 학습되지 않은 MPC 보다 훈련 데이터와 테스트 데이터 모두에서 상대적으로 훨씬 낮은 비용 (Suboptimality) 을 달성했습니다.
- 특히, 확신 등가 (Algorithm 3) 방식이 모델 파라미터까지 함께 최적화하는 방식 (Algorithm 2) 보다 더 낮은 평균 오차 (11% vs 30%) 를 보이며 더 효과적으로 국소 최적점을 찾았습니다.
- 기존 Riccati 방정식 기반의 전통적 MPC 보다 우수한 성능을 보였습니다.
비선형 쿼드콥터 (Nonlinear Quadcopter):
- 12 차원 비선형 쿼드콥터 모델에서 적용했습니다.
- RLS 를 통해 약 40 회 반복 만에 모델 파라미터 추정 오차를 1% 미만으로 줄였으며, 폐루프 비용은 완전한 정보 (Omniscient) 를 가진 최적 제어기의 성능에 근접했습니다.
- MPC 비용 함수에 포함되지 않은 추가적인 에너지 소비 항 (비볼록 항) 을 상위 레벨 목적 함수에 포함했을 때도 알고리즘이 효과적으로 작동하여 전역적 성능을 개선함을 보였습니다.
자율 주행 차량의 횡방향 제어 (Lateral Control of Autonomous Vehicle):
- 곡선 트랙을 주행하는 자전거 모델 (Bicycle model) 에 적용했습니다.
- 경로 곡률로 인한 외부 섭동 (Disturbance) 이 존재하는 환경에서도 학습된 제어기는 미학습 제어기보다 궤적이 최적 궤적에 훨씬 가깝게 수렴했습니다.
- 폐루프 비용이 35% 감소했으며, 제안된 방법론을 통해 그래디언트 노름의 확률적 상한을 계산하여 불확실성 하에서의 성능을 정량화했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이론적 기여: 모델 기반 제어와 데이터 기반 학습 (Policy Optimization) 의 경계를 허무는 중요한 이론적 토대를 마련했습니다. 특히, 시스템 식별과 제어 정책 최적화를 동시에 수행할 때의 수렴성 보장은 기존 문헌에서 다루지 못했던 핵심 난제를 해결했습니다.
실용적 가치: 실제 시스템에서 정확한 모델을 알 수 없는 상황에서도, 온라인으로 모델을 학습하면서 동시에 제어기를 최적화할 수 있는 강력한 프레임워크를 제공합니다. 이는 로봇, 자율 주행, 항공 등 다양한 분야에서 안전하고 효율적인 제어 시스템 설계에 기여할 수 있습니다.
안전성: 본 논문은 수렴성에 집중했으나, 학습된 모델을 기반으로 한 강건한 제어 설계 (Robust Control) 와 결합하여 안전성 (Safety) 을 보장할 수 있는 가능성을 제시했습니다.

요약하자면, 이 논문은 불확실한 환경에서 미분 가능 MPC 를 통해 제어기를 자동 조정할 때, 시스템 식별을 병행하면 이론적으로 수렴이 보장됨을 증명하고, 이를 다양한 시뮬레이션을 통해 검증한 획기적인 연구입니다.