Amortized Nonlinear Model Predictive Control

기술 요약: 아모티즈드 비선형 모델 예측 제어 (Amortized Nonlinear Model Predictive Control)

문제 정의

비선형 모델 예측 제어(NMPC)는 제약 조건이 있는 최적 제어를 위한 강력한 프레임워크를 제공하지만, 상당한 계산적 병목 현상에 직면해 있다. 매 샘플링 순간마다 NMPC는 실시간으로 제약 조건이 있는 비선형 계획법(NLP)을 풀어야 한다. 비선형 플랜트 모델의 경우, 이 단계별 풀이 시간은 선형 시스템보다 수십 배 더 클 수 있으며, 이는 자원이 제한된 하드웨어 또는 높은 샘플링 속도에서의 실시간 구현을 불가능하게 만드는 경우가 많다. 실시간 반복(Real-Time Iteration, RTI) 기법은 단일 뉴턴 유형 반복을 수행함으로써 효율성을 개선하지만, 여전히 계산 비용이 과도할 수 있다. 또한, 명시적 비선형 MPC(explicit nonlinear MPC)는 일반적으로 다루기 매우 어렵다.

최근의 머신러닝 발전, 특히 "아모티즈드 최적화(amortized optimization)"는 온라인 솔버를 오프라인에서 학습된 함수 근사기로 대체하는 방안을 제안한다. 그러나 이 접근 방식의 주요 과제는 학습된 근사치가 정확한 해와 달라질 때, 제약 조건 만족 및 안정성과 같은 폐루프 보증(closed-loop guarantees)을 어떻게 유지하느냐 하는 것이다.

방법론

저자들은 입력 아핀 시스템(input-affine systems, 제어 입력에 대해 아핀인 시스템: $x_{k+1} = f(x_k) + G(x_k)u_k$)을 위해, 온라인에서 상태 의존적 이차 계획법(QP)을 풀어 최적의 제어 입력을 근사하는 프레임워크를 제안한다. 핵심 혁신은 문제의 파라미터 학습과 제약 조건 강제를 분리하는 단일 네트워크 잔차-보정(residual-corrector) 아키텍처이다.

1. 파라미터 QP 정식화

입력 아핀 시스템의 경우, 1단계 상태 맵은 제어 입력 $u_0$에 대해 아핀이다. 저자들은 첫 번째 제어 동작 $u_0$를 최적화하기 위해 작은 QP를 구성한다:

• 목적 함수: 이차 비용 함수 $\frac{1}{2}u_0^\top H(x_0) u_0 + c(x_0, r)^\top u_0$를 사용하며, 여기서 $H$와 $c$는 현재 상태와 참조값에 의존한다.
• 제약 조건:
  • 하드 제약(Hard Constraints): 입력 범위 및 입력에 대한 아핀 제약(예: 토크 제한)은 직접적으로 강제된다.
  • 소프트 제약(Soft Constraints): 다음 단계의 상태 범위는 QP의 가용성을 보장하기 위해 슬랙 변수(slack variables)를 사용하여 소프트 제약으로 모델링된다.
• 크기: 결과적인 QP는 전체 NLP 호라이즌($(N+1)n_x + N n_u$)에 비해 훨씬 적은 결정 변수($n_u + n_s$)를 갖는다.

2. 잔차-보정 네트워크 아키텍처

네트워크는 전체 최적 제어 시퀀스나 전체 QP 파라미터를 처음부터 학습하는 대신, 해석적 베이스라인(analytic baseline)에 대한 **잔차 보정(residual corrections)**만을 학습한다:

• 해석적 베이스라인: 현재 상태 주변에서 시스템 역학 및 비용 함수를 선형화하여 도출된다. 이는 헤시안(Hessian)의 숄레스키 인자($L_{an}$)와 선형 비용 벡터($c_{an}$)에 대한 초기 추정치를 제공한다.
• 신경망 ($\phi_\psi$): 결합된 상태와 참조값을 입력으로 받아 보정치($\Delta L, \Delta c$)를 예측한다.
• 보정 메커니즘:
  • 전체 숄레스키 인자는 $L_{full} = L_{an} + \Delta L$이다.
  • 대각 성분은 softplus 함수를 통해 처리되어 엄격한 양수성을 보장하며, 이를 통해 결과적인 헤시안 $H_{full} = L_{full}L_{full}^\top$이 양의 정치성(positive definite)을 갖도록 보장한다.
  • 전체 비용 벡터는 $c_{full} = c_{an} + \Delta c$이다.

3. 미분 가능한 솔버 및 학습

• 온라인 추론: 보정된 파라미터는 작은 QP를 정의하며, 이는 **미분 가능한 내부점 레이어(differentiable interior-point layer)**에 의해 온라인에서 풀린다. 이는 출력 $u_0^*$가 구조적으로 QP 제약 조건을 만족함을 보장한다.
• 오프라인 학습: 네트워크는 IPOPT와 같은 솔버로 생성된 최적 NLP 솔루션 데이터셋을 사용하여 하이브리드 손실 함수로 학습된다:
  1. 지도 모방 ($L_{sup}$): 예측된 첫 번째 제어 동작이 최적 NLP 솔루션으로부터 벗어나는 정도를 벌칙(penalty)으로 부여한다.
  2. KKT 정지 조건 ($L_{KKT}$): 예측된 해에서의 전체 NLP의 정지 조건 위반을 벌칙으로 부여한다.
  3. 피셔-부리메이스터 상보성 ($L_{FB}$): 부등식 제약 조건에 대한 상보성 조건 위반을 벌칙으로 부여한다.
  4. 정규화 ($L_{reg}$): 학습된 보정치가 해석적 베이스라인에 가깝게 유지되도록 한다.

주요 기여

1. 잔차-보정 아키텍처: 신경망이 전체 솔루션이 아닌 해석적으로 도출된 QP 베이스라인에 대한 보정만을 학습하는 새로운 접근 방식으로, 입력 아핀 시스템의 알려진 구조를 활용한다.
2. 미분 가능한 레이어를 통한 제약 만족: 네트워크 내부에 미분 가능한 QP 솔버를 포함함으로써, 학습 기반 MPC의 흔한 실패 모드인 제약 조건 불만족 문제를 해결하고 제어 동작이 하드 제약 조건을 반드시 만족하도록 보장한다.
3. 하이브리드 손실 함수: 지도 모방 학습과 물리 정보 기반의 KKT 및 상보성 벌칙을 결합하여, 순수 모방 학습에 비해 성능과 실행 가능성을 향상시킨다.
4. 확장성: 이 접근 방식은 온라인 최적화 문제를 복잡한 NLP에서 상태 의존적 비용 행렬을 가진 작은 QP로 축소하여 계산 복잡도를 획기적으로 줄인다.

실험 결과

본 방법은 위치, 속도, 가속도 및 토크 제약 조건이 있는 3링크 평면 로봇 팔의 데카르트 말단 장치 추적 작업에 대해 검증되었다.

• 성능: 아모티즈드 정책은 전체 호라이즌 IPOPT 최적해 대비 평균 폐루프 비용 오차 4.7% 이내를 달성했다. 반면, 표준 RTI 방식(acados)은 12%의 시나리오에서 발산하였고 평균적으로 17.5% 더 낮은 성능을 보였으며, 직접 MLP(QP 레이어 없는 방식)는 27%의 시나리오에서 발산하고 하드 제약 조건을 크게 위반했다.
• 제약 만족: 아모티즈드 QP는 수치적 정밀도 내에서 하드 토크 및 가속도 범위를 만족했다. 소프트 상태 제약은 과도기 동안에만 미미하게 위반되었다(0.7%의 스텝).
• 계산 속도:
  • IPOPT: 중앙값(median) 풀이 시간 약 120 ms
  • RTI (acados): 중앙값 약 2.4 ms
  • Amortized QP: 중앙값 0.116 ms
  • 이는 RTI 대비 약 21배, 전체 NLP 솔버 대비 약 1800배의 속도 향상을 의미한다.

의의

본 논문은 이 접근 방식이 제약 만족을 희생하지 않으면서 자원이 제한된 하드웨어 또는 높은 샘플링 속도에 NMPC를 배치할 수 있는 실질적인 경로를 제공한다고 주장한다. 비용 지형의 학습(네트워크를 통해)과 제약 조건의 강제(QP 솔버를 통해)를 분리함으로써, 이 방법은 전통적인 NLP 솔버보다 수십 배 빠른 속도를 달면서도 최적해에 필적하는 추적 성능을 유지한다. 단순히 데이터를 피팅하거나 웜 스타트(warm-start)를 학습하는 방법보다 KKT 잔차를 결합한 하이브리드 손실 함수를 사용하는 것이 우수한 실행 가능성과 신뢰성을 달성하는 핵심 요소임을 강조한다.