Data-driven Acceleration of MPC with Guarantees

기술적 요약: 보장을 갖춘 데이터 기반 MPC 가속화

문제 제기
모델 예측 제어 (MPC) 는 제약이 있는 고차원 동역학 시스템의 최적 제어를 위한 지배적인 프레임워크입니다. 그러나 온라인에서 재귀적 시간 범위 내의 제약 최적화 문제를 반복적으로 풀어야 한다는 의존성은 계산 병목 현상을 초래하여, 종종 저지연 응용 분야에 부적합하게 만듭니다. 명시적 MPC 와 신경망 근사법이 제어를 가속화하기 위해 제안되었지만, 이들은 상당한 단점을 안고 있습니다: 명시적 방법은 종종 비용이 많이 드는 투영 기법을 요구하거나 비선형성과의 조화에 어려움을 겪으며; 신경망은 재학습 없이 새로운 데이터에 적응하기 어렵습니다; 그리고 많은 비모수적 방법은 실현 가능성과 성능에 대한 엄밀한 점근적이지 않은 보장을 결여하고 있습니다.

방법론
저자들은 오프라인 MPC 해로부터 구성된 비모수적 정책을 온라인 최적화를 대체함으로써 MPC 를 가속화하는 새로운 데이터 기반 프레임워크를 제안합니다. 핵심 방법론은 세 가지 주요 구성 요소를 포함합니다:

1. 오프라인 보수적 문제 공식화: 원래의 MPC 문제를 온라인에서 푸는 대신, 저자들은 약간 더 보수적인 버전을 오프라인에서 풉니다. 이는 상태 제약 집합 $X$를 $\epsilon$-침식 집합 $X_{-\epsilon}$ (폰트리아긴 차분을 사용하여) 으로 축소하는 것을 포함합니다. 이 보수적 문제를 풀면 최적 궤적이 원래 제약 경계보다 엄격하게 내부에 머무르도록 보장하여 안전 마진을 제공합니다.
2. 비모수적 정책 구성: 오프라인 해로부터 데이터셋 $D$가 구성되며, 이는 $(x_i, u_i, J_i)$ 튜플로 이루어집니다. 여기서 $x_i$는 상태, $u_i$는 최적 제어, $J_i$는 보수적 문제에 대한 최적 비용-to-go 입니다. 제안된 정책 $\pi_D$는 탐욕적 근접 이웃 규칙입니다: 현재 상태 $x$에 대해, 정규화된 비용 $J_i + \lambda \|x - x_i\|$를 최소화하는 데이터셋 점 $x_i$와 연관된 제어 $u_i$를 선택합니다.
3. 이론적 보장: 저자들은 이 정책이 재귀적으로 실현 가능하며 유계된 최적성 격차를 허용하는 조건을 확립합니다.
   • 재귀적 실현 가능성: 시스템 동역학의 리프시츠 연속성을 활용하여, 데이터셋 $D$가 상태 공간에 대한 충분한 덮개 (구체적으로 $\epsilon/L_f$-덮개) 를 형성한다면, 정책이 원래의 비보수적 문제에 대해 실현 가능함을 증명합니다.
   • 유계된 비최적성: 비용-to-go 함수의 리프시츠 연속성을 사용하여, 저자들은 최적 비용에 대한 데이터 의존적 상한과 하한을 구성합니다. 충분히 큰 정규화 매개변수 $\lambda$를 사용하면 정책의 비용이 데이터에서 유도된 보수적 상한에 의해 상향으로 제한됨을 증명합니다. 이는 상대적 비최적성 격차에 대한 증명 가능한 한계로 이어지며, 데이터셋 덮개가 개선됨에 따라 이 한계는 더욱 강화됩니다.

주요 기여
본 논문은 네 가지 주요 기여를 합니다:

1. 새로운 비모수적 정책: 오프라인 데이터의 보수적 공식화를 사용하여 MPC 문제를 근사적으로 해결하며, 온라인 최적화의 필요성을 피하는 정책.
2. 지속적 학습 능력: 정책은 재학습 없이 새로운 오프라인 해의 점진적 추가를 지원합니다. 새로운 데이터는 정책을 국소적으로 수정하여 지속적인 개선을 가능하게 합니다.
3. 엄밀한 이론적 한계: 전체 도메인에서 재귀적 실현 가능성과 유계된 최적성 격차를 보장하는 오프라인 데이터 덮개에 대한 명시적 조건을 확립합니다. 이러한 조건은 수집된 데이터의 양과 성능 한계의 강도 사이의 명확한 트레이드오프를 정의합니다.
4. 효율적인 구현: 정책은 FAISS 를 통한 k-근접 이웃을 사용하는 조회 규칙으로 구현되어, 온라인으로 MPC 를 푸는 것보다 수 배에서 수 천 배 더 빠릅니다.

실험 결과
저자들은 뒤집힌 진자 및 최소 시간 불안정 LTI 시스템이라는 두 가지 벤치마크에서 접근 방식을 검증합니다.

• 속도: 제안된 정책 (MINT 라벨) 은 표준 온라인 MPC 보다 100 배에서 1000 배 사이의 추론 속도를 달성합니다.
• 성능: 이 방법은 지연 시간과 최적성 사이의 유리한 트레이드오프를 보여줍니다. 충분한 데이터 덮개가 있는 경우, 정책은 더 짧은 예측 지평선을 가진 표준 MPC 와 비교 가능한 상대적 최적성 격차를 달성하는 반면, 더 짧은 지평선 MPC 들보다 해결책의 품질 측면에서 현저히 우수합니다.
• 검증: 상태 공간 도메인의 순차적 분할에 기반한 알고리즘 (알고리즘 2) 은 재귀적으로 실현 가능성 및 최적성 증명을 검증하는 것으로 입증되었으며, 이는 이론적 조건이 실제로 충족됨을 확인합니다.

의의 및 주장
저자들은 이 작업이 명시적/비모수적 제어의 속도와 최적화 기반 MPC 의 엄밀한 보장 사이의 간극을 메운다고 주장합니다. 신경망 접근법과 달리, 제안된 방법은 새로운 데이터에 대한 재학습을 요구하지 않으며 점근적이지 않은 보장을 제공합니다. 이 프레임워크는 데이터 수집 노력 (메모리 및 오프라인 계산) 과 제어 성능 (최적성 격차 및 실현 가능성) 사이의 트레이드오프를 명시적으로 정량화합니다. 결과는 충분한 오프라인 데이터를 수집하여 덮개 조건을 충족할 수 있다면, 이 접근 방식이 저지연이 중요한 실시간 제어 작업에 대한 실현 가능한 후보임을 시사합니다. 논문은 향후 작업이 고차원 시스템과 임베디드 응용 분야로 이러한 방법을 확장하는 데 초점을 맞출 것이라고 결론지었습니다.