On Building Myopic MPC Policies using Supervised Learning

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 모델 예측 제어 (MPC) 는 시스템의 현재 상태를 고려하여 최적화 문제를 반복적으로 풀며 제어 입력을 결정하는 강력한 기법입니다. 그러나 임베디드 시스템과 같은 제한된 컴퓨팅 자원을 가진 환경에서는 온라인 최적화의 계산 부하가 큰 병목 현상이 됩니다.
• 기존 접근법의 한계:
  • 근사 명시적 MPC (Approximate Explicit MPC): 지도 학습 (심층 신경망 등) 을 사용하여 최적 상태 - 행동 쌍 (State-Action Pairs) 에서 정책을 학습하는 방식이 주로 사용되어 왔습니다.
  • 문제점: 이 방식은 온라인 최적화를 대체하지만, 폐루프 시스템의 성능 보장 (Performance Guarantees) 이나 안전 제약 조건 위반 문제를 해결하지 못합니다. 또한, 제어기 파라미터가 변경되면 학습된 정책의 성능이 급격히 저하될 수 있습니다.
  • 단시점 (Myopic) MPC 의 딜레마: 예측 구간 (Horizon) 을 매우 짧게 줄여 계산 비용을 낮추는 방법은 가능하지만, 단순히 구간을 줄이면 성능이 심각하게 저하됩니다. 벨만의 최적성 원리에 따르면, '미래 비용 (Cost-to-go)'을 정확히 알면 1 단계 예측만으로도 최적 제어가 가능하지만, 이 함수를 정확히 구하는 것은 계산적으로 불가능 (Intractable) 합니다.
• 핵심 문제: 기존 지도 학습 기반의 비용 함수 (Value Function) 학습은 주로 폐루프 데이터 (RL/ADP) 에 의존하거나, 단순히 평균 제곱 오차 (MSE) 만 최소화하는 방식에 그쳐, 실제 폐루프 성능을 보장하지 못했습니다.

2. 제안된 방법론 (Methodology)

이 논문은 지도 학습을 통해 최적 정책 (Policy) 이 아닌 '최적 비용 - 투 - 고 (Optimal Cost-to-go, Value Function)' 함수를 학습하여 단시점 MPC 에 활용하는 새로운 접근법을 제안합니다.

2.1 기본 구조

• 오프라인 데이터 생성: 긴 예측 구간 ($N$) 을 가진 기존 MPC 문제를 다양한 상태 ($x_i$) 에 대해 오프라인으로 풀어, 최적 상태 - 행동 - 가치 튜플 $(x_i, u^*_i, V^*(x_i))$ 데이터를 생성합니다.
• 온라인 제어 (Myopic MPC): 학습된 가치 함수 $V(x; \theta)$ 를 사용하여 1 단계 예측 구간을 가진 간단한 MPC 문제를 온라인에서 풉니다.
  $$\min_{u} \ell(x, u) + V(f(x, u); \theta)$$

2.2 핵심 혁신: 하강 속성 제약 (Descent Property Constraint)

기존의 단순 MSE 손실 함수 최소화만으로는 충분하지 않을 수 있음을 지적하고, **하강 속성 (Descent Property)**을 학습 과정에 제약 조건으로 추가합니다.

• 기존 방식 (MSE 최소화):
  $$\hat{\theta}_1 = \arg \min_{\theta} \sum \| V(x_i; \theta) - V^*(x_i) \|^2$$
  • 단순히 데이터 점에서의 값만 맞추려 함.
• 제안 방식 (하강 속성 제약 포함):
  $$\hat{\theta}_2 = \arg \min_{\theta} \sum \| V(x_i; \theta) - V^*(x_i) \|^2$$
  $$\text{s.t. } V(f(x_i, u^*_i); \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$$
  • 의미: 최적 입력 $u^*_i$ 를 적용했을 때, 다음 상태의 비용 - 투 - 고가 현재 상태의 비용보다 낮아야 함 (또는 단계 비용만큼 감소해야 함) 을 보장합니다.
  • 이 제약 조건은 학습된 함수가 **제어 리아푸노프 함수 (CLF)**와 유사한 거동을 하도록 유도하여, 폐루프 안정성과 성능을 보장합니다.

2.3 데이터 증강 (Data Augmentation)

대규모 상태 - 행동 - 가치 데이터셋을 효율적으로 생성하기 위해, 민감도 기반 (Sensitivity-based) 데이터 증강 기법을 활용합니다. 초기 상태에 대한 파라미터 민감도를 분석하여 최적 해의 변화를 추정함으로써 추가적인 데이터 포인트를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 정책이 아닌 가치 함수 학습: 오프라인 지도 학습을 통해 직접 정책을 학습하는 것이 아니라, 단시점 MPC 의 비용 함수로 사용할 '가치 함수'를 학습하는 새로운 패러다임을 제시했습니다.
2. 하강 속성 제약 도입: 단순한 MSE 손실 최소화를 넘어, 물리적/수학적 하강 속성을 제약 조건으로 포함시킴으로써, 학습된 함수가 실제 제어 성능을 보장하도록 유도했습니다.
3. 성능 vs. 오차의 역설 증명: 학습 데이터에 대한 MSE 오차는 높을지라도 (낮은 정확도), 하강 속성 제약이 포함된 모델이 실제 폐루프 제어에서는 훨씬 우수한 성능을 보임을 실험적으로 증명했습니다.
4. 온라인 적응성: 학습된 가치 함수를 기반으로 하더라도, 온라인에서 제약 조건이나 샘플링 시간 등 제어기 파라미터가 변경될 때, 최적화 문제 (2) 를 다시 풀 수 있어 기존 직접 정책 학습 (Direct Policy Learning) 보다 유연하게 대응할 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 테스트 환경: 벤치마크 CSTR (연속 교반 탱크 반응기) 시스템.
• 비교 대상:
  1. 전문가 MPC (긴 예측 구간 $N=140$).
  2. MSE 만 최소화한 가치 함수를 사용한 단시점 MPC ($\hat{\theta}_1$).
  3. 하강 속성 제약을 포함한 가치 함수를 사용한 단시점 MPC ($\hat{\theta}_2$).
• 결과:
  • MSE 만 최소화한 모델 ($\hat{\theta}_1$): 학습 데이터에 대한 MSE 오차는 낮았으나 (0.0515), 폐루프 시뮬레이션에서는 목표점에 도달하지 못하고 진동하는 나쁜 성능을 보였습니다.
  • 하강 속성 제약 모델 ($\hat{\theta}_2$): 학습 데이터에 대한 MSE 오차는 상대적으로 높았음 (0.8199) 에도 불구하고, 폐루프 성능은 전문가 MPC 와 거의 동일한 수준으로 우수한 제어 성능을 달성했습니다.
  • 파라미터 변경 대응: 샘플링 시간 단축 및 상태 제약 조건 강화와 같은 온라인 파라미터 변경이 발생했을 때, 제안된 단시점 MPC 는 여전히 안정적으로 작동했으나, 직접 학습된 정책은 이러한 변화에 적응하지 못했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 지도 학습과 MPC 의 결합에서 중요한 통찰을 제공합니다. 단순히 "데이터에 잘 맞는 (High Accuracy)" 모델을 만드는 것이 아니라, 제어 이론적 성질 (하강 속성) 을 만족하는 모델을 학습하는 것이 실제 제어 성능을 결정한다는 점을 강조합니다.

• 계산 효율성: 긴 예측 구간을 가진 복잡한 온라인 최적화를 피하면서도, 짧은 예측 구간과 학습된 가치 함수를 통해 최적 제어에 가까운 성능을 달성합니다.
• 강건성: 학습된 가치 함수를 기반으로 하므로, 시스템 모델이나 제약 조건의 변화에 대해 온라인 최적화를 통해 유연하게 대응할 수 있습니다.
• 실용성: 임베디드 시스템과 같이 계산 자원이 제한된 환경에서 고성능 MPC 를 구현하기 위한 실용적인 솔루션을 제시합니다.

결론적으로, 이 연구는 제약 조건이 포함된 지도 학습이 제어 이론의 핵심 원리 (최적성 원리) 를 보존하면서 계산 효율성을 극대화할 수 있음을 입증했습니다.