Model Predictive Control and Moving Horizon Estimation using Statistically Weighted Data-Based Ensemble Models

본 논문은 다양한 운영 조건에 걸쳐 복잡한 시스템을 효과적으로 제어하기 위해 마할라노비스 거리 기반의 가중치 부여된 데이터 기반 모델 앙상블과 이동 시간 창 추정 관측기를 활용하는 새로운 모델 예측 제어 프레임워크를 제안한다.

핵심

거대한 복잡함의 배 (지역난방 시스템) 의 선장이 되어 변화하는 날씨를 항해한다고 상상해 보세요. 때로는 물이 잔잔하고 따뜻합니다 (여름 조건); 다른 때는 폭풍우가 치고 얼어붙습니다 (겨울 조건). 이 배를 효율적이고 안전하게 조종하려면 향후 몇 시간 동안 배가 어디에 있을지 정확히 예측할 수 있는 항해 팀이 필요합니다.

이 논문은 바로 그 항해 팀을 구축하는 새로운 방법과 배를 조종하는 새로운 방식을 소개합니다. 이를 간단한 용어로 설명하면 다음과 같습니다:

문제: 하나의 지도로는 부족합니다

일반적으로 엔지니어들은 모든 조건에서 배가 어떻게 행동할지 예측하기 위해 단 하나의 "블랙박스" 모델(초지능 AI 와 같은) 을 구축하려고 시도합니다. 하지만 하나의 지도가 사막과 빙산을 모두 완벽하게 보여줄 수 없듯이, 하나의 모델은 날씨가 변할 때 종종 혼란에 빠집니다. 배가 폭풍우에서 실제로는 속도가 느려질 때 빠르게 움직일 것이라고 예측할 수 있으며, 이로 인해 잘못된 결정이나 안전 위반이 발생할 수 있습니다.

해결책: 전문가 팀 (앙상블 모델)

일반적인 전문가 한 명 대신, 저자들은 전문가 팀을 고용할 것을 제안합니다.

• 전문가 A는 "여름 조건"의 전문가입니다. 이들은 오직 여름 데이터만으로 훈련했습니다.
• 전문가 B는 "겨울 조건"의 전문가입니다. 이들은 오직 겨울 데이터만으로 훈련했습니다.

예측이 필요할 때, 단순히 하나를 선택하는 것이 아니라 두 사람 모두의 의견을 묻고 그 답변을 결합합니다. 하지만 까다로운 점은 각 전문가를 얼마나 신뢰해야 하는가입니다.

혁신 1: "통계적 나침반" (마할라노비스 거리)

과거에는 사람들이 다음과 같이 했습니다:

1. 두 의견의 평균을 내는 것 (50 대 50). 이는 종종 잘못되었습니다.
2. "누가 과거에 옳았는가?"를 묻고 그 사람을 더 신뢰하는 것. 하지만 제어 시스템에서는 미래를 내다보는 것이며, 아직 미래는 알 수 없습니다.

저자들은 마할라노비스 거리에 기반한 새로운 규칙을 제안합니다. 이를 통계적 나침반이라고 생각하세요.

• 시스템은 현재 날씨 (온도 및 부하와 같은 입력값) 를 살펴봅니다.
• "오늘의 날씨가 전문가 A 가 학습한 데이터와 통계적으로 얼마나 유사한가? 전문가 B 와는 얼마나 유사한가?"라고 묻습니다.
• 오늘이 매우 "여름 같은 날"처럼 보이면, 나침반은 전문가 A 에게 거대한 표 (높은 가중치) 를 주고 전문가 B 에게는 아주 작은 표를 줍니다.
• 결정적으로, 이 나침반은 미래 출력(아직 알 수 없는 것) 이 아닌 입력(다음에 무엇을 계획할지) 에만 작동합니다. 이를 통해 시스템은 예측 창 동안 날씨가 변함에 따라 전문가들 간의 신뢰를 매끄럽게 전환할 수 있습니다.

혁신 2: "기억의 길" 관측기 (이동 창 추정)

두 번째 문제가 있습니다. 이러한 AI 전문가들 (특히 게이트드 순환 단위, GRU) 은 예측을 돕는 내부 "메모리"나 "상태"를 가지고 있습니다. 그러나 이 메모리는 선장에게 보이지 않습니다; 선장은 외부 온도와 물의 흐름만 볼 수 있습니다.

선장이 메모리를 잘못 추측하면 예측이 진로를 이탈하게 됩니다.

• 구 방식: 모델을 스스로 작동하게 하는 것 (개방 루프). 작은 실수를 저지르면 오차가 점점 더 커집니다.
• 새 방식 (MHE): 저자들은 "기억의 길" 관측기를 구축했습니다. 단순히 마지막 초만 보는 대신, 지난 50 단계의 역사를 되돌아봅니다. "지난 50 분 동안 일어난 모든 일을 고려할 때, 이러한 결과를 만들어내기 위해 내부 메모리가 어떻게 있어야 했는가?"라고 묻습니다.
• 그런 다음 다음 예측을 하기 전에 메모리를 역사에 완벽하게 맞도록 조정합니다. 이는 현재 상황을 더 잘 이해하기 위해 범죄 현장을 재구성하는 탐정과 같습니다.

결과: 더 매끄럽고 저렴한 여정

저자들은 여름과 겨울 모드 사이를 전환하는 실제 난방 시스템 (AROMA 시스템) 에서 이를 테스트했습니다. 그들은 새로운 방법을 다음과 비교했습니다:

• 규칙 기반: 간단한 고 rigid 한 규칙 집합 (매뉴얼을 따르는 인간과 같은).
• 평균: 두 전문가를 동등하게 신뢰함.
• 최소 제곱: 가장 최근에 옳았던 사람을 신뢰함.
• 고정 마할라노비스: 나침반을 사용하되, 미래가 아닌 현재 순간만 봄.
• 그들의 방법 (MD-2): 전체 미래 예측 창 동안 신뢰를 조정하기 위해 나침반을 사용함.

발견 사항:

1. 절감: 그들의 방법은 다른 방법들보다 날씨 변화를 더 잘 예측할 수 있었기 때문에 가장 많은 돈을 절약했습니다 (경제적 성과).
2. 안전: 물이 너무 뜨겁거나 너무 차가워지는 것과 같은 안전 한계와 관련된 실수가 가장 적었습니다.
3. 정확성: "기억의 길" 관측기는 모델의 내부 예측 오류를 크게 줄여 전체 시스템의 신뢰성을 높였습니다.

한 마디로 요약

이 논문은 하나의 일반 전문가가 아닌 전문 AI 모델 팀을 사용하여 복잡한 시스템을 제어하는 방법을 가르쳐 줍니다. 이는 현재 조건에 기반하여 누구를 신뢰할지 결정하기 위해 통계적 나침반을 사용하고, AI 의 내부 메모리를 수정하기 위해 역사적 탐정을 사용합니다. 그 결과, 조건이 변할 때 운영 비용이 더 저렴하고 안전성이 높은 시스템이 됩니다.

기술 요약

기술 요약: 통계적으로 가중치 부여된 데이터 기반 앙상블 모델을 활용한 모델 예측 제어 및 이동 구간 추정

문제 제기
모델 예측 제어 (MPC) 는 복잡한 시스템을 관리하는 지배적인 전략이지만, 그 성능은 근본적인 예측 모델의 정확도에 크게 의존합니다. 데이터 기반 모델 (예: 신경망) 은 개발과 데이터 가용성 측면에서 장점을 제공하지만, 단일 블랙박스 모델은 종종 다양한 운영 조건 전반에 걸쳐 예측 정확도를 유지하지 못합니다. 또한, 여러 전문 모델을 결합하는 표준 앙상블 학습 접근법은 정적 가중치 부여나 과거 출력 오차에 기반한 가중치 부여에 의존하는 경향이 있습니다. 이러한 방법들은 미래 상태 및 출력 측정이 불가능한 예측 구간 전반에서 가중치를 동적으로 조정할 수 없기 때문에 MPC 에게는 최적이지 않습니다. 더 나아가, 물리적 의미를 결여한 경우가 많은 데이터 기반 앙상블 모델의 내부 상태를 추정하면서 상태 제약을 부과하는 것은 문헌에서 해결되지 않은 과제로 남아 있습니다.

방법론
본 논문은 여러 조건 하에서 운영되는 시스템을 위해 모델 예측 제어 (MPC) 와 이동 구간 추정 (MHE) 을 통합한 통합 프레임워크를 제안합니다. 이 접근법의 핵심은 각 전문가가 특정 운영 도메인에 해당하는 데이터셋으로 훈련된 데이터 기반 모델 (구체적으로 게이트 순환 단위, GRU) 의 앙상블을 포함합니다.

1. 마할라노비스 거리 기반 가중치 부여:
   정적 평균화나 출력 의존적 가중치 부여 대신, 저자들은 앙상블 가중치가 시스템 입력의 함수가 되는 새로운 결합 규칙을 제안합니다. 특정 시간 단계에서 각 전문가 모델 $M^{[i]}$ 에 할당된 가중치는 현재 (또는 미래) 입력 벡터와 해당 전문가의 훈련 입력 데이터 간의 통계적 마할라노비스 거리에 반비례합니다.
   $$\lambda^{[i]}_{MD}(u(h)) = \frac{1 / T^2(u(h), u^{[i]})}{\sum_{i=1}^{n} 1 / T^2(u(h), u^{[i]})}$$
   이를 통해 가중치는 미래 출력 측정을 필요로 하지 않고 알려진 미래 입력 시퀀스에만 기반하여 예측 창 전반에 걸쳐 동적으로 변화할 수 있게 되어, MPC 가 운영 조건 변화를 예측할 수 있게 됩니다.

2. MHE 기반 상태 관측기:
   데이터 기반 모델에 대한 상태 추정 문제를 해결하기 위해, 앙상블 내의 각 전문가에 대해 이동 구간 추정 (MHE) 관측기가 개발되었습니다. MHE 문제는 유한한 과거 구간에서 모델이 예측한 출력과 실제 측정된 플랜트 출력 간의 오차를 최소화합니다. 핵심적으로, 이 공식화는 상태 제약 (예: 숨겨진 상태의 진폭 한계) 을 명시적으로 포함하여, MPC 를 초기화하는 데 사용되는 추정된 상태가 모델의 내부 한계와 물리적으로 일관되도록 보장합니다.

주요 기여
본 논문은 두 가지 주요 기여를 합니다:

• 새로운 MPC 공식화: 최적화된 입력과 각 전문가의 훈련 데이터 간의 통계적 근접성 (마할라노비스 거리) 에 의해 결합 가중치가 결정되는 데이터 기반 앙상블을 활용하는 MPC 조절기를 도입합니다. 이는 미래 출력 측정을 필요로 하지 않고 입력 의존적이며 예측 구간이 변하는 가중치를 가능하게 합니다.
• 제약 상태 관측기: 문헌에서 앙상블 모델에 대해 이전에 다루어지지 않았던 능력을 바탕으로, MHE 에 기반한 앙상블 모델을 위한 새로운 관측기 설계를 제안합니다. 이 방법은 상태 제약을 엄격히 부과하면서도 모든 앙상블 전문가에 대한 상태의 정확한 추정을 가능하게 합니다.

수치적 결과
본 프레임워크는 여러 운영 조건 (여름 및 겨울 부하 프로파일 시뮬레이션) 을 특징으로 하는 벤치마크 지역 난방 시스템 (DHS) 에서 검증되었습니다. 시스템은 72 단계 예측 구간을 가진 MPC 를 사용하여 제어되었으며, 네 가지 가중치 부여 전략이 비교되었습니다:

• AV: 단순 산술 평균.
• LS: 과거 100 시간 단계에 기반한 최소제곱법 최적화.
• MD-1: 이전 시간 단계의 값으로 고정된 마할라노비스 기반 가중치.
• MD-2: 전체 예측 구간 전반의 입력에 대한 함수로 최적화된 마할라노비스 기반 가중치.

결과들은 제안된 MD-2 전략이 다른 MPC 전략 및 규칙 기반 기준선과 비교하여 가장 우수한 경제적 성과 (최저 비용) 를 달성하고 가장 적은 수의 제약 위반을 보임을 입증했습니다. 구체적으로, AV 및 LS 전략은 제약 위반을 보인 반면, 마할라노비스 기반 접근법은 실현 가능성을 유지했습니다. MD-2 접근법은 미래 조건 변화에 더 일찍 반응함으로써 MD-1 보다 우월했으며, 이는 예측 구간이 변하는 가중치의 이점을 강조합니다. 또한, MHE 기반 관측기는 개방 루프 상태 전파에 비해 개별 모델의 1 단계 출력 예측 오차를 현저히 감소시켰습니다.

의의 및 주장
저자들은 그들의 방법론이 경제적 성과와 제약 준수 측면에서 모두 표준 평균화 및 최적화 기반 가중치 선택 방법보다 현저히 우수하다고 주장합니다. 그들은 제안된 마할라노비스 기반 결합 규칙이 MPC 프레임워크 내에서 다양한 운영 조건을 처리하는 강력한 해결책이라고 단언하는데, 이는 이용 불가능한 미래 출력 대신 이용 가능한 입력 데이터에만 의존하기 때문입니다. furthermore, 본 논문은 제약 하의 데이터 기반 모델에 대한 상태 추정의 중요한 문제를 MHE 기반 관측기가 효과적으로 해결하여 폐루프 성능을 향상시킨다고 강조합니다. 제안된 방법의 계산 부하가 추가된 복잡성에도 불구하고 합리적인 수준으로 유지된다고 지적됩니다. 향후 작업은 정보 획득을 위한 능동 학습 설정에 이 프레임워크를 통합하는 것으로 식별되었습니다.