Data-Driven Prediction and Control of Hammerstein-Wiener Systems with Implicit Gaussian Processes

Each language version is independently generated for its own context, not a direct translation.

1. 문제 상황: 요리를 하지만 레시피가 불완전해요

상상해 보세요. 아주 유명한 요리사 (시스템) 가 있습니다. 이 요리사는 재료를 넣고 (입력), 중간에 어떤 특별한 소스를 뿌리고 (비선형 입력), 불에 구운 뒤 (선형 동역학), 마지막으로 맛을 보고 양념을 더해서 (비선형 출력) 요리를 완성합니다.

우리는 이 요리사가 어떤 재료를 넣었을 때 어떤 요리를 만들어낼지 알고 싶습니다. 하지만 정확한 레시피는 없습니다. 오직 요리사가 과거에 만든 요리 사진과 맛 기록 (데이터) 만 있을 뿐입니다.

기존의 방법들은 두 가지 문제가 있었습니다:

완전한 블랙박스: "재료를 넣으면 요리가 나온다"고만 믿고, 요리사의 특색 (소스, 양념) 을 무시하고 무작정 예측했습니다. (정확도가 낮음)
레시피의 일부만 아는 경우: 소스 (입력 비선형성) 는 알겠는데, 마지막 양념 (출력 비선형성) 은 어떻게 변하는지 모를 때, 예측이 엉망이 되었습니다.

2. 이 논문의 해결책: "숨겨진 레시피"를 찾아내는 AI

이 논문은 **가우시안 프로세스 (Gaussian Process)**라는 똑똑한 AI 를 활용하여, 요리사의 **전체적인 흐름 (구조)**을 이해하면서 데이터를 학습하는 방법을 제안합니다.

핵심 아이디어 1: "직접적인 답"이 아니라 "관계식"을 찾는다 (Implicit Model)

기존 방식은 "A 재료를 넣으면 B 요리가 나온다"라고 직접적인 답을 찾으려 했습니다. 하지만 이 논문은 **"A 재료와 B 요리 사이에는 이런 관계식이 있다"**는 **숨겨진 규칙 (관계식)**을 찾습니다.

비유: 요리사가 "오늘은 감자를 넣었어"라고 말하면, 우리는 "그럼 소금 양은 얼마고, 양념은 어떻게 변했을까?"를 관계식을 통해 추론합니다. 이렇게 하면 요리사의 복잡한 비선형적인 성향 (소스, 양념) 을 레시피 구조에 맞게 자연스럽게 반영할 수 있습니다.

핵심 아이디어 2: "가상의 맛보기"로 monotonicity(단조성) 보장

요리사의 마지막 양념 과정 (출력 비선형성) 은 보통 단조 증가합니다. 즉, "양념을 더 넣으면 맛은 더 강해진다"는 법칙이 있습니다. 하지만 AI 가 데이터를 학습하다 보면 가끔 "양념을 더 넣었는데 맛이 약해졌다"는 이상한 예측을 할 수 있습니다.

해결책: AI 가 학습할 때, **가상의 맛보기 (Virtual Derivative Points)**를 추가합니다. "이 지점에서는 양념을 더 넣으면 무조건 맛이 강해져야 해!"라고 AI 에게 가상의 규칙을 가르쳐 주는 것입니다.
효과: AI 가 엉뚱한 예측을 하지 않도록, 요리사의 본질적인 성향을 지켜주게 됩니다.

핵심 아이디어 3: "안정적인 뼈대"를 먼저 세우기

요리사의 핵심인 '불 조절 (선형 부분)'과 '양념 (비선형 부분)'을 동시에 학습할 때, AI 가 너무 많은 것을 외우려다 망설이는 (Overfitting) 문제가 생깁니다.

해결책: '안정적인 스테인 (Stable Spline)'이라는 **안정적인 뼈대 (하이퍼파라미터)**를 먼저 세우고, 그 위에 양념을 얹는 방식으로 학습합니다. 이렇게 하면 AI 가 과거 데이터를 너무 맹신하지 않고, 새로운 상황에서도 잘 적응하도록 만듭니다.

3. 실제 적용: 요리를 실시간으로 조절하기 (제어)

이제 이 예측 모델을 이용해 요리사가 원하는 맛 (목표치) 을 만들도록 **리모컨 (제어기)**을 만듭니다.

기존 방식: 한 번에 한 스푼만 넣고 맛을 보고, 다음 스푼을 넣는 식이라서 (1 단계 예측), 전체적인 흐름을 놓치기 쉽습니다.
이 논문의 방식: 여러 스푼을 미리 내다보는 (Multi-step-ahead) 방식으로, "지금 이 양념을 넣으면 3 스푼 뒤의 맛은 이렇게 변할 것이다"라고 미래를 시뮬레이션합니다.
안전 장치: "양념이 너무 강해져서 맛이 망가지지 않도록 (제약 조건)" 확률적으로 보장하며, 예상치 못한 실수 (오차) 에 대비해 조금 더 보수적으로 조절합니다.

4. 결과: 왜 이 방법이 더 좋은가?

실험 결과, 이 새로운 방법은 다음과 같은 장점이 있었습니다:

더 정확한 예측: 블랙박스 방식 (구조를 모르는 AI) 보다 훨씬 정확하게 요리의 미래를 예측했습니다.
더 나은 제어: 목표한 맛에 더 가깝게 도달했고, 특히 요리사의 독특한 성향 (비선형성) 을 잘 반영했습니다.
안정성: 양념이 과다하게 들어가는 등의 실수를 방지했습니다.

요약

이 논문은 **"데이터만 보고 무작정 예측하는 것"**보다, **"시스템의 구조 (레시피 흐름) 를 이해하고, 가상의 규칙 (맛의 법칙) 을 추가하여 학습하는 것"**이 훨씬 더 똑똑하고 안전한 방법임을 증명했습니다.

마치 초보 요리사에게 레시피의 '원리'를 가르쳐 주는 것과 같습니다. 단순히 "A 를 넣으면 B 가 된다"고 외우는 게 아니라, "왜 A 를 넣으면 B 가 되는지, 그리고 양념을 더 넣으면 어떻게 변하는지"를 이해하게 함으로써, 어떤 상황에서도 맛있는 요리를 만들어낼 수 있게 한 것입니다.

Each language version is independently generated for its own context, not a direct translation.

제시된 논문 "Data-Driven Prediction and Control of Hammerstein-Wiener Systems with Implicit Gaussian Processes"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 정의 (Problem Statement)

배경: 최근 복잡한 시스템과 빅데이터의 등장으로 인해, 시스템에 대한 최소한의 모델 지식만으로도 수집된 입출력 데이터로부터 비모수적 (nonparametric) 예측기를 학습하는 데이터 기반 예측 (Data-driven prediction) 에 대한 관심이 높아지고 있습니다.
대상 시스템: 해머슈타인 - 위너 (Hammerstein-Wiener, H-W) 시스템. 이는 정적 입력 비선형성 (Hammerstein 부분) 과 정적 출력 비선형성 (Wiener 부분) 을 가진 블록 구조 비선형 시스템입니다. 화학 공정, 전자기계 시스템 등 다양한 분야에서 널리 사용됩니다.
기존 방법의 한계:
- 기존 GP-MPC: 완전한 블랙박스 모델이거나 알려진 명목 모델에 블랙박스 동역학을 더한 구조를 사용하며, H-W 시스템의 고유한 블록 구조를 인코딩하지 못합니다. 또한, 1 단계ahead 예측기를 사용하므로 예측 구간 동안의 불확실성 전파 (uncertainty propagation) 가 어렵고 근사화가 필요합니다.
- Willems 의 기본 보조정리 (WFL) 기반 방법: 선형 시스템에 적용되나, H-W 시스템의 경우 기존 연구들은 입력 비선형성 (Hammerstein) 만 다루고 출력 비선형성 (Wiener) 은 다루지 못했습니다. 또한, 유한 차원의 기저 함수 사전 (dictionary) 이 필요하여 실용성이 떨어지고, 신호 공간의 차원이 커질수록 지속성 자극 (persistency of excitation) 조건을 만족하기 어렵습니다.
목표: H-W 시스템의 구조를 인코딩하면서도 비선형성에 대한 사전 지식이 없는 상태에서, 데이터 기반 다단계ahead 예측 및 예측 제어 (MPC) 를 수행하는 새로운 프레임워크 개발.

2. 제안된 방법론 (Methodology)

저자들은 H-W 시스템의 다단계ahead ARX 구조를 암시적 함수 (Implicit Function) 학습 문제로 재정의하고, 이를 구조화된 커널을 가진 은닉 가우시안 프로세스 (Implicit Gaussian Process, GP) 로 학습하는 방법을 제안합니다.

2.1. 암시적 예측기 구조 (Implicit Predictor Structure)

시스템의 선형 부분 ( $G(q)$ ) 에 대한 WFL 을 기반으로 한 다단계ahead 관계식을 유도합니다.
비선형 함수 $\psi(\cdot)$ (입력) 와 $\phi(\cdot)$ (출력) 를 명시적으로 분리하지 않고, 입출력 궤적 간의 암시적 관계식 $0 = [\Gamma_1 \ \bar{\Gamma}_2] \text{col}(\Psi(u), \Phi(y_p), \Phi(y_f)) - \bar{\Gamma}_2 e$ 를 학습 대상으로 설정합니다.
이 방식은 비선형 함수의 합성 (composite) 을 피하여 학습을 용이하게 하고, 물리 정보 (H-W 구조) 를 반영한 "Physics-informed" 설계를 가능하게 합니다.

2.2. 구조화된 커널 설계 (Structured Kernel Design)

비선형 함수 $\psi$ 와 $\phi$ 를 각각 가우시안 프로세스 (GP) 로 모델링합니다.
선형 모델 파라미터 ( $\Gamma_1, \Gamma_2$ ) 를 GP 의 하이퍼파라미터로 간주하여, 선형 부분의 동역학과 비선형 부분의 불확실성을 통합적으로 학습합니다.
이를 통해 일반적인 블랙박스 GP 보다 작은 함수 공간에서 H-W 구조에 부합하는 예측기를 설계합니다.

2.3. 단조성 제약 및 가상 도함수 점 (Monotonicity & Virtual Derivative Points)

출력 비선형성 $\phi(\cdot)$ 이 단조 증가 함수라는 가정 (Assumption 1.3) 을 활용합니다.
GP 의 무한대 성질로 인해 모든 샘플에서 단조성을 보장할 수는 없으므로, 기대 전파 (Expectation Propagation, EP) 알고리즘을 사용하여 가상 도함수 점 (Virtual Derivative Points) 을 학습 데이터에 추가합니다.
이를 통해 학습된 함수가 단조 증가 성질을 따르도록 유도하여, 위너 시스템으로서의 잘 정의됨 (well-definedness) 을 보장합니다.

2.4. 하이퍼파라미터 추정 (Hyperparameter Tuning)

선형 모델 파라미터 ( $\Gamma_1, \Gamma_2$ ) 를 추정할 때 과적합 (overfitting) 을 방지하기 위해 안정 스플라인 하이퍼프리어 (Stable Spline Hyperprior) 를 적용합니다.
하이퍼파라미터와 모델 파라미터를 동시에 추정하기 위해 연결 사후 최대 확률/최대 가능도 (JMAP-ML) 문제를 풉니다.

2.5. 데이터 기반 예측 제어 (Data-Driven Predictive Control, DDPC)

제안된 암시적 예측기를 재귀적 예측 제어 (Receding Horizon Control) 에 적용합니다.
비용 함수: 제어 입력 비용과 예측된 출력의 기대 오차 (편향 및 분산 포함) 를 최소화합니다.
제약 조건: 출력 확률 제약 (Chance Constraint) 을 만족하도록 제약 조건을 강화 (Constraint Tightening) 합니다. 이는 예측 오차의 분산을 고려하여 불확실성을 보상하는 방식입니다.
장점: 1 단계ahead 예측기를 재귀적으로 사용하는 기존 GP-MPC 와 달리, 본 방법은 본질적으로 다단계ahead 예측을 제공하므로 불확실성 전파의 복잡성을 우회합니다.

3. 주요 기여 (Key Contributions)

H-W 시스템을 위한 암시적 GP 모델: 출력 비선형성을 포함한 H-W 시스템의 구조를 GP 커널에 인코딩한 최초의 데이터 기반 예측 프레임워크 제안.
단조성 보장: 가상 도함수 점과 기대 전파 알고리즘을 활용하여 출력 비선형성의 단조성을 학습 과정에 통합.
하이퍼파라미터 추정 전략: 안정 스플라인 하이퍼프리어를 활용한 JMAP-ML 기법으로 선형 파라미터를 효과적으로 추정하여 과적합 방지.
불확실성 전파 우회: 다단계ahead 예측기를 직접 사용하여 GP-MPC 에서 발생하는 불확실성 전파의 계산적 어려움을 해결.
성능 검증: 블랙박스 GP 모델 및 선형 예측기 대비 우수한 예측 정확도와 제어 성능 입증.

4. 수치적 결과 (Numerical Results)

예측 성능:
- 다양한 시나리오 (단일 입력/단일 출력, 랜덤 비선형성 등) 에서 제안된 알고리즘 (Algorithm 2) 은 블랙박스 GP 모델과 선형 예측기보다 훨씬 낮은 예측 오차를 보였습니다.
- 특히, 가상 도함수 점을 추가하지 않은 경우 출력 비선형성이 단조성을 잃는 반면, 제안된 방법은 정확한 단조 함수를 복원했습니다.
- 하이퍼프리어를 사용하지 않을 경우 예측 오차가 크게 증가하여, 제안된 JMAP-ML 기법의 중요성을 입증했습니다.
제어 성능:
- pH 공정 모델 (H-W 시스템) 을 사용한 시뮬레이션에서, 제안된 DDPC 알고리즘은 참 모델 (True Model) 을 사용한 비선형 MPC 와 유사한 성능을 보였습니다.
- 블랙박스 GP 기반 제어기나 선형 예측기는 출력 비선형성을 정확히 포착하지 못해 피크 구간에서 제어 성능이 저하되었습니다.
계산 비용:
- 제안된 방법은 하이퍼파라미터가 많고 커널 설계가 복잡하여 블랙박스 GP 에 비해 계산 시간이 길었습니다 (학습 시간 약 69 초 vs 46 초, 예측 시간 약 56 초 vs 0.02 초). 이는 향후 개선이 필요한 과제로 지적되었습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 데이터 기반 제어 분야에서 시스템의 물리적 구조 (H-W 구조) 를 머신러닝 모델 (GP) 에 효과적으로 통합하는 새로운 패러다임을 제시합니다. 기존 블랙박스 접근법의 한계를 극복하고, 출력 비선형성까지 고려한 구조화된 예측기를 개발함으로써, 복잡한 비선형 시스템의 제어 정밀도를 크게 향상시켰습니다. 특히, 불확실성 전파 문제를 우회하는 다단계ahead 예측 전략은 GP-MPC 의 실용성을 높이는 중요한 기여를 했습니다. 비록 계산 복잡도가 높다는 단점이 있으나, 향후 최적화 알고리즘 개선과 함께 실제 산업 응용에 큰 잠재력을 가지고 있습니다.