State-Space Neural Network with Ordered Variance for Model Order Determination

기술 요약: 모델 차수 결정을 위한 순서화된 분산을 가진 상태 공간 신경망

문제 정의
본 논문은 입력-출력 훈련 데이터셋으로부터 비선형 상태 공간 모델을 식별하는 동시에 적절한 모델 차수(상태 차원)를 결정하는 과제를 다룬다. 상태 공간 신경망(SSNN)이 비선형 동역학 학습을 위해 인기를 얻고 있으나, 예측 오차 방법(PEM)에서 공통적으로 나타나는 문제들, 즉 국소 최솟값(local minima)으로의 수렴 문제와 결정적으로 상태 차원을 알 수 없다는 문제에 직면해 있다. 모델 차수를 선택하는 작업은 일반적으로 시행착오를 필요로 하며, 이는 계산 비용이 많이 든다. 오토인코더 또는 커널 기반 모델에서 모델 차수를 결정하기 위해 사용되는 기존 방법들은 SSNN으로 효과적으로 확장되지 못했다.

방법론: SSNNO 프레임워크
저자들은 **순서화된 분산을 가진 상태 공간 신경망(SSNNO)**이라 명명된 새로운 프레임워크를 제안한다. 핵심 혁신은 상태 변수의 분산 순서를 강제하기 위해 SSNN 손실 함수에 분산 정규화 항을 통합하는 것이다.

1. 구조 및 훈련:

   • SSNNO는 표준 SSNN 구조를 유지하며, 신경망을 통해 상태($x_{k+1} = f_{NN}(x_k, u_k)$) 및 출력($y_k = g_{NN}(x_k)$) 함수를 학습한다.
   • 손실 함수($J$)는 제곱 예측 오차(SPE), 출력 서브 네트워크를 위한 파라미터 정규화 항, 그리고 새로운 분산 정규화 항($J_v$)을 결합한다.
   • 이 가중치 방식은 가중치가 엄격히 증가하는 대각 행렬 $W = \text{diag}(w_1, \dots, w_d)$ ($0 \le w_1 < w_2 < \dots < w_d$)에 의해 가중치가 부여된 후속 상태들의 분산을 0에 가깝게 최소화하는 동시에, 선행 상태들의 분산은 보존하도록 유도한다.

2. 모델 차수 결정 및 축소:

   • 유의미한 상태 vs 잔차 상태: 훈련 후, 상태는 분산에 따라 정렬된다 ($V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$). 임계값 $\delta$를 적용하여 상태를 "유의미한 상태" ($V_{x_i} > \delta$)와 "잔차 상태" ($V_{x_i} \le \delta$)로 분류한다.
   • 축소된 차수의 SSNNO (R-SSNNO): 유의미한 상태만을 유지함으로써 모델 차수를 축소한다. 잔차 상태는 평균값으로 근사되어 상태 서브 네트워크의 첫 번째와 마지막 층의 파라미터로 흡수된다. 이를 통해 재훈련 없이 축소된 차수의 모델을 얻을 수 있다.

3. 실제 구현:

   • 국소 최적화 알고리즘이 엄격한 분산 순서를 충족하는 전역 최솟값에 수렴하지 못할 수 있음을 인식하여, 저자들은 실용적인 반복 알고리즘(Algorithm 1)을 제안한다. 이 방법은 국소적으로 최적화된 해의 상태 변수들을 순열(permutation)하여 분산 순서 조건을 만족시키고, 필요한 경우 다시 최적화하여 분산이 정렬된 해가 도출될 때까지 과정을 반복한다.

이론적 기여
본 논문은 제안된 프레임워크에 대해 다음과 같은 공식적인 이론적 보증을 제공한다:

• 순서화된 분산의 존재성: 재배열 부등식(rearrangement inequality)을 사용하여, 제안된 손실 함수의 전역 최솟값이 본질적으로 분산 순서 조건($V_{x_1} \ge \dots \ge V_{x_d}$)을 만족함을 증명한다.
• 오차 경계: 표준 SSNN 대비 SSNNO의 출력 예측 오차에 대한 상한을 설정한다. 분산 정규화로 인한 예측 정확도의 저하가 하이퍼파라미터 $\alpha$와 $\beta$에 의해 제어되는 사용자 지정 허용 오차 내에서 제한될 수 있음을 입증한다.

시뮬레이션 결과
SSNNO의 효과는 심각한 이득 비선형성을 보이는 비선형 연속 교반 탱크 반응기(CSTR) 공정에 대해 검증되었다.

• 모델 차수 식별: 실제 시스템 차수가 2인 시뮬레이션에서, SSNNO(초기 차원 3으로 훈련)는 세 번째 상태가 무시할 만한 분산을 가짐을 성공적으로 식별하였다. 이를 통해 2차 모델인 R-SSNNO 모델을 도출할 수 있었다.
• 성능: R-SSNNO 모델(2차 및 1차로 축소됨)은 훈련 및 테스트 데이터에 대한 평균 제곱 오차(MSE) 지표를 통해, 전체 3차 SSNNO 및 표준 SSNN과 대등한 예측 정확도를 유지함을 보여주었다.
• 강건성: 다양한 노이즈 수준에 따른 몬테카를로 시뮬레이션을 통해, 제곱 예측 오차(SPE)를 저해하지 않으면서 분산 순서가 일관되게 달성됨을 확인하였다.
• 제어 응용: 식별된 R-SSNNO 모델은 확장 칼만 필터(EKF) 기반 모델 예측 제어(MPC) 체계에 성공적으로 통합되었다. 제어기는 플랜트-모델 불일치를 보정하며 기준 온도 궤적을 효과적으로 추종하였다.

의의 및 주장
본 논문은 SSNNO가 모델 차수 결정 문제를 해결하기 위해 SSNN 프레임워크 내에 상태 변수의 분산 순서를 직접 통합한 최초의 연구라고 주장한다. 주요 의의는 다음과 같다:

1. 동시 식별: 비선형 상태 공간 모델의 식별과 데이터로부터 적절한 모델 차수의 결정을 동시에 수행할 수 있게 한다.
2. 체계적 축소: 필수적인 동역학을 유지하면서 복잡성을 최소화하는 체계적이고 비휴리스틱한 절차를 통해 축소된 차수의 모델을 도출한다.
3. 이론적 엄밀성: 많은 데이터 기반 식별 방법에서 결여된 이론적 보증을 해결하며, 이러한 순서화된 모델의 존재성과 예측 오차에 대한 경계에 대한 공식적인 증명을 제공한다.

저자들은 이 방법이 식별 및 제어에는 효과적이지만, 프레임워크가 가제어성(controllability)과 안정성(stability)에 대한 이론적 보증을 제공하도록 확장하기 위한 후속 연구가 필요하다고 결론지었다.