A guided residual search for nonlinear state-space identification

논문 개요

이 논문은 입력 - 출력 데이터로부터 비선형 상태 공간 모델을 식별할 때 발생하는 고도로 비볼록 (non-convex) 한 최적화 문제의 신뢰성과 효율성을 향상시키기 위한 새로운 접근법을 제안합니다. 저자들은 전체 최적화 문제를 일련의 해결 가능한 하위 문제로 분해하여, 초기 선형 모델을 기반으로 비선형 잔차 동역학을 추정하고 이를 다중 사격 (multiple-shooting) 기법으로 정제하는 가이드드 잔차 탐색 (Guided Residual Search) 방법을 개발했습니다.

1. 문제 정의 (Problem Statement)

• 도전 과제: 비선형 동적 시스템의 식별은 모델 구조 선택과 파라미터 추정이 긴밀하게 결합되어 있어 매우 어렵습니다. 특히, 재귀적 시뮬레이션 기반의 파라미터 추정은 초기값에 민감하며, 국소 최소값 (local minima) 에 빠지기 쉽고, 긴 시간 구간에서 기울기 소실/폭발 (vanishing/exploding gradients) 현상으로 인해 수렴이 느리거나 실패할 수 있습니다.
• 기존 방법의 한계:
  • 초기화 전략: 선형 모델에서 시작하여 비선형 잔차를 무작위로 초기화하는 방식은 여전히 최적해에 도달하지 못할 위험이 있습니다.
  • 잠재 상태 추정: 상태를 최적화 변수로 직접 다루거나 딥러닝 인코더를 사용하는 방식은 계산 비용이 크거나 추가적인 초기화 요구사항이 있습니다.
  • 분포 편이 (Distribution Shift): 잔차 추정 단계와 실제 시뮬레이션 배포 단계 간의 불일치로 인해 오차가 누적되어 발산할 수 있습니다.

2. 제안된 방법론 (Methodology)

논문은 NL-LFR (Nonlinear Linear Fractional Representation) 구조를 기반으로 하며, 3 단계의 순차적 식별 전략을 제시합니다.

A. 가이드드 잔차 탐색 (Guided Residual Search)

• 목적: 초기 선형 모델 ($M_0$) 을 고정하고, 비선형 잔차에 해당하는 잠재 변수 ($w, x$) 와 관련 행렬 ($B_w, D_{yw}$) 을 추정합니다.
• 이중 최적화 (Bilevel Optimization) 구조:
  1. 내부 문제 (Inner Problem): 주어진 파라미터 하에서 슬라이딩 윈도우 (sliding window) 전략을 사용하여 비모수적 (nonparametric) 으로 잔차 $w$와 상태 $x$를 추정합니다. 이는 측정 노이즈에 대한 민감도를 줄이고 국소 최적화 문제를 해결합니다.
  2. 외부 문제 (Outer Problem): 추정된 신호를 기반으로 행렬 $B_w, D_{yw}$를 업데이트하여 출력 오차를 최소화합니다.
• 효과: 신경망 학습을 위한 고품질의 잠재 데이터셋 ($D^*$) 을 생성합니다.

B. 비선형 잔차의 매개변수 학습 (Parametric Learning)

• 추정된 잠재 변수 ($w^*, x^*$) 를 사용하여 신경망 ($f_{NN}$) 과 관련 행렬 ($C_z, D_{zu}$) 을 학습합니다.
• 이 단계에서는 샘플들을 독립적이고 동일하게 분포된 (i.i.d.) 것으로 간주하여 병렬 GPU 계산을 통해 효율적으로 학습합니다.

C. 다중 사격을 이용한 최종 최적화 (Final Optimization using Multiple Shooting)

• 문제 해결: 앞선 단계에서 학습된 모델은 재귀적 상태 업데이트를 무시하고 학습되었기 때문에, 실제 시뮬레이션 시 분포 편이 (Distribution Shift) 로 인해 오차가 기하급수적으로 증가할 수 있습니다 (Theorem 1 증명).
• 해결책: 다중 사격 (Multiple Shooting) 기법을 적용합니다. 시뮬레이션 구간을 짧은 구간으로 나누고, 각 구간의 초기 상태를 결정 변수로 추가하여 오차 누적을 방지하고 손실 함수의 지형을 평탄화 (smoothing) 합니다.
• 초기화: 앞선 단계에서 얻은 상태 추정치와 파라미터를 초기값으로 사용하여 최적화 알고리즘 (IPOPT) 이 전역 최적해에 빠르게 수렴하도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 초기화 없는 비선형 식별: 시스템의 물리 방정식이나 주기적 데이터에 대한 사전 지식이 필요 없이, 일반적인 입력 - 출력 데이터로부터 NL-LFR 모델을 식별할 수 있는 프레임워크를 제시했습니다.
2. 분포 편이의 이론적 분석 및 완화: 잔차 추정 단계와 시뮬레이션 단계 간의 분포 편이가 시뮬레이션 오차를 어떻게 기하급수적으로 증폭시키는지 이론적으로 증명 (Theorem 1) 하고, 이를 다중 사격 기법으로 효과적으로 완화하는 전략을 제안했습니다.
3. 효율적인 3 단계 식별 프로세스: 비볼록 최적화 문제를 tractable 한 하위 문제로 분해하여, 기존 방법보다 빠른 수렴 속도와 더 나은 성능을 달성했습니다.

4. 실험 결과 (Results)

두 가지 실험적 벤치마크를 통해 제안된 방법의 유효성을 검증했습니다.

• Silverbox 시스템 (전자적 질량 - 스프링 - 댐퍼 시스템):
  • 제안된 방법 (S1) 은 초기 선형 모델만 사용한 경우 (S3, S4) 에 비해 훨씬 낮은 초기 NRMSE 를 보였으며, 다중 사격을 사용한 경우 단일 사격보다 더 낮은 최종 오차로 수렴했습니다.
  • 최신 블랙박스 방법 (SUBNET, PNLSS) 과 비교했을 때 경쟁력 있는 성능을 보였으며, 특히 외삽 (extrapolation) 영역에서도 우수한 성능을 발휘했습니다.
• F-16 전투기 지상 진동 테스트:
  • 신경망 학습 중에는 시뮬레이션 오차가 급격히 증가하는 분포 편이 현상이 관찰되었으나, 제안된 초기화 방식을 적용한 다중 사격 최적화는 이 초기 오차에도 불구하고 빠르게 수렴하여 선형 모델만 사용한 경우보다 훨씬 우수한 최종 모델을 생성했습니다.
  • 훈련 데이터와 다른 진폭의 테스트 데이터에서도 BLA(Best Linear Approximation) 대비 모든 출력 채널에서 NRMSE 가 크게 개선되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 비선형 상태 공간 식별의 핵심 난제인 초기값 의존성과 최적화 수렴성 문제를 체계적으로 해결했습니다.

• 이론적 통찰: 비선형 모델의 재귀적 시뮬레이션에서 발생하는 오차 누적 메커니즘을 명확히 규명하고 이를 제어하는 방법을 제시했습니다.
• 실용적 가치: 복잡한 비선형 시스템에 대해 물리 모델 없이도 고품질의 시뮬레이션 모델을 효율적으로 구축할 수 있는 도구를 제공하며, 제어 시스템 설계 및 모델 기반 예측 유지보수 등에 적용 가능한 강력한 기반을 마련했습니다.

요약하자면, 이 논문은 가이드드 잔차 탐색과 다중 사격 최적화를 결합하여 비선형 시스템 식별의 신뢰성과 효율성을 획기적으로 높인 혁신적인 방법론을 제시했습니다.