Invariant Manifolds of Discrete-time Dynamical Systems with Nonlinear Exosystems via Hybrid Physics-Informed Neural Networks

기술 요약: 비선형 외계 시스템을 가진 이산 시간 동역학 시스템의 불변 다양체: 하이브리드 물리 정보 신경망을 통한 접근

문제 제기
본 논문은 외생적 자율 동역학 (외계 시스템) 에 의해 구동되는 이산 시간 동역학 시스템에 대한 불변 다양체 (IMs) 를 근사화하는 과제를 다룹니다. 이러한 계층적 또는 결합된 시스템은 제어 이론 (예: 비선형 출력 규제) 과 집단 행동 모델링 (예: 교통, 조류 무리, 어류 군집에서의 리더 - 팔로워 동역학) 에서 광범위하게 나타납니다. IM 은 차원 축소 및 안정성 분석을 위한 엄밀한 틀을 제공하지만, 이산 시간 설정에서의 계산은 여전히 어렵습니다. 국소 멱급수 전개 (PSE) 와 같은 전통적인 방법은 계수의 조합적 성장에 따른 '차원의 저주'로 고통받으며, 수렴 반경에 제한을 받아 평형점으로부터 멀리 떨어진 곳에서는 종종 실패합니다. 반면, 순수 데이터 기반 또는 물리 정보 신경망 (PINN) 접근법은 확장성이 뛰어나지만, 평형점 근처에서 급수 전개의 해석 가능성과 빠른 국소 수렴 특성을 결여할 수 있습니다.

방법론
저자들은 IM 을 정의하는 함수적 관계 $x = \pi(y)$를 근사화하기 위해 다변수 다항식 급수와 얕은 신경망 (NN) 을 시너지적으로 결합한 하이브리드 물리 정보 머신러닝 프레임워크를 제안합니다.

1. 수학적 형식화: 문제는 불변 조건에서 유도된 비선형 함수 방정식 (NFEs) 의 시스템을 풀도록 설정됩니다:
   $$\pi(Ay + g(y)) = B\pi(y) + Cy + f(\pi(y), y)$$
   여기서 $y$는 외계 시스템 상태를, $x$는 구동된 상태를 나타냅니다.

2. 하이브리드 아키텍처: 근사치 $\tilde{\pi}_{HxS}(y)$는 구간별 함수로 구성됩니다:

   • 평형점을 중심으로 한 초직사각형 $D$ 내부: 평형점 근처의 기하학적/지수적 수렴 특성을 활용하기 위해 다항식 급수 (멱, 르장드르, 또는 체비셰프) 가 사용됩니다.
   • $D$ 외부: 다항식 급수가 발산하거나 수렴 반경을 초과하는 영역에서 보편적 근사 능력을 활용하기 위해 단일 층 순방향 신경망 (SLFNN) 이 사용됩니다.
   • 연속성: 경계 $\partial D$에서 $C^0$ 연속성을 보장하기 위해 헤비사이드 기반 스위칭 함수가 사용되며, 이는 손실 함수의 연속성 페널티를 통해 강제됩니다.

3. 최적화: 학습 작업은 다음을 포함하는 복합 손실 함수를 최소화하는 물리 정보 최적화 문제로 형식화됩니다:

   • NFE 잔차: 배점 (collocation points) 에서 불변 방정식을 강제합니다.
   • 평형 제약: 다양체가 평형점을 통과하도록 보장합니다.
   • 연속성 제약: 경계에서 다항식과 NN 출력의 일치를 보장합니다.

   최적화는 Levenberg–Marquardt (LM) 알고리즘을 사용하여 해결됩니다. 특히 저자들은 다항식 계수와 NN 매개변수에 대한 모든 잔차의 미분에 대한 해석적 표현을 유도했는데, 이는 특히 강성 시스템 (stiff systems) 의 경우 유한 차분이나 자동 미분보다 우수한 신뢰성과 효율성을 제공한다고 주장합니다.

4. 이론적 기반: 논문은 특정 가정 (IM 의 Barron 정규성, 시스템 동역학의 리프시츠 연속성, 외계 시스템에 대한 측정의 유계 합성) 하에서 독립적인 NN 구성 요소에 대한 보편적 근사 정리를 수립합니다. 이 정리는 네트워크 폭 $L$에 대해 $O(L^{-1/2})$의 $L^2$ 수렴 속도를 보장합니다.

주요 기여

• 하이브리드 방식: 이산 시간 IM 에 대해 다항식 급수의 해석 가능성과 국소 수렴성을 신경망의 전역 근사 능력과 통합하는 새로운 하이브리드 아키텍처의 도입.
• 해석적 미분: 하이브리드 방식의 잔차에 대한 폐형식 해석적 미분 유도로, 견고한 LM 최적화를 용이하게 함.
• 이론적 보장: 이산 시간 불변 방정식에 적용된 NN 구성 요소에 대한 보편적 근사 정리 및 수렴 속도 수립.
• 벤치마킹: 하이브리드 방식을 독립적인 PINN 과 전통적인 PSE 와 비교한 포괄적인 수치 평가.

결과
본 프레임워크는 두 가지 벤치마크 예제에 대해 평가되었습니다:

1. 효소 생반응기 (1 차원 구동, 1 차원 외계 시스템): 하이브리드 방식 (멱, 르장드르, 또는 체비셰프 급수 사용) 은 평균 상대 $L^2$ 오차를 $10^{-5}$ 수준으로 달성하여 독립적인 PSE(오차 $\sim 10^{-3}$) 보다 현저히 우수했고, 독립적인 PINN 보다 약간 더 나은 성능을 보였습니다. 하이브리드 접근법은 다항식 구성 요소로 인해 평형점 근처에서 높은 정확도를 보였으며, NN 구성 요소로 인해 평형점으로부터 멀리 떨어진 곳에서도 정확도를 유지했습니다.
2. 차량 추종 모델 (20 차원 구동, 2 차원 외계 시스템): 이 고차원 사례에서 하이브리드 방식은 다시 PSE(오차 $\sim 10^{-2}$) 보다 우수했고, 독립적인 PINN(오차 $\sim 10^{-3}$) 보다 약간 더 나은 전역 정확도를 보여주었습니다. 하이브리드 방식은 20 차원 다양체로 성공적으로 일반화되어 영역 전반에 걸쳐 균일한 오차 분포를 유지했습니다.

알려진 해석적 IM($x = \ln(1+y)$) 을 가진 추가 검증 사례는 순수 다항식 전개가 수렴 반경 밖에서는 실패하는 반면, 하이브리드 방식은 전체 영역에 걸쳐 정확도를 유지하며 다항식 차수가 증가함에 따라 성능이 향상됨을 확인했습니다.

의의 및 주장
본 논문은 제안된 하이브리드 물리 정보 방식이 독립적인 다항식 전개와 독립적인 신경망에 비해 비교 우위를 제공한다고 주장합니다. 구체적으로:

• 수렴 반경 밖에서는 실패하는 다항식 급수의 국소성 한계를 극복합니다.
• 평형점 근처에서 다항식의 빠른 수렴을 활용하여 해당 영역에서 더 높은 수치적 정확도를 달성함으로써 독립적인 PINN을 개선합니다.
• 문제를 선형화하거나 전통적인 방법에서 종종 요구되는 다단계 절차를 사용하는 복잡성을 피하는 원스톱 플러그 - 앤 - 플레이 솔루션을 제공합니다.

저자들은 이 방법이 다항식 복잡성이 여전히 다루어질 수 있는 저차원 및 중차원 다양체에 대해 매우 효과적이지만, 계수의 조합적 성장은 매우 고차원의 경우 여전히 병목 현상이라고 겸손하게 지적합니다. 이러한 경우 독립적인 PINN 근사가 더 적합할 수 있다고 제안합니다. 논문은 하이브리드 방식의 수렴 특성에 대한 엄밀한 분석과 간소한 텐서 곱 기저의 도입을 포함한 향후 연구 방향을 제시하며 마무리합니다.