Deep Spectral Learning of Embedded Latent Transfer Operators for Stochastic Dynamical Systems

기술 요약: 확률적 동역학계를 위한 임베디드 잠재 전이 연산자의 심층 스펙트럼 학습

문제 정의
본 논문은 시계열 데이터를 사용하여 확률적 비선형 동역학계를 예측하고 이해하는 과제를 다룹니다. 실제 관측치는 비선형 진화, 관측 노이즈, 부분 관측성으로 인해 비정상성(non-stationarity)을 보이는 경우가 많으며, 이는 단순한 선형 모델을 효과적이지 않게 만듭니다. 순차적 베이지안 필터링(예: 칼만 필터)이나 스펙트럼 학습(예: 부분 공간 식별, 은닉 마르코프 모델)과 같은 고전적 접근 방식이 존재하지만, 이들은 한계에 직면해 있습니다. 전통적인 필터링은 반복적인 잠재 상태 추론에 의존하여 계산 비용이 많이 들거나 불안정할 수 있는 반가면, 기존의 스펙트럼 방법들은 복잡한 비선도적 구조를 효과적으로 포착하지 못할 수 있는 고정된 특징 표현(예: 커널 기반 임베딩)에 의존하는 경향이 있습니다. 저자들은 스펙트럼 학습의 통계적 견고함과 딥러의 표현력을 결려하면서도, 폐쇄형(closed-form) 연산자 추정의 안정성을 유지하는 방법을 제안합니다.

방법론: 심층 스펙트럼 인코더 (Deep Spectral Encoder, DSE)
저자들은 **심층 스펙트럼 학습(Deep Spectral Learning, DSL)**을 제안하며, 이를 **심층 스펙트럼 인코더(DSE)**로 구체화합니다. 이는 유한 차원의 딥 특징 공간 내에서 임베디드 잠재 전이 연산자를 학습하는 연산자 기반 잠재 상태 공간 모델입니다.

1. 연산자 이론적 정식화:
   이 방법은 힐베르트 공간에 임베디드된 확률 법칙 수준에서 시스템을 모델링합니다. 저자들은 주변 분포를 나타내기 위해 **평균 임베딩(mean embeddings)**을 사용하고, 이러한 분포 간의 선형 사상을 나타내기 위해 **조건부 공분산 연산자(conditional covariance operators)**를 활용합니다. 구체적으로, 잠재 역학은 임베디드 잠재 전이 연산자($T_e$)와 임베디드 관측 연산자($O_e$)에 의해 특징지어집니다. 이 연산자들은 비록 기저의 역학이 비선형일지라도 상태 및 관측 분포의 평균 임베딩을 선형적으로 전파합니다.

2. 딥 특징을 통한 확률적 실현:
   잠재 상태 좌표를 구축하기 위해, 본 방법은 학습 가능한 특징 공간 내에서 과거와 미래의 관측 블록 사이의 **함수적 정준 상관 분석(functional CCA)**을 채택합니다.

   • 시간 불변 신경 인코더는 관측 윈도우를 특징 벡터로 매핑합니다.
   • 얕은 "헤드(head)" 네트워크는 이러한 특징들의 지연 벡터를 처리하여 블록 단위의 과거 및 미래 특징을 생성합니다.
   • 이 블록들에 대해 함수적 CCA를 수행하여 예측적 부분 공간(최소 분할 부분 공간)을 식별함으로써, 저차원의 잠재 상태 좌표($x(t)$)를 산출합니다.

3. 폐쇄형 연산자 추정:
   반복적인 시간 역전파(backpropagation through time)를 통해 역학을 학습하는 딥 잠재 상태 모델(이는 퇴보적인 해로 이어질 수 있음)과 달리, DSE는 **릿지 정규화된 폐쇄형 솔루션(ridge-regularized closed-form solutions)**을 사용하여 전이 및 관측 연산자를 추정합니다.

   • 연산자는 학습된 신경 딕셔너리가 생성하는 부분 공간에 대한 조건부 공분산 연산자의 갈레르킨 투영(Galerkin projections)으로 추정됩니다.
   • 추정은 2단계 딥 특징 절차를 따릅니다: 첫째, 상태에 대한 특징의 조건부 기댓값을 추정하고, 둘째, 이러한 예측된 특징들에 대한 구조적 함수(read-out maps)를 적합시킵니다.

4. 단계적 학습 전략:
   인코더가 시간적 구조를 흡수하여 학습된 연산자를 무의미하게 만드는 것을 방지하기 위해, 저자들은 단계적 학습 스케줄을 사용합니다:

   • 1단계: 인코더와 디코더를 고정합니다. 딕셔너리, 리드아웃 맵, 연산자를 교대 업데이트 및 블록 교차 적합(block cross-fitting)을 통해 최적화하여, 연산자가 표현법과 독립적으로 역학을 학습하도록 보장합니다.
   • 2단계: 인코더와 디코더의 잠금을 해제하여 엔드-투-엔드 미세 조정을 수행하며, 인과적 경로를 유지하면서 재구성 손실을 최적화합니다.

5. 다운스트림 응용 분야:

   • 순차적 상태 추정: 학습된 연산자는 명시적인 그람 행렬(Gram matrix) 구축 없이 상태 모멘트를 선형적으로 전파하고 업데이트하는 특징 공간 버전의 칼만 필터를 가능하게 합니다.
   • 스펙트럼 모드 분해: 전이 연산자를 고유값 분해하여 코프만(Koopman) 스펙트럼 모드를 복구함으로써, 진동 주파수와 성장/감쇠율을 분리합니다.

주요 기여

• 심층 스펙트럼 학습 프레임워크: 유한 차원의 딥 특징 공간 내에서 임베디드 잠재 전이 연산자를 학습하면서 연산자 기반 상태 공간 정식화를 보존하는 새로운 방법론을 제시합니다.
• 심층 스펙트럼 인코더 (DSE): 표현 학습(신경 인코더를 통한)과 역학 모델링(폐쇄형 연산자 추정을 통한)을 엄격하게 분리하는 구체적인 아키텍처를 제공합니다.
• 안정적인 연산자 추정: 연산자 추정을 위해 릿지 정규화된 폐쇄형 솔루션을 사용하는 것은 갈레르킨 투영과 일치하며, 이는 통계적 안정성을 보장하고 잠재 상태 모델의 엔드-투-엔드 공동 학습에서 흔히 발생하는 퇴보 현상을 방지합니다.
• 기존 방법론의 일반화: 본 프레임워크는 딥 신경망에 의해 정의된 특징 공간으로 순차적 베이지안 필터링과 코프만 스펙트럼 분석을 일반화합니다.

실험 결과
저자들은 노이즈와 부분 관측성이 포함된 여러 시나리오에서 DSE를 평가했습니다:

• 사중 링크 펜듈럼 (이미지 시퀀스): DSE는 RKN, LSTM, 커널 기반 ELTO-Kalman 필터를 포함한 베이스라인 모델들과 비교하여 1단계 및 다단계 예측에서 우수한 성능을 보였습니다. 또한 깨끗한 환경과 오염된(폐쇄/왜곡) 환경 모두에서 강건함을 입증했습니다.
• 비선형 진동자 (Van der Pol 및 Stuart-Landau): 관측 및 프로세스 노이즈 하에서 코프만 스펙트럼을 복구할 때, DSE는 eDMD, hDMD, sDMD, ELTO에 비해 더 낮은 평균 고유값 추정 오차를 달성했습니다. DSE는 특히 노이즈 수준이 높아짐에 따라 경쟁 방법들보다 더 높은 안정성(낮은 표준 편차)을 보였습니다.

의의 및 주장
본 논문은 DSE가 스펙트럼 학습의 통계적 엄밀함과 딥 러닝의 유연성 사이의 간극을 메움으로써 확률적 비선형 역학 모델링을 위한 강력한 대안을 제공한다고 주장합니다.

• 강건성: DSE는 상당한 노이즈와 부분 관측성 하에서도 안정적인 예측과 스펙트럼 복구를 유지하며, 반복적 딥 러닝 베이스라인과 고정 커널 스펙트럼 방법론 모두를 능가합니다.
• 해석 가능성: 명시적인 유한 차원 갈레르킨 좌표와 연산자를 학습함으로써, 모델은 직접적인 스펙트럼 분석(코프만 모드)과 계산 효율적이며 통계적으로 잘 작동하는 순차적 필터링을 가능하게 합니다.
• 모듈성: 단계적 학습 전략은 인코더가 시간적 역학을 흡수하여 표현이 퇴보하는 문제를 효과적으로 완화하며, 이를 통해 학습된 연산자가 시스템의 진화를 진정으로 포착하도록 보장합니다.

저자들은 이 연구가 유한 차원 표현 공간을 학습 가능하게 함으로써, 복잡한 실제 시계열 데이터에 대한 연산자 이론적 방법론의 적용 가능성을 높이는 단계라고 위치 지었습니다.