Online learning of Koopman operator using streaming data from different dynamical regimes

논문 요약: 스트리밍 데이터를 이용한 다양한 동역학 영역에서의 쿠퍼만 (Koopman) 연산자 온라인 학습

1. 문제 제기 (Problem Statement)

복잡한 시스템의 데이터 기반 모델링 및 제어를 위해 센서로부터의 스트리밍 데이터가 폭증하고 있습니다. 그러나 이러한 데이터는 다음과 같은 주요 도전 과제를 안고 있습니다.

• 계산적 부담: 방대한 양의 데이터를 실시간으로 처리하고 저장하는 것은 계산 자원에 큰 부담을 줍니다.
• 동역학적 변화: 스트리밍 데이터는 시스템이 서로 다른 동역학 영역 (dynamical regimes) 이나 희귀 사건 (rare events) 을 간헐적으로 샘플링할 수 있습니다. 기존 방법들은 이러한 변화에 적응하지 못하거나, 모든 과거 데이터를 보관해야 하므로 메모리 및 계산 효율성이 떨어집니다.
• 기존 방법의 한계:
  • 배치 학습 (Batch Learning): 모든 데이터를 한 번에 처리하므로 실시간 적용이 어렵고 데이터 양이 증가하면 SVD(특이값 분해) 및 행렬 역산이 불가능해집니다.
  • 기억 소거 (Forgetting Factor) 방식: 이전 데이터를 잊어버리는 방식은 과거에 방문했던 중요한 동역학 영역을 다시 방문했을 때 이를 학습하지 못하게 할 수 있습니다.
  • 고정된 차원: 시스템의 차수 (order) 와 기저 함수 (basis functions) 를 미리 고정하거나 학습하지 못하면 복잡한 비선형 시스템의 정확한 모델링이 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 **서브스페이스 식별 (Subspace Identification, SSID)**의 아이디어를 차용하여, **그라스마니안 거리 (Grassmannian distance)**를 기반으로 한 재귀적 쿠퍼만 연산자 학습 프레임워크를 제안합니다.

• 핵심 개념:

  • 비선형 동역학 시스템을 고차원의 선형 시불변 (LTI) 시스템으로 근사화하는 쿠퍼만 연산자를 사용합니다.
  • **확장 관측가능성 행렬 (Extended Observability Matrix)**의 부분공간 (subspace) 을 스트리밍 데이터를 통해 재귀적으로 업데이트합니다.
  • 그라스마니안 거리 (Grassmannian Distance): 새로운 데이터 세그먼트가 기존에 학습된 부분공간과 얼마나 다른지를 측정하는 지표입니다. 이는 두 부분공간 사이의 주각 (principal angles) 을 기반으로 계산됩니다.

• 알고리즘 흐름 (Algorithm 2):

  1. 초기화: 초기 배치 데이터를 사용하여 확장 관측가능성 행렬의 부분공간 ($\Gamma_i$) 과 쿠퍼만 연산자를 초기화합니다.
  2. 스트리밍 및 평가: 새로운 데이터 세그먼트 ($D_{i+1}$) 가 들어오면, 해당 데이터로 계산된 부분공간 ($\hat{\Gamma}_{i+1}$) 과 기존 부분공간 ($\Gamma_i$) 사이의 그라스마니안 거리 ($G$) 를 계산합니다.
  3. 데이터 선별 (Data Pruning):
     • $G > \epsilon$ (임계값 이상): 데이터가 새로운 동역학 영역을 나타내므로, 이 데이터를 아카이브에 추가하고 재귀적 업데이트를 수행하여 쿠퍼만 연산자를 갱신합니다.
     • $G \le \epsilon$: 데이터가 기존 모델과 유사하므로 (중복 데이터), 계산 부하를 줄이기 위해 폐기합니다.
  4. 시스템 차수 및 기저 함수 학습:
     • 업데이트된 행렬의 특이값 분해 (SVD) 를 통해 시스템의 최소 차수 (system order) 를 동적으로 결정합니다.
     • 학습된 리프트된 상태 (lifted states) 와 원래 상태 간의 매핑을 **가우시안 프로세스 회귀 (Gaussian Process Regression)**를 통해 학습하여 기저 함수를 자동으로 도출합니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 데이터 선별: 그라스마니안 거리를 사용하여 '새로움 (novelty)'을 정량화함으로써, 불필요한 데이터를 폐기하고 중요한 동역학 영역의 데이터만 선별하여 학습합니다. 이는 메모리 및 계산 자원을 크게 절약합니다.
2. 동적 시스템 차수 및 기저 함수 적응: 고정된 모델 차수나 기저 함수 집합에 의존하지 않고, 데이터 흐름에 따라 시스템 차수와 기저 함수를 적응적으로 학습하고 조정합니다.
3. 재귀적 서브스페이스 식별 (R-SSID) 적용: 기존 배치 방식의 한계를 극복하고, 행렬 역산 정리 (Matrix Inversion Lemma) 를 활용한 재귀적 업데이트를 통해 실시간 학습을 가능하게 합니다.

4. 실험 결과 (Results)

두 가지 시뮬레이션 예시를 통해 알고리즘의 유효성을 검증했습니다.

• 예제 1: 단순한 쿠퍼만 임베딩이 가능한 비선형 시스템

  • 100 개의 데이터 세트를 스트리밍하는 과정에서, 그라스마니안 거리 임계값 ($\epsilon = 10^{-3}$) 을 기준으로 100 개 중 10 개만 선택하여 업데이트했습니다.
  • 선택된 데이터만으로도 실제 시스템의 고유값 (eigenvalues) 과 시스템 행렬을 정확하게 복원할 수 있었습니다.
  • 시스템 차수가 3 으로 정확히 식별되었습니다.

• 예제 2: 제어 입력이 있는 더핑 진동자 (Duffing Oscillator)

  • 단일 우물 (single-well) 과 이중 우물 (double-well) 진동이라는 서로 다른 동역학 영역을 가진 복잡한 시스템입니다.
  • 초기 600 개 데이터 (단일 우물) 를 학습한 후, 601 번째 데이터부터 이중 우물 영역이 등장하자 그라스마니안 거리가 급격히 증가하여 새로운 영역을 감지했습니다.
  • 성능 비교:
    • 학습된 시스템 차수는 데이터가 증가함에 따라 9 에서 11 로 자동 조정되었습니다.
    • 예측 오차: 제안된 알고리즘 (R-SSID, 11 개의 리프팅 함수 사용) 은 K-EDMD(확장 동적 모드 분해) 보다 훨씬 적은 수의 기저 함수 (27 개, 102 개 사용) 로도 **더 낮은 예측 오차 (RMSE)**를 보였습니다.
    • 이는 제안된 방법이 더 적은 계산 비용으로 더 높은 정확도를 달성함을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 데이터 기반 제어 및 모델링 분야에서 다음과 같은 중요한 의의를 가집니다.

• 실시간 적응성: 시스템이 다양한 동역학 영역을 오갈 때, 과거의 중요한 정보를 잊지 않으면서도 새로운 패턴을 신속하게 학습할 수 있는 체계를 제공합니다.
• 계산 효율성: 모든 데이터를 저장하거나 고정된 큰 모델을 유지할 필요 없이, 필요한 데이터만 선별하여 모델을 업데이트함으로써 대규모 데이터 환경에서도 확장 가능한 솔루션을 제시합니다.
• 자동화된 모델 구조: 시스템의 차수와 기저 함수를 데이터로부터 자동으로 학습함으로써, 복잡한 비선형 시스템에 대한 정확한 저차원 (reduced-order) 모델을 구축할 수 있습니다.

결론적으로, 이 연구는 스트리밍 데이터 환경에서 쿠퍼만 연산자의 정확도와 시스템 효율성을 동시에 최적화하는 강력한 온라인 학습 프레임워크를 제시합니다.