Model discovery for dynamical systems with complex-valued product units

기술 요약: 복소수 곱셈 단위 (Complex-Valued Product Units) 를 활용한 동역학 시스템의 모델 발견

문제 제기
관측된 궤적로부터 지배 방정식을 복원하는 것은 단순한 상태 예측보다 동역학 시스템에 대한 더 깊은 구조적 통찰을 제공합니다. 그러나 고차원 시스템에서 특히 분수 지수나 음의 지수를 포함하는 단항식 (monomials) 을 식별하는 것은 후보 항의 수가 무한히 늘어날 수 있기 때문에 어렵습니다. SINDy(희소 비선형 동역학 식별) 및 기호 회귀와 같은 기존 방법들은 미리 정의된 후보 함수 라이브러리에 의존합니다. 이러한 제한은 비선형 함수 클래스의 표현을 제한하며, 입력 차원이 증가함에 따라 후보 항의 수가 기하급수적으로 증가하여 포괄적인 탐색이 불가능하게 만듭니다.

방법론
저자들은 미리 정의된 후보 라이브러리 없이 지배 방정식을 발견하기 위해 복소수 곱셈 단위 네트워크 (Complex-Valued Product-Unit Networks) 를 사용하는 데이터 기반 접근법을 제안합니다.

• 아키텍처: 이 모델은 각 단위가 복소수 거듭제곱 ($x_i^{w_i}$) 으로 입력들의 곱을 계산하는 곱셈 단위를 활용합니다. 이는 복소 영역에서 정의된 로그 및 지수 활성화 함수를 가진 합산 단위들을 연결하여 구현됩니다: $\prod x_i^{w_i} = \exp(\sum w_i \log x_i)$.
• 수식화: 네트워크 출력은 이러한 복소수 단항식들의 희소 선형 결합으로서 상미분 방정식 (ODE) 의 우변 (RHS) 을 나타냅니다:
  $$\hat{f}(x_1, \dots, x_n) = \sum_{k=1}^m c_k \prod_{i=1}^n x_i^{w_{k,i}}$$
  여기서 $c_k$와 $w_{k,i}$는 데이터로부터 직접 학습된 복소수 계수와 지수입니다.
• 학습: 네트워크는 복소수 평균 제곱 오차 손실 함수를 사용하여 경사 하강법 (Adam 옵티마이저) 으로 학습됩니다. 벤치마크 시스템의 경우, 모델은 상태 변수가 주어졌을 때 시간 미분 ($\dot{x}$) 을 예측하도록 학습됩니다. 미분이 이용 불가능한 실제 보행 데이터의 경우, 모델은 과거 관측치 시퀀스로부터 다음 상태를 직접 예측하기 위해 시간 지연 임베딩을 사용합니다.
• 후처리: 수치적 노이즈를 처리하고 안정성을 보장하기 위해 절대값 계수가 $10^{-3}$ 미만인 항들은 제외됩니다. 유사한 항들 (지수 차이가 $\le 0.1$ 인 경우) 은 지수를 평균화하고 계수를 합산하여 병합됩니다.

주요 기여

1. 라이브러리 없는 발견: SINDy 나 기호 회귀와 달리, 이 접근법은 미리 설정된 후보 함수 집합을 필요로 하지 않습니다. 분수 지수나 음의 지수를 포함하는 관련 단항식들을 데이터로부터 직접 학습합니다.
2. 복소수 영역: 입력, 가중치, 출력을 완전히 복소수 영역에서 작동함으로써, 모델은 표준 실수 값 곱셈 단위에서 문제가 되는 음의 입력과 분수 거듭제곱을 자연스럽게 처리합니다.
3. 희소 표현: 이 방법은 동역학을 주도하는 희소 대수적 구조를 복원하여 해석 가능성을 용이하게 합니다.

결과
이 방법은 네 가지 혼돈 벤치마크 시스템과 실제 인간 보행 가속도계 데이터에 대해 평가되었습니다.

• 벤치마크 시스템 (Lorenz63, Lorenz84, Four-Wing, Lorenz_Fract):

  • 최소 3,000 개의 학습 점을 사용하여 정수 지수 시스템 (Lorenz63, Lorenz84, Four-Wing) 의 경우 시도의 90% 에서 정확한 지배 방정식을 복원했습니다.
  • 분수 변형 ( $z^{0.5}$ 항을 포함하는 Lorenz_Fract) 의 경우, 3,0005,000 개의 점으로 시도의 **7090%** 에서 정확한 복원이 이루어졌습니다.
  • 모든 주요 항이 올바르게 식별되었을 때, 유효 예측 시간 (EPT) 은 사실상 무한했습니다 (실제 시스템과 구별 불가). 항이 누락된 경우 EPT 는 크게 감소하여 (1 개의 리야푸노프 시간 미만) 예측이 불안정해졌습니다.
  • 연구는 출력의 허수 성분이 종종 궤적 발산 (예측 불확실성) 의 초기 지표로 작용한다고 지적했습니다.

• 실제 적용 (인간 보행):

  • 150 차원 보행 신호 (3 축 $\times$ 50 시간 지연) 에 적용된 모델은 과거 관측치로부터 미래 상태를 예측하도록 학습되었습니다.
  • 모델은 학습 구간보다 3 배 더 긴 테스트 구간에서 안정적인 궤적을 생성했습니다.
  • 예측 오차는 유계 (bounded) 를 유지했으며, 신호 진폭 범위의 약 12~14% 에 해당하는 Root Mean Square Error(RMSE) 를 보였습니다.
  • 모델은 상당한 드리프트를 누적하지 않고 보행의 준주기적 특성을 성공적으로 포착했습니다.

의의 및 주장
본 논문은 복소수 곱셈 단위 네트워크가 특히 함수 형태가 알려지지 않았거나 비정수 거듭제곱을 포함하는 경우, 동역학 시스템 발견을 위한 라이브러리 기반 방법에 대한 실현 가능한 대안을 제공한다고 주장합니다. 이 접근법은 다음을 보여줍니다:

• 후보 함수 집합에 대한 사전 지식 없이 데이터로부터 정확한 지배 방정식을 복원할 수 있습니다.
• 이 방법은 표준 희소 회귀 라이브러리에서 처리하기 어려운 분수 거듭제곱 법칙으로 자연스럽게 확장됩니다.
• 해석적 방정식이 이용 불가능할 때에도 모델은 인간 보행과 같은 고차원 노이즈가 있는 실제 시스템에 대해 안정적이고 유계인 예측을 생성할 수 있습니다.

한계 및 향후 작업
저자들은 몇 가지 제약을 인정합니다:

• 초매개변수 민감성: 곱셈 단위의 수는 사전에 지정되어야 하며 지배적인 항의 수와 같거나 커야 합니다. 학습 손실이 모델 적절성을 암시할 수는 있지만, 자동 결정은 여전히 해결되지 않은 과제로 남아 있습니다.
• 해석 가능성 대 차원성: 고차원 응용 분야 (예: 약 46,000 개의 매개변수를 가진 보행 분석) 에서 해의 희소하고 인간이 읽을 수 있는 특성은 저하됩니다.
• 노이즈 강건성: 이 방법은 보행 데이터에 대해 저역 통과 필터링이 필요했으며, 측정 노이즈에 대한 강건성에 대한 체계적인 평가가 필요합니다.

저자들이 제안한 향후 작업으로는 곱셈 단위의 수를 자동으로 결정하는 적응형 방법 개발, 프레임워크를 편미분 방정식으로 확장, 그리고 낙상 감지나 보행 이상 식별과 같은 생체의학 응용 분야에 대한 체계적 평가 수행 등이 포함됩니다.