SINDyG: Sparse Identification of Nonlinear Dynamical Systems from Graph-Structured Data, with Applications to Stuart-Landau Oscillator Networks

기술 요약: SINDyG – 그래프 구조 데이터로부터의 비선형 동역학 시스템의 희소 식별

문제 제기
희소 식별 기법 (예: 비선형 동역학의 희소 식별, SINDy) 을 사용하여 데이터로부터 지배 방정식을 추출하는 작업은 신경과학부터 기후 과학에 이르기까지 다양한 분야의 모델링에 혁명을 일으켰습니다. 그러나 표준 SINDy 접근법은 일반적으로 동역학 시스템을 단일한 개체로 취급하며, 하위 시스템 간의 상호작용을 지배하는 근본적인 네트워크 위상을 무시합니다. 그래프 구조 시스템 (예: 신경망, 전력망, 또는 사회 네트워크) 에 적용될 때, 표준 SINDy 는 모든 후보 상호작용 항을 동등하게 취급합니다. 이러한 구조적 사전 지식의 부재는 종종 실제 노드 간 연결성을 반영하지 않는 '허위 항 (spurious terms)'의 선택으로 이어져 편향되고 정확도가 낮으며 과도하게 복잡한 모델을 초래하며, 미묘한 창발적 행동을 포착하지 못하게 합니다.

방법론: SINDyG
이러한 한계를 해결하기 위해 저자들은 SINDyG(그래프 구조 데이터로부터의 비선형 동역학 시스템의 희소 식별)를 제안합니다. 이 방법은 네트워크의 인접 구조를 희소 회귀 과정에 명시적으로 통합함으로써 표준 SINDy 프레임워크를 확장합니다.

핵심 혁신은 그래프 기반 정규화 전략입니다. 모든 후보 항에 균일한 패널티를 적용하는 대신, SINDyG 는 네트워크의 인접 행렬 $A$에서 유도된 패널티 행렬 $P$를 활용합니다. 이 과정은 다음과 같습니다:

1. 연결성 분석: 함수 라이브러리의 각 후보 항에 대해 알고리즘은 소스 변수 (항에 관여하는 노드) 를 식별하고, 인접 행렬을 사용하여 이러한 소스와 싱크 노드 (동역학이 모델링되는 노드) 간의 평균 연결성 ($m_{ck}$) 을 계산합니다.
2. 패널티 공식화: 시그모이드 기반 패널티 함수 $P[c,k]$가 구성됩니다. 소스와 싱크 변수 간의 평균 연결성이 낮은 항은 더 높은 패널티 (1 에 가까운 값) 를 받아, 알려진 네트워크 위상을 위반하는 상호작용의 선택을 효과적으로 억제합니다. 반면, 강한 연결과 일치하는 항은 더 낮은 패널티를 받습니다.
3. 최적화: 이 방법은 수정된 순차적 임계값 최소제곱법 (STLSQ) 알고리즘을 사용합니다. 목적 함수는 그래프 인식 패널티를 통합하면서 도함수의 재구성 오차를 최소화합니다:
   $$\min_{\Xi} \frac{1}{2} \| \dot{X} - \Theta(X)\Xi \|_2^2 + \lambda \| P \odot \Xi \|_2^2$$
   이를 효율적으로 해결하기 위해 특성 행렬과 계수가 스케일링되어 문제를 표준 릿지 회귀 프레임워크로 변환한 후, 희소성을 강제하기 위해 하드 임계값을 적용하여 반복적으로 해결합니다.

주요 기여

• 그래프 인식 희소 회귀: 네트워크 연결성에 대한 사전 지식을 계수 추정 과정에 직접 통합하는 모듈식 패널티 행렬의 도입.
• 향상된 간결성과 정확도: 구조적으로 타당한 상호작용을 향해 회귀를 편향시킴으로써 허위 항의 선택을 줄여 더 간단하고 해석 가능한 모델을 도출합니다.
• 모듈식 프레임워크: 제안된 그래프 기반 패널티는 SINDy 를 넘어 다른 기호 회귀 솔버와 쉽게 통합되도록 설계되었습니다.

실험 결과
저자들은 신경 세포 집단의 거시적 진동을 설명하는 데 자주 사용되는 Stuart-Landau (SL) 진동자 네트워크를 사용하여 SINDyG 를 검증했습니다. 실험은 간단한 3 노드 네트워크와 다양한 크기와 결합 강도를 가진 Erdős-Rényi (ER) 및 Scale-Free (SF) 위상을 포함하는 복잡한 일반 사례에서 수행되었습니다.

• 간단한 사례: 3 노드 네트워크에서 SINDyG 는 실제 모델과 일치하는 모델 복잡도 ($\gamma$) 32 를 달성한 반면, 표준 SINDy 는 62 의 복잡도를 보였습니다. SINDyG 는 더 우수한 계수 정확도 (SINDy 의 0.0155 대비 평균 절대 오차 0.0033) 를 보였으며, 보지 못한 궤적에 대해 더 높은 예측 $R^2$ 점수를 기록했습니다.
• 일반 사례: 민감도 분석 결과, 네트워크 크기와 결합 강도가 증가함에 따라 표준 SINDy 의 성능이 크게 저하되어 더 높은 복잡도와 오차를 보였습니다. 반면, SINDyG 는 견고성을 유지하며 다양한 네트워크 크기와 엣지 가중치에 걸쳐 더 낮은 복잡도와 더 높은 일반화 정확도 (더 높은 테스트 $R^2$, 더 낮은 테스트 MSE) 를 가진 모델을 일관되게 생성했습니다.
• 계산 효율성: SINDyG 는 패널티 행렬을 계산하기 위한 추가 단계를 포함하지만, 전체 훈련 시간은 표준 SINDy 와 비교 가능하게 유지되었으며, 제한된 훈련 데이터에 대해 더 큰 견고성을 보여주었습니다.

의의 및 주장
이 논문은 SINDyG 가 상호 연결된 시스템의 데이터 기반 모델링에서 중요한 진전을 나타낸다고 주장합니다. 네트워크 위상을 활용하여 지배 방정식의 발견을 안내함으로써, 이 방법은 더 정확할 뿐만 아니라 물리적으로 더 해석 가능한 모델을 생성합니다. 저자들은 SINDyG 를 광범위한 '네트워크 기반 발견 알고리즘' 클래스로 나아가는 기초적인 단계로 위치시킵니다. 그들은 이 그래프 구조 희소 정규화를 PySR 과 같은 기존 기호 회귀 솔버에 통합하면 신경과학, 생태학, 금융, 역학 등 다양한 분야의 노이즈가 있거나 실제 환경에서의 성능을 향상시킬 수 있다고 제안합니다. 저자들은 겸손하게도 이 방법이 Stuart-Landau 모델에서 검증되었지만, Kuramoto 또는 FitzHugh–Nagumo 모델과 같은 다른 비선형 시스템에서의 효능을 평가하기 위해서는 향후 연구가 필요하다고 지적합니다.