Learning effective models from network dynamics data with multiple initial conditions using weak form SINDy

기술 요약: 약형 SINDy를 이용한 다중 초기 조건을 가진 네트워크 역학 데이터로부터의 효과적인 모델 학습

문제 제기
사회 시스템은 온라인 및 오프라인 활동이 서로 상호작용하고 영향을 미치는 복잡한 네트워크를 포함한다. 이러한 시공간적 역학을 설명하기 위한 수학적 모델들이 존재하지만, 특히 복잡한 네트워크상에서 이러한 모델을 경험적 데이터와 연결하여 지배 메커니즘을 밝히고 검증하는 데에는 여전히 큰 어려움이 따른다. 전통적인 접근 방식은 고정된 모델 구조나 특정 기저 메커니즘을 가정하는 경우가 많다. 또한, 확률적 또는 네트워크 시스템에서 발생하는 실제 데이터는 종종 노이즈가 심하며, 이는 표준적인 미분 기반 시스템 식별 방법(표준 SINDy와 같은)을 불안정한 미분 추정으로 인해 신뢰할 수 없게 만든다. 저자들은 데이터 기반 방법이 결합된 온-오프라인 사회 역학을 어떻게 회복하는지 조사하며, 특히 노이즈 수준과 훈련 궤적(초기 조건)의 수가 학습 성능에 미치는 영향을 검토함으로써 이러한 과제를 해결하고자 한다.

방법론
본 연구는 컴팩트하게 지원되는 테스트 함수(compactly supported test functions)와의 컨볼루션을 사용하여 명시적인 미분 추정을 피하는 방법인 **약형 희소 비선형 역학 식별(Weak Form Sparse Identification of Nonlinear Dynamics, WSINDy)**을 채택한다. 이 접근 방식은 미분 방정식 학습 문제를 약형(weak form)에서의 선형 회귀 문제로 변환하여 노이즈에 대한 강건성을 향상시킨다.

저자들은 WSINDy를 두 가지 구별된 모델을 통해 평가한다:

1. 완전 혼합 인구 모델(Fully-Mixed Population Model): 확률적 상호작용 과정의 평균장 근사(mean-field approximation)로부터 유도된 결정론적 상미분 방정식(ODE) 시스템이다. 이 모델은 참된 방정식이 알려진 "그라운드 트루스(ground truth)" 테스트베드 역할을 하며, 변화하는 가법적 가우시안 노이즈 하에서 파라미터 회복 및 항 선택 정확도를 평가할 수 있게 한다.
2. 확률적 네트워크 모델(Stochastic Network Model): 에르데시-레니(Erdős-Rényi) 무작위 네트워크 상에서 하이브리드 온-오프라인 상태를 가진 개인들을 묘사하는 연속 시간 마르코프 체인이다. 이 시나리오에서는 진정한 연속체 ODE 세트가 존재하지 않는다. 저자들은 특정 초기 조건과 네트워크 구조에 대해 깁스 알고리즘(Gillespie algorithm) 구현을 여러 번 평균 내어 훈련 데이터를 생성한다.

학습 절차는 선형, 쌍선형(bilinear) 및 고차 다항식 항을 포함하는 특징 라이브러리를 활용한다. 저자들은 학습 성능을 평가하기 위해 훈련 궤적(서로 다른 초기 조건)의 수와 노이즈 수준을 체계적으로 변화시킨다. 주요 지표는 다음과 같다:

• 방정식 및 출력 오차(Equation and Output Errors): 학습된 역학의 충실도를 측정하기 위함.
• 진양성률(True Positive Ratio, TPR): 항 선택의 정확도를 평가하기 위함.
• 파라미터 오차(Parameter Error): 계수 회복의 정확도를 평가하기 위함.
• 실패율(Failure Rate): 확률적 모델의 경우, 적분 실패, 범위를 벗어난 솔루션, 평탄한(flat) 솔루션을 추적함.

주요 기여 및 결과

1. 다중 궤적이 노이즈 강건성에 미치는 영향:

   • 완전 혼합 모델 실험에서, 단일 궤적을 사용하는 것은 노이즈가 없는 조건에서만 잘 작동한다. 노이즈가 증가함에 따라 정확도가 크게 떨어진다.
   • 추가적인 궤적(다른 초기 조건)을 도입하면 노이즈 내성이 실질적으로 향상된다.
   • 핵심 발견: 궤적을 추가함에 따른 한계 효용은 빠르게 감소한다. 궤적의 수를 1개에서 2개 또는 3개로 늘리면 TPR, 파라미터 오차 및 방정식 오차에서 상당한 개선이 나타난다. 그러나 3개 이상의 궤적을 추가하는 것은 10개까지 늘리더라도 중앙값 성능 측면에서 추가적인 개선을 거의 또는 전혀 제공하지 않는다.

2. 확률적 네트워크 데이터로부터의 학습:

   • 무작위 네트워크 상의 확률적 데이터에 적용했을 때, WSINDy는 표본 평균 역학을 근사하는 효과적인 ODE 모델을 성공적으로 학습한다.
   • 완전 혼합 사례와 유사하게, 궤적의 수를 1개에서 3개로 늘리면 실패율(적분 실패, 경계 위반, 평탄한 솔루션)이 급격히 감소하고 출력 오차가 낮아진다.
   • 3개 이상의 궤적을 넘어서면 실패율과 오차 지표가 안정화되어, 추가적인 개선이 미미함을 보여준다.

3. 평균장 근사와의 비교:

   • 희소 네트워크 영역(낮은 평균 차수)에서 전통적인 평균장 근사는 국부적 연결 효과를 포착하는 데 자주 실패하며, 이는 부정확한 예측으로 이어진다.
   • WSINDy를 통해 학습된 데이터 기반 모델은 전통적인 평균장 모델보다 확률적 역학을 더 잘 근사한다.
   • 학습된 오프라인 상태($P$) 모델은 완전 혼합 모델과 밀접하게 일치하는 반면, 온라인 상태($U, E$)는 네트워크 및 교차 레이어 효과를 효과적으로 근사하는 것으로 보이는 추가적인 항(예: $E \cdot P$)을 포함한다.

의의 및 주장
본 논문은 네트워크 구조상의 사회 역학 데이터를 효율적인 데이터 기반 모델로 연결하기 위한 초기 단계로서 자신을 위치시킨다. 저자들은 다음과 같은 점을 입증한다고 주장한다:

• 데이터 사용의 효율성: 서로 다른 초기 조건을 가진 소수의 궤적(특히 2개 또는 3개)만으로도 다중 궤적 학습의 이점을 대부분 얻을 수 있으며, 이는 데이터 수집이 제한적인 시나리오에서 이 접근 방식이 실용적임을 보여준다.
• 희소 네트워크에서의 우월성: 데이터 기반 방법은 국부적 노드 차별화를 간과하여 전통적인 평균장 근사가 실패하는 희소 네트워크 시나리오에서 경험적 역학에 더 잘 부합하는 모델을 생성할 수 있다.
• 강건성: 약형 공식화는 확률적 과정 및 네트워크 데이터에 내재된 노이즈를 효과적으로 처리하여, 표준 방법이 실패할 수 있는 곳에서도 지배 방정식을 발견할 수 있게 한다.

저자들은 향후 과제에 대해 겸허한 태도를 유지하며, 본 연구가 계산적 분석을 제공하지만, 랭크(rank), 데이터 충분성(data sufficiency)에 관한 이론적 보증을 확립하고, 누락된 정보나 숨겨진 상태가 있는 실제 데이터에 이러한 방법을 적용하기 위한 후속 연구가 필요하다고 언급한다. 또한, 어떤 궤적 정보가 모델 학습에 가장 가치 있는지를 선택하는 효율적인 방법에 대한 필요성을 강조한다.