Discovery of Nonlinear Dynamics with Automated Basis Function Generation

기술 요약: 자동화된 기저 함수 생성을 통한 비선형 동역학 발견

문제 제기
관측 데이터로부터 지배적인 수학적 방정식을 발견하는 것은 과학적 모델링의 근본적인 과제이며, 특히 근본적인 구조가 알려지지 않은 경우에 더욱 그렇습니다. 기존 방법들은 다음과 같은 이분법에 직면해 있습니다:

• 희소 비선형 동역학 식별 (SINDy): 간결하고 해석 가능한 모델을 생성하는 데 효과적이지만, SINDy 는 사용자가 지정한 후보 기저 함수 라이브러리에 의존합니다. 비관례적인 동역학이나 도메인 지식 부족으로 인해 중요한 항이 누락되면 이 방법은 실패합니다. 반대로, 누락을 피하기 위해 라이브러리를 풍부하게 하면 심각한 다중공선성이 발생하여 희소 회귀를 불안정하게 만들고 계수 불확실성을 증가시킵니다.
• 기호 회귀 (SR): PySR 과 같은 접근법은 사전 구축된 라이브러리 없이 수학적 표현의 공간을 탐색함으로써 무한한 유연성을 제공합니다. 그러나 이들은 계산 집약적이며 측정 노이즈에 매우 민감하고, 장시간 통합 시 실패하는 과적합된 수치적으로 불안정한 방정식을 생성하기 쉽습니다. furthermore, 표준 SR 은 상태 변수를 독립적으로 최적화하여 다차원 동역학 시스템의 결합된 구조를 강제하는 데 어려움을 겪습니다.

해결된 핵심 문제는 사전 지식 없이 원시 데이터에서 물리적으로 적합한 최소한의 함수 라이브러리를 자동으로 구성하여 SR 의 표현력과 희소 회귀의 견고함 사이의 균형을 잡을 수 있는 방법의 부재입니다.

방법론: AutoSINDy 프레임워크
저자들은 방정식 발견 문제를 세 단계의 순차적 단계로 분해하는 하이브리드 "발견 후 해결 (Discovery-then-Solve)" 프레임워크인 AutoSINDy를 제안합니다:

1. 1 단계: 기호 마이닝 (Discover)

   • 전체 궤적에 기호 회귀를 적용하는 대신, 이 방법은 $K$개의 짧은 무작위 샘플링 데이터 청크 (부트스트랩 윈도우) 에서 작동합니다.
   • 각 청크에 PySR(다중 집단 진화 기호 회귀 도구)을 적용하여 후보 함수 형태를 채굴합니다.
   • 결정적으로, 이 방법은 단일 최선 모델이 아닌 표현의 전체 파레토 최적 프론트를 수확합니다. 이는 전체 표현이 특정 로컬 윈도우에 적합하지 않더라도 구조적으로 정확한 원자적 하위 항이 포착되도록 보장합니다.
   • 퇴화된 항등식을 방지하기 위해 중첩된 삼각함수 합성은 명시적으로 금지됩니다.

2. 2 단계: 라이브러리 큐레이션 (Curate)

   • 원시 기호 표현 풀은 컴팩트하고 중복되지 않는 라이브러리를 구성하기 위해 처리됩니다.
   • 분해: 표현은 파싱되어 가산 원자적 하위 항으로 분해됩니다 (예: $3x^2 + 2\sin(y) \to \{x^2, \sin(y)\}$).
   • 확장: 구성 가능한 전략 (Gentle, Severe, 또는 Hybrid) 이 그룹화된 다항식 또는 삼각함수 항을 단항식으로 확장하여 포괄성을 보장합니다.
   • 공선성 가지치기: 탐욕적 순차 선택 절차가 복잡성 (연산자 수) 에 따라 후보를 정렬하고 필터링합니다. 후보는 이미 수용된 항과의 상관관계가 임계값 ($\rho_{max}$) 미만이거나 분산 팽창 계수 (VIF) 가 허용 가능한 경우에만 수용됩니다. 이는 라이브러리 수준에서 오컴의 면도날을 강제하여 복잡하고 중복된 항보다 단순한 항을 선호하도록 합니다.

3. 3 단계: 희소 식별 (Identify)

   • 큐레이션된 라이브러리는 SINDy 최적화기 (STLSQ 또는 SR3) 에 입력됩니다.
   • 앙상블 접근법(E-SINDy 에서 영감)이 사용됩니다: $B$개의 부트스트랩 복제본이 추출되고, 각 복제본에 희소 모델이 적합됩니다.
   • 하드 컷오프 포함 필터는 사용자가 지정한 비율 ($\kappa$) 의 부트스트랩 모델에 나타나는 항만 유지합니다. 이는 노이즈 아티팩트 때문에만 나타나는 가짜 항을 폐기하여 강력한 노이즈 거부력을 제공합니다.
   • 이 프레임워크는 상태 변수별 별도 라이브러리와 변수 간 공유 통합 라이브러리를 모두 지원하며, 실험에서 별도 라이브러리가 더 나은 간결성을 보입니다.

주요 기여

1. 자동화된, 가정 없는 라이브러리 생성: 수학적 구조의 사전 지정 없이 부트스트랩 데이터에서 후보 함수 형태를 채굴하는 PySR 기반 엔진으로, SINDy 의 라이브러리 설계 병목 현상을 직접 해결합니다.
2. 원칙적인 기호 큐레이션 파이프라인: 비구조화된 유전 알고리즘 출력을 견고한 희소 회귀에 적합한 깔끔하고 중복되지 않는 선형 기저로 변환하는 3 단계 메커니즘 (분해, 확장, 공선성 가지치기).
3. 앙상블 기반 희소 식별: 큐레이션된 라이브러리를 SINDy 최적화기와 부트스트랩 앙상블 필터링과 통합하여 높은 노이즈 견고성과 해석 가능성을 달성합니다.
4. 체계적인 벤치마킹: 다양한 노이즈 수준에서 6 가지 표준 비선형 시스템 (진동, 한계 주기, 혼돈) 에 대한 포괄적 평가로, 풍부한 라이브러리를 가진 표준 SINDy 와 독립적인 PySR 과 비교합니다.

결과
6 가지 벤치마크 시스템 (조화 진동자, 감쇠 진자, 변조 진동자, 반 데르 폴, 더핑 진동자, 복잡 로렌츠) 에 대한 광범위한 실험은 다음을 보여줍니다:

• 진실값 회복: AutoSINDy 는 모든 시도에서 92.8% 의 진실값 회복률을 달성합니다 (깨끗한 미관측 검증 궤적에서 $R^2 > 0.99$로 정의됨). 이는 표준 SINDy(58.9%) 와 표준 PySR(28.3%) 을 크게 능가합니다.
• 시뮬레이션 안정성: AutoSINDy 는 180 번의 시도에서 0% 의 하드 통합 충돌(NaN/Inf 또는 발산) 을 보이며 우수한 장시간 시뮬레이션 안정성을 나타냅니다. 반면, 표준 SINDy 는 51.7% 의 시도에서 실패했고 표준 PySR 은 75.0% 의 시도에서 실패했습니다.
• 간결성: AutoSINDy 는 진실값과 1~2 개 연산자 이내의 복잡성 (연산자 수) 을 가진 방정식을 회복합니다. 표준 SINDy 는 진실값의 최대 29.2 배에 달하는 복잡성을 가진 방정식을 생성했습니다 (예: 반 데르 폴의 경우 175 개 연산자 vs 진실값 6 개), 반면 표준 PySR 은 종종 과소 압축되어 중요한 항을 놓쳤습니다.
• 노이즈 견고성: AutoSINDy 는 고노이즈 수준 ($\sigma = 0.05$) 에서도 높은 정확도를 유지하는 반면, 기준선 방법들은 크게 저하되거나 완전히 실패합니다.
• 계산 효율성: 발견 시간은 공유 엔진으로 인해 독립적인 PySR 과 유사하지만, 결과적으로 생성된 컴팩트한 방정식으로 인해 AutoSINDy 는 가장 빠른 시뮬레이션 방법이 됩니다. 이는 팽창된 방정식과 관련된 수치적 강성을 피하기 때문입니다.

의의 및 주장
이 논문은 AutoSINDy 가 기호 회귀의 유연성과 희소 식별의 견고함 사이의 간극을 성공적으로 메웠다고 주장합니다. 특징 공학 병목 현상을 자동화함으로써, 사전 도메인 지식 없이 올바른 지배 항을 발견할 수 있게 합니다. 저자들은 이 방법이 구조적으로 정확할 뿐만 아니라 동역학적으로 안정적이고 해석 가능한 방정식을 생성한다고 주장하며, 수학적 형태가 알려지지 않은 생물학적 및 물리학적 시스템의 복잡한 동역학을 발견하기 위한 확장 가능한 경로를 제공합니다. 이 작업은 훈련 데이터에 대한 예측 정확도만으로는 부족하며, 진정한 과학적 가치는 전진 통합 하에서 안정적으로 유지되고 낮은 기호 복잡성을 가진 방정식에 있음을 강조합니다.