KANDy: Kolmogorov-Arnold Networks and Dynamical System Discovery

1. 연구 배경 및 문제 정의 (Problem)

• 혼돈 시스템의 예측 한계: 로렌츠 어트랙터 (Lorenz attractor) 와 같은 혼돈적인 동역학 시스템에서 데이터 기반 모델은 초기 조건에 대한 민감성 (나비 효과) 으로 인해 Lyapunov 시간 (예측 가능 시간) 을 넘어서면 예측 정확도가 급격히 떨어집니다.
• 기존 방법론의 한계:
  • 희소 회귀 (Sparse Regression, 예: SINDy): 시스템 방정식이 소수의 기본 함수 (다항식, 푸리에 급수 등) 로 구성된 '희소 (sparse)' 구조를 가진다고 가정합니다. 그러나 Ikeda 맵, Holling Type II 반응, Kuramoto 모델과 같이 무한급수나 비선형성이 강한 시스템에서는 희소성 가정이 깨져 방정식 발견에 실패합니다.
  • 심층 신경망 (Deep Neural Networks): MLP 나 RNN 은 단시간 예측에는 우수하지만, 장기 예측 시 위상 (phase) 드리프트와 오차 누적으로 인해 시스템의 기하학적 구조 (어트랙터) 를 유지하지 못합니다. 또한, 학습된 모델의 해석 가능성 (Interpretability) 이 낮아 물리 법칙을 도출하기 어렵습니다.
  • 기존 KAN (Kolmogorov-Arnold Networks) 의 문제: KAN 은 해석 가능성을 제공하지만, 동역학 시스템의 비선형 결합 항 (예: $xy$) 을 1 차원 스플라인 함수의 합으로만 표현하려 할 때 발생하는 대수적 장애 (algebraic obstruction) 로 인해 심층 구조만으로는 정확한 지배 방정식을 복원하기 어렵습니다.

2. 제안된 방법론: KANDy (Methodology)

저자들은 Kolmogorov-Arnold Network for Dynamics (KANDy) 를 제안하며, 이는 KAN 과 희소 회귀를 융합한 영층 (zero-depth), 광폭 (wide) 신경망 아키텍처입니다.

• 핵심 아키텍처:
  • 영층 (Zero-depth): 숨겨진 층 (hidden layers) 이 없는 단일 넓은 층 구조입니다. 이는 일반화된 회귀 (generalized regression) 와 동일하며, 각 출력은 입력 라이브러리 항목에 대한 독립적인 1 차원 스플라인 함수의 합으로 표현됩니다.
  • 리프트된 특징 (Lifted Features): 시스템의 상태 변수 ($x, y, z$) 에 물리적으로 의미 있는 비선형 항 (예: $xy, xz, \sin(\theta)$ 등) 을 '리프트 (lift)'하여 입력 라이브러리에 추가합니다. 이는 Koopman 연산자 이론의 관점에서 비선형 동역학을 선형화 가능한 고차원 공간으로 매핑하는 것과 유사합니다.
• 학습 목적 함수 (Training Objective):
  • 미분 손실 (Derivative Loss): 국소적인 벡터장 ($\dot{x}$) 의 정확성을 보장합니다.
  • 롤아웃 손실 (Rollout Loss): ODE 솔버를 통해 예측된 궤적과 실제 궤적의 차이를 최소화하여, 장기적인 궤적 일관성과 어트랙터 기하학을 보존하도록 합니다.
  • 시각적 표현: $L(\theta) = L_{deriv}(\theta) + \lambda_{roll} L_{roll}(\theta)$
• 기호적 방정식 추출 (Symbolic Extraction):
  • 학습된 스플라인 함수를 사전 정의된 기호 라이브러리 (다항식, 삼각함수 등) 에 피팅합니다.
  • 희소화 및 가지치기: $R^2$ 임계값과 복잡도 패널티를 적용하여 불필요한 항을 제거하고, 명확한 해석 가능한 지배 방정식을 도출합니다.

3. 주요 기여 (Key Contributions)

1. 희소성 제약의 극복: KANDy 는 사전에 정의된 라이브러리의 희소성에 의존하지 않고, KAN 의 적응형 비선형 변환 능력을 통해 희소성이 깨지는 복잡한 시스템 (Ikeda 맵, Holling 모델 등) 의 지배 방정식도 성공적으로 발견합니다.
2. 위상 및 토폴로지 보존: Hopf Fibration(위상수학적 구조) 실험을 통해 KANDy 가 군 작용 (group action) 에 대한 불변성 (invariance) 을 학습하고, 심층 KAN 이 실패하는 위상적 구조를 데이터로부터 복원할 수 있음을 증명했습니다.
3. 심층 구조의 불필요성 입증: 동역학 시스템의 지배 방정식 발견에는 깊은 네트워크보다 광폭의 영층 (wide zero-depth) 구조가 더 효과적임을 이론적으로 증명했습니다. (특히 Lorenz 시스템의 $xy$ 항과 같은 2 차 비선형 항을 표현하기 위해 심층 구조만으로는 대수적 한계가 있음을 보임).
4. 다양한 시스템 적용: 이산 시스템 (Henon, Ikeda), 연속 ODE (Lorenz), 그리고 혼돈 PDE (Kuramoto-Sivashinsky, Inviscid Burgers) 등 다양한 복잡도에서 검증되었습니다.

4. 실험 결과 (Results)

• Hopf Fibration (위상 구조):
  • 기존 KAN 은 Hopf 섬유 (fiber) 구조를 제대로 학습하지 못하고 붕괴시켰으나, KANDy 는 리프트된 특징을 통해 섬유를 단일 점으로 매핑하는 불변 구조를 정확히 학습했습니다.
  • KANDy 는 $x_1x_3, x_2x_4$ 등의 2 차 다항식 항을 통해 정확한 기호 방정식을 도출했습니다.
• Henon 및 Ikeda 맵 (이산 시스템):
  • Henon 맵의 파라미터를 100% 정확도로 복원했습니다.
  • Ikeda 광학 공동 맵: 희소 회귀 (SINDy) 가 실패하는 것으로 알려진 시스템에서 KANDy 는 정확한 지배 방정식 ($x_{n+1} = 1 + u[x_n \cos \theta_n - y_n \sin \theta_n]$ 등) 을 성공적으로 발견했습니다.
• Lorenz 시스템 (연속 ODE):
  • 학습된 모델은 Lyapunov 시간 (약 1.1) 까지 높은 정확도로 궤적을 예측하며, 그 이후에도 어트랙터의 기하학적 구조를 유지합니다.
  • 발견된 방정식은 실제 Lorenz 파라미터 ($\sigma, \rho, \beta$) 와 매우 근사한 값을 보였습니다 (상대 오차 1~8% 내).
• PDE (Kuramoto-Sivashinsky 및 Inviscid Burgers):
  • KS 방정식: 비선형 대류, 2 차 및 4 차 미분 항을 포함한 구조를 정확히 복원했습니다.
  • 비점성 Burgers 방정식: 충격파 (shock wave) 가 발생하는 영역에서도 KANDy 는 기존 희소 회귀 (SINDy, PDE-Find) 보다 낮은 NRMSE(0.049 vs 0.150) 를 보이며 충격파 형성을 정확히 포착했습니다. 이는 KANDy 가 불연속성과 비선형성에 강건함을 의미합니다.

5. 의의 및 결론 (Significance)

• 해석 가능한 AI 의 새로운 패러다임: KANDy 는 "깊이 (depth)" 대신 "표현력 (expressivity)"과 "적절한 좌표계 (lifted coordinates)"에 초점을 맞춤으로써, 복잡한 동역학 시스템의 물리 법칙을 데이터로부터 직접 추출할 수 있는 강력한 도구를 제공합니다.
• 실용적 가치: 기존 희소 회귀가 실패하는 생물학적, 물리학적 시스템 (비선형 반응, 복잡한 상호작용) 에 적용 가능하여, 데이터 기반 과학 발견 (Scientific Discovery) 의 범위를 확장합니다.
• 장기 예측의 안정성: 단순한 1 단계 예측이 아닌, 다단계 롤아웃 (multi-step rollout) 을 학습에 포함시킴으로써 혼돈 시스템의 장기적인 위상 일관성과 어트랙터 구조를 보존하는 모델을 구축할 수 있음을 입증했습니다.

결론적으로, 이 논문은 KAN 과 Koopman 이론, 희소 회귀를 통합하여 해석 가능하고, 강건하며, 복잡한 동역학 시스템의 지배 방정식을 발견할 수 있는 새로운 프레임워크 (KANDy) 를 제시했습니다.