Symbolic Discovery of Stochastic Differential Equations with Genetic Programming

이 논문은 유전적 프로그래밍을 기반으로 드리프트와 확산 함수를 최대우도추정으로 공동 최적화하여, 노이즈가 포함된 확률 미분방정식을 기호적으로 발견하고 해석 가능한 과학적 지식을 확장하는 새로운 방법을 제시합니다.

핵심

이 논문은 **"자동화된 과학 발견"**이라는 거창한 목표를 가진 연구입니다. 쉽게 말해, **"컴퓨터가 스스로 자연의 법칙을 찾아내는 방법"**을 개발한 것입니다.

특히 이 연구는 '소음 (Noise)'이 섞인 복잡한 데이터를 분석할 때, 기존의 방법보다 훨씬 더 똑똑하고 정확한 법칙을 찾아내는 새로운 기법을 소개합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "흐릿한 사진과 예측하기 힘든 날씨"

상상해 보세요. 여러분이 어떤 기계의 움직임을 관찰하고 있다고 칩시다. 하지만 그 기계는 완벽하게 움직이지 않습니다.

• 결정론적 (Deterministic): 기계가 "이렇게 움직여야 한다"는 규칙이 있습니다. (예: 공을 던지면 중력에 따라 떨어진다.)
• 확률적 (Stochastic): 하지만 바람이 불거나, 기계가 덜덜 떨리는 등 예측 불가능한 소음이 섞여 있습니다.

기존의 과학자들은 이 소음을 '방해꾼'으로 여겼습니다. "소음만 없으면 진짜 규칙을 찾을 수 있어!"라고 생각하며 소음을 무시하고 규칙만 찾으려 했습니다. 하지만 현실은 소음이 규칙의 일부인 경우가 많습니다. (예: 주식 시장의 등락, 뇌의 신경 신호, 날씨 변화 등)

이 논문은 **"소음 자체를 무시하지 말고, 소음이 어떻게 작용하는지까지 규칙으로 찾아내자!"**라고 제안합니다.

2. 해결책: "진화하는 수학 공식 (유전 프로그래밍)"

연구팀은 **유전 알고리즘 (Genetic Programming)**이라는 기술을 사용했습니다. 이는 생물의 진화 원리를 컴퓨터에 적용한 것입니다.

• 비유: "수학 공식의 진화"
  • 컴퓨터는 무작위로 만든 수천 개의 수학 공식 (예: $x + y$, $x^2 - \sin(y)$ 등) 을 만들어냅니다.
  • 이 공식들이 실제 관찰된 데이터와 얼마나 잘 맞는지 '시험'을 봅니다.
  • 점수가 높은 공식들은 '부모'가 되어 서로 섞이거나 (교차), 약간의 변형을 겪습니다 (돌연변이).
  • 이 과정을 반복하면, 결국 데이터를 가장 잘 설명하는 완벽한 수학 공식이 살아남습니다.

기존에는 이 방법으로 '규칙 (Drift)'만 찾았습니다. 하지만 이 연구는 **'규칙 + 소음의 법칙 (Diffusion)'**을 동시에 찾아내도록 진화시켰습니다.

3. 기존 방법 vs 새로운 방법

기존에 소음이 섞인 데이터를 분석할 때 쓰던 방법 (Kramers-Moyal 확장 + 희소 회귀) 은 다음과 같은 문제가 있었습니다.

• 비유: "그릇에 물을 나누어 담는 작업"
  • 데이터를 작은 그릇 (Bin) 에 나누어 담고, 그릇 안의 평균을 계산하는 방식입니다.
  • 문제: 데이터가 너무 많거나 (차원이 높을수록), 그릇이 너무 작으면 그릇이 깨집니다 (계산 오류). 또한, 그릇을 나누는 과정에서 중요한 정보가 사라지기도 합니다.

**새로운 방법 (GP-SDE)**은 어떻게 다를까요?

• 비유: "직접 요리하는 셰프"
  • 그릇에 나누어 담는 대신, 데이터를 그대로 보고 "어떤 재료가 어떤 비율로 섞여야 이 맛 (데이터) 이 나오지?"라고 직접 계산합니다.
  • 장점:
    1. 고차원 문제 해결: 데이터의 변수가 20 개, 50 개로 늘어나도 그릇이 깨지지 않고 잘 처리합니다.
    2. 희소 데이터: 데이터가 드물게 찍힌 경우에도, 수학적 통합 (Integration) 기술을 써서 빈칸을 채워 정확하게 예측합니다.
    3. 생성 능력: 단순히 규칙을 찾는 것을 넘어, **새로운 가상 데이터 (Generative Sampling)**를 만들어낼 수 있습니다. 즉, "이런 규칙이라면 앞으로 어떻게 변할까?"를 시뮬레이션할 수 있습니다.

4. 실제 성과: "혼돈 속의 질서 찾기"

연구팀은 다양한 복잡한 시스템 (로렌츠 어트랙터, 로트카 - 볼테라 모델 등) 에서 이 방법을 테스트했습니다.

• 결과:
  • 기존 방법 (그릇 나누기) 은 변수가 많아지면 완전히 무너졌습니다.
  • 새로운 방법 (진화하는 공식) 은 변수가 많아져도 정확한 규칙을 찾아냈습니다.
  • 특히, 소음의 법칙까지 찾아냈기 때문에 실제 현상과 매우 유사한 새로운 시나리오를 만들어내는 데 성공했습니다.

5. 결론: "왜 이것이 중요한가?"

이 연구는 **"소음은 방해가 아니라, 규칙의 일부"**임을 증명했습니다.

• 의미: 우리가 매일 마주하는 복잡한 세상 (날씨, 주식, 뇌 활동, 질병 확산 등) 은 완벽하게 예측 가능한 것이 아닙니다. 하지만 이 새로운 방법을 쓰면, 그 혼란스러운 소음 속에서도 숨겨진 법칙을 찾아내고, 미래를 더 정확하게 시뮬레이션할 수 있게 됩니다.

한 줄 요약:

"컴퓨터가 생물의 진화 원리를 이용해, 소음이 섞인 복잡한 데이터 속에서도 '규칙'과 '소음의 법칙'을 동시에 찾아내는 새로운 과학적 나침반을 만들었습니다."

기술 요약

1. 문제 정의 (Problem)

• 배경: 자동화된 과학적 발견 (Automated Scientific Discovery, ASD) 은 기계 학습을 통해 관찰된 데이터로부터 시스템의 작동 원리를 규명하는 것을 목표로 합니다. 기존의 기호 회귀 (Symbolic Regression) 는 주로 상미분 방정식 (ODE) 을 학습하여 결정론적 동역학을 설명하는 데 집중해 왔습니다.
• 한계: 실제 세계의 많은 시스템은 내재적인 무작위성 (aleatoric uncertainty) 이나 불완전한 관찰 (epistemic uncertainty) 로 인해 잡음 (noise) 을 포함합니다. 기존의 기호 회귀 방법들은 잡음을 단순히 모델링의 방해 요소로 간주하거나, 결정론적 동역학만 학습하여 확률적 성분을 무시하는 경향이 있었습니다.
• 기존 방법의 문제점: 확률 미분 방정식 (SDE) 에 기호 회귀를 적용한 기존 연구 (주로 희소 회귀와 Kramers-Moyal 확장 결합) 는 다음과 같은 한계가 있습니다.
  • 이단계 접근 (Two-stage approach): 드리프트 (drift) 와 디퓨전 (diffusion) 계수를 별도로 추정하여 일관성이 떨어질 수 있습니다.
  • 데이터 이산화 (Binning): 계수 추정을 위해 데이터를 구간 (bin) 으로 나누어야 하므로, 고차원 문제에서 차원의 저주 (curse of dimensionality) 에 취약하고, 희소하게 샘플링된 데이터에서는 편향 - 분산 트레이드오프가 발생합니다.
  • 해석 가능성 부족: 딥러닝 기반의 SDE 모델은 블랙박스 성격을 띠어 해석이 어렵습니다.

2. 방법론 (Methodology)

저자들은 유전 프로그래밍 (Genetic Programming, GP) 을 기반으로 드리프트 함수와 디퓨전 함수를 동시에 최적화하여 SDE 를 기호적으로 발견하는 새로운 방법론 (GP-SDE) 을 제안합니다.

• 수학적 모델:

  • 제안된 방법은 시간 불변 (time-invariant) SDE 를 가정합니다: $dx(t) = f(x(t))dt + G(x(t))dW$.
  • 여기서 $f(x)$는 드리프트 (결정론적 성분), $G(x)$는 디퓨전 (확률적 성분) 입니다.
  • 시스템의 각 변수가 독립적인 잡음에 의해 구동된다고 가정하여, $f$와 $G$를 스칼라 함수 집합으로 분해합니다.

• 최적화 목표 (Fitness Function):

  • 기존 GP 가 주로 사용하는 수치 적분이나 유한 차분법 대신, 최대우도추정 (Maximum Likelihood Estimation, MLE) 을 적합도 함수 (Fitness Function) 로 사용합니다.
  • 가우시안 잡음을 가정하여, 관찰된 상태 전이 확률의 음의 로그 우도 (Negative Log-Likelihood) 를 최소화합니다.
  • 동시 최적화: 드리프트와 디퓨전 함수를 별도의 parse tree 로 표현하고, 이를 동시에 진화시켜 두 성분의 일관성을 보장합니다.

• 희소 데이터 대응 (Multi-step Integration):

  • 관찰 간격이 넓어 MLE 직접 최적화가 불안정할 경우, 관측점 사이에서 수치 적분을 수행하는 다단계 통합 (Multi-step, MS) 전략을 도입합니다.
  • 이를 통해 데이터가 희소하게 샘플링된 상황에서도 정확한 방정식을 복원할 수 있습니다.

• 알고리즘 특징:

  • Kozax 라이브러리: JAX 기반의 빠른 GP 프레임워크를 사용.
  • NSGA-II: 적합도 (오차) 와 복잡도 (노드 수) 를 동시에 고려하는 다목적 최적화 알고리즘을 사용하여 파레토 프론트 (Pareto front) 를 생성합니다.
  • 다중 서브-population: 조기 수렴을 방지하고 다양성을 유지하기 위해 인구를 여러 하위 집단으로 나누고 이주 (migration) 를 수행합니다.

3. 주요 기여 (Key Contributions)

1. GP 기반 SDE 발견 프레임워크: 유전 프로그래밍을 사용하여 드리프트와 디퓨전 함수를 기호적으로 동시에 학습하는 최초의 방법론 중 하나로, 해석 가능한 SDE 모델을 생성합니다.
2. MLE 기반 동시 최적화: Kramers-Moyal 확장과 같은 이단계 접근이나 데이터 이산화 (binning) 없이, 최대우도추정을 통해 드리프트와 디퓨전을 통합적으로 최적화하여 모델의 유효성을 높였습니다.
3. 고차원 및 희소 데이터 확장성: 기존 희소 회귀 방법이 고차원 문제에서 실패하는 차원의 저주 문제를 해결하고, 다단계 통합을 통해 희소하게 샘플링된 데이터에서도 정확한 방정식을 복원합니다.
4. 확률 편미분 방정식 (SPDE) 일반화: 제안된 프레임워크가 1 차원 및 2 차원 SPDE 로도 확장 가능함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 다양한 벤치마크 시스템 (Double Well, Van der Pol, Rössler, Lorenz96, Lotka-Volterra, Fisher-KPP 등) 에서 GP-SDE 를 기존 방법 (GP-ODE, KM-SR) 과 비교했습니다.

• 정확도:

  • 저차원 문제: GP-SDE 는 Kramers-Moyal 기반 희소 회귀 (KM-SR) 와 경쟁적인 성능을 보이며, 드리프트와 디퓨전 모두를 정확하게 복원합니다.
  • 고차원 문제 (Lorenz96, 5~20 차원): KM-SR 은 차원이 증가함에 따라 성능이 급격히 저하되는 반면, GP-SDE 는 고차원에서도 안정적인 성능을 유지하며 KM-SR 을 압도했습니다.
  • 잡음 모델링: 복잡한 비선형 곱셈 잡음이 있는 경우, 드리프트만 학습하는 GP-ODE 는 실패하지만 GP-SDE 는 정확한 드리프트와 디퓨전을 모두 복원했습니다.

• 희소 데이터 (Sparse Data):

  • 샘플링 간격이 넓을 때, 다단계 통합 (MS) 을 적용한 GP-SDE-MS는 KM-SR 과 GP-ODE 보다 월등히 우수한 성능을 보였습니다. 이는 관측 사이의 수치 적분을 통해 동역학을 더 정밀하게 추적했기 때문입니다.

• 생성적 샘플링 (Generative Sampling):

  • 학습된 SDE 모델을 사용하여 새로운 시뮬레이션 경로를 생성한 결과, GP-SDE 는 KM-SR 보다 실제 시스템의 통계적 특성 (평균, 분산, 진동 패턴) 을 더 잘 재현했습니다. 특히 확률적 성분을 학습함으로써 단일 결정론적 경로 (GP-ODE) 가 놓치는 다양한 시나리오를 포착했습니다.

• 계산 효율성:

  • 저차원 문제에서는 KM-SR 이 더 빠르지만, 차원이 증가함에 따라 KM-SR 의 실행 시간은 기하급수적으로 증가하여 메모리 부족 (OOM) 이 발생했습니다. 반면 GP-SDE 는 차원에 따라 실행 시간이 선형적으로만 증가하여 고차원 문제에 훨씬 확장 가능 (Scalable) 했습니다.

5. 의의 및 결론 (Significance)

• 과학적 발견의 자동화: 이 연구는 잡음이 있는 동적 시스템을 해석 가능하게 모델링할 수 있는 강력한 도구를 제공합니다. 단순히 데이터를 맞추는 것을 넘어, 시스템의 결정론적 법칙과 확률적 성분을 모두 기호적으로 발견함으로써 과학적 통찰력을 제공합니다.
• 실용적 가치: 고차원 시스템, 희소 데이터, 복잡한 잡음 구조를 가진 실제 과학 및 공학 문제 (예: 기후 모델링, 신경 과학, 금융 공학 등) 에 적용 가능한 확장 가능한 솔루션을 제시합니다.
• 미래 전망: 현재는 완전 관측 (full observability) 과 가우시안 잡음을 가정하고 있으나, 잠재 변수 (latent variables) 가 있는 경우나 다른 종류의 잡음 (Levy jumps 등) 으로 확장한다면 자동화된 과학 발견의 범위를 더욱 넓힐 수 있을 것으로 기대됩니다.

요약하자면, 이 논문은 유전 프로그래밍과 최대우도추정을 결합하여 드리프트와 디퓨전을 동시에 학습하는 새로운 SDE 발견 프레임워크를 제안하며, 기존 방법들의 한계를 극복하고 고차원 및 희소 데이터 환경에서 뛰어난 성능과 확장성을 입증했습니다.