Kernel Methods for Stochastic Dynamical Systems with Application to Koopman Eigenfunctions: Feynman-Kac Representations and RKHS Approximation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 쿠퍼만 연산자 이론은 비선형 동역학 시스템을 선형적으로 분석할 수 있게 해주는 강력한 도구입니다. 이전 연구 [1] 에서는 결정론적 시스템 ($\dot{x} = f(x)$) 에 대해 리온스 (Lions) 형 변분 원리, 그린 함수 합성, 그리고 특성 곡선 (method of characteristics) 을 통한 해석적 커널 구성이 서로 동등함을 보였습니다.
• 문제점: 실제 물리, 금융, 기후 시스템 등 많은 시스템은 확률적 섭동 (Stochastic forcing) 을 받습니다. 확률 미분 방정식 (SDE) $dX_t = G(X_t)dt + \sigma(X_t)dW_t$의 경우, 쿠퍼만 생성자 (Koopman generator) 에 **2 차 확산 항 (diffusion term)**이 추가됩니다.
  • 이로 인해 쿠퍼만 고유함수 방정식은 1 차 쌍곡형 PDE 에서 2 차 타원 - 포물형 PDE로 근본적으로 변화합니다.
  • 결정론적 시스템에서 사용되던 '특성 곡선 (method of characteristics)' 방법은 더 이상 직접 적용할 수 없으며, 해의 매끄러움 (smoothing effect) 과 수렴성 이론이 달라집니다.
• 목표: 결정론적 프레임워크의 세 가지 커널 구성 방법 (변분, 그린 함수, resolvent) 을 SDE 환경으로 확장하고, Feynman–Kac 공식을 통해 이를 통합하며, 수치적 안정성과 오차 분석을 수행하는 것입니다.

2. 방법론 (Methodology)

저자들은 SDE 에 대한 쿠퍼만 고유함수 $\phi(x) = w^T x + h(x)$를 구하기 위해 다음과 같은 세 가지 접근법을 확장하고 동등성을 증명했습니다.

2.1. 세 가지 커널 구성의 확장

1. 리온스 형 변분 원리 (Lions-Type Variational Principle):

   • 확률적 운송 연산자 $L_{stoch} = G \cdot \nabla + \frac{1}{2}\text{Tr}[a\nabla^2] - \lambda$를 정의합니다.
   • 그래프 노름 (graph norm) $\|u\|^2_{L^2} + \|L_{stoch}u\|^2_{L^2}$을 가진 힐베르트 공간에서 점 평가 (point evaluation) 의 리즈 표현자 (Riesz representer) 로서 변분 커널 $k_{var}$를 정의합니다.
   • 2 차 미분 항이 포함되므로 커널은 $C^{2,2}$ 이상의 매끄러움을 가져야 합니다.

2. Feynman–Kac 을 통한 그린 함수 (Green's Function via Feynman–Kac):

   • 결정론적 특성 곡선 대신 Feynman–Kac 공식을 사용합니다.
   • PDE $(\lambda - K)u = g$의 해는 확률 과정 $X_t$의 경로 적분으로 표현됩니다.
   • Feynman–Kac 커널 $k_{FK}(x, y)$는 $x$에서 시작하여 $y$에 도달하는 확률 경로의 할인된 국소 시간 (discounted local time) 의 기댓값으로 정의됩니다:
     $$k_{FK}(x, y) = \mathbb{E}_x \left[ \int_0^{\tau_\Omega} e^{-\lambda t} \delta(y - X_t) dt \right]$$

3. 확률적 Resolvent 커널 (Stochastic Resolvent Kernel):

   • 쿠퍼만 생성자의 resolvent 연산자 $R_\lambda = (\lambda I - K)^{-1}$를 Laplace 변환 형태로 정의합니다.
   • 이는 확률 궤적을 따라 적분한 형태로, $k_{res}(x, y) = \mathbb{E}_x [\int_0^{\tau_\Omega} e^{-\lambda t} \delta(y - X_t) dt]$와 동일합니다.

2.2. 커널 동등성 정리 (Kernel Equivalence Theorem)

• 주요 결과: 균일 타원성 (Uniform Ellipticity, $\sigma\sigma^T \ge \nu I$) 과 적절한 경계 조건 하에서, 세 가지 커널 구성 ($k_{var}, k_{FK}, k_{res}$) 은 **동일한 재생 커널 (identical reproducing kernels)**을 생성함을 증명했습니다.
• 조건: $\text{Re}(\lambda) > \frac{1}{2}\|(\nabla \cdot G)^-\|_{L^\infty}$와 같은 조건이 필요하며, 이는 확률적 흐름이 영역 밖으로 빠져나가는 속도가 할인율 $\lambda$보다 느리지 않도록 보장합니다.

2.3. 계산 방법론 (Computational Framework)

• 콜로케이션 방법 (Collocation Method):
  • SDE 의 2 차 PDE 를 이산화하기 위해 가우스 RBF 커널을 사용합니다.
  • 확산 행렬 (Diffusion Matrix) $D_{ij}$를 명시적으로 유도했습니다:
    $$D_{ij} = \frac{1}{2}\text{Tr}[a(x_i)\nabla^2_x k(x_i, x_j)]$$
  • 이는 결정론적 시스템의 1 차 미분 행렬 $L_{ij}$에 추가되어 선형 시스템을 구성합니다: $(L + D - \lambda K)\alpha = -f$.
• 몬테카를로 Feynman–Kac 근사:
  • PDE 해를 직접 구하기 어려울 때, Euler–Maruyama 적분을 통해 확률 경로를 시뮬레이션하고 평균을 내어 해를 추정하는 알고리즘을 제안했습니다.
• 하이포타원성 (Hypoellipticity) 확장:
  • 확산 행렬이 특이 (degenerate) 하더라도 Hörmander 조건을 만족하는 경우 (예: Underdamped Langevin dynamics), 커널 프레임워크가 여전히 유효함을 보였습니다. 이 경우 매끄러움은 $H^1$에서 $H^\epsilon$ ($\epsilon < 1$) 로 감소하지만, 커널 동등성은 유지됩니다.

3. 주요 기여 (Key Contributions)

1. 통일된 프레임워크의 확장과 동등성 증명: 결정론적 시스템의 세 가지 커널 구성을 SDE 로 확장하고, Feynman–Kac 공식을 통해 이들의 동등성을 엄밀하게 증명했습니다.
2. 계산적 프레임워크 구축: 2 차 미분 연산자를 포함하는 PDE 를 해결하기 위한 콜로케이션 방법과 확산 행렬의 명시적 공식을 제시했습니다.
3. 오차 분석 (Error Bounds):
   • RKHS 근사 오차와 몬테카를로 샘플링 오차를 분리하여 분석했습니다.
   • 총 오차는 $O(N^{-\beta})$ (RKHS) 와 $O(K^{-1/2})$ (몬테카를로) 로 구성됨을 보였습니다.
4. 확산의 수치적 안정성 효과 발견:
   • 중요한 발견: 적절한 수준의 확산 (moderate diffusion) 이 타원 정규화 (elliptic regularization) 효과를 제공하여, 결정론적 시스템보다 수치적 조건수 (condition number) 를 크게 개선한다는 것을 증명했습니다.
   • 확산 항이 대각선 요소를 음수로 이동시켜 행렬의 고유값을 0 에서 멀어지게 하여 안정성을 높입니다.
5. 기존 방법론과의 연결: Generator EDMD, Diffusion Maps, Kernel Analog Forecasting 등 기존 데이터 기반 방법론과의 관계를 명확히 했습니다.

4. 실험 결과 (Numerical Experiments)

Ornstein–Uhlenbeck 과정, 비선형 SDE (2 차 비선형성), 2 차원 선형 시스템 등을 대상으로 실험을 수행했습니다.

• 정확도: 선형 시스템에서는 기계 정밀도 (machine precision, $\sim 10^{-14}$) 수준으로 정확한 고유함수를 복원했습니다. 비선형 시스템에서도 낮은 오차로 비선형 보정항을 성공적으로 포착했습니다.
• 조건수 개선: 확산 계수 $\sigma$를 0 에서 0.5 로 증가시켰을 때, 조건수 (Condition Number) 가 약 2.5 배에서 3.7 배까지 개선되었습니다 (예: $3.79 \times 10^6 \to 1.03 \times 10^6$). 이는 확산이 수치적 안정성을 높여준다는 이론적 예측을 뒷받침합니다.
• 반군 성질 (Semigroup Property): 계산된 고유함수가 $E[\phi(X_t)] = e^{\lambda t}\phi(x_0)$를 만족하는지 확인했으며, 모든 테스트에서 10% 미만의 상대 오차를 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 확률적 동역학 시스템의 분석을 위한 강력한 수학적 및 계산적 도구를 제공합니다.

• 이론적 의의: 결정론적 PDE 이론과 확률적 과정 이론 (Feynman–Kac) 을 재생 커널 힐베르트 공간 (RKHS) 프레임워크에서 성공적으로 통합했습니다. 특히, 확산이 수치적 조건을 개선한다는 점은 비선형 동역학 시스템의 수치 해석에서 중요한 통찰을 제공합니다.
• 실용적 의의:
  • 분자 동역학 (Langevin dynamics), 금융 공학 (확률적 변동성 모델), 기후 모델링 등 확률적 요인이 중요한 분야에서 쿠퍼만 고유함수를 효율적으로 계산할 수 있는 방법을 제시합니다.
  • 확산이 있는 시스템에서는 오히려 수치적 안정성이 향상되므로, 인위적인 확산을 도입하거나 노이즈가 있는 데이터를 다룰 때 이 프레임워크가 유리함을 보여줍니다.
• 미래 전망: 무한 차원 SDE, 점프 - 확산 과정, 비마르코프 시스템, 그리고 고차원 시스템으로의 확장 가능성을 제시하며, 최적 제어 및 희귀 사건 (rare events) 분석에의 적용을 제안합니다.

요약하자면, 이 연구는 확산 (diffusion) 이 단순히 불확실성을 추가하는 것이 아니라, 수치적 안정성을 높이고 PDE 해의 매끄러움을 보장하는 긍정적 요소로 작용할 수 있음을 보였으며, 이를 통해 쿠퍼만 연산자 기반의 데이터 기반 동역학 분석을 확률적 시스템으로 성공적으로 확장했습니다.