A convergent scheme for the Bayesian filtering problem based on the Fokker--Planck equation and deep splitting

1. 문제 정의 (Problem Definition)

이 논문은 비선형 베이지안 필터링 (Nonlinear Bayesian Filtering) 문제를 해결하는 새로운 수치 기법을 제안합니다.

• 배경: 전통적인 필터링 방법 (칼만 필터, 입자 필터 등) 은 상태 차원 (state dimension) 이 높아질수록 성능이 급격히 저하되는 **'차원의 저주 (Curse of Dimensionality)'**에 직면합니다. 특히 입자 필터는 고차원 공간에서 정확한 확률 밀도 함수 (PDF) 를 추정하기 위해 막대한 수의 입자가 필요합니다.
• 목표: 연속 시간 상태 (Stochastic Differential Equation, SDE 로 모델링) 와 이산 시간 관측 데이터가 주어졌을 때, 관측된 데이터에 기반한 숨겨진 상태의 **확률 밀도 함수 (Filtering Density)**를 정확하게 근사하는 것입니다.
• 수학적 형식화:
  • 상태 방정식: $dS_t = \mu(S_t)dt + \sigma(S_t)dB_t$
  • 관측 방정식: $O_k \sim g(O_k | S_{t_k})$
  • 필터링 밀도 $p_k$는 포커 - 플랑크 방정식 (Fokker-Planck Equation, FPE) 을 통해 예측 (prediction) 단계를 수행하고, 베이지안 업데이트 (Bayes' formula) 를 통해 관측 시점에서 밀도를 갱신하는 과정을 반복합니다.

2. 방법론 (Methodology)

논문은 딥 스플리팅 (Deep Splitting) 기법을 확장하여 FPE 를 풀고, 이를 필터링 문제에 적용하는 하이브리드 알고리즘을 제시합니다.

2.1. 예측 - 업데이트 프레임워크

알고리즘은 두 단계로 나뉩니다:

1. 예측 단계 (Prediction): 관측 사이의 시간 구간에서 FPE 를 수치적으로 풉니다. 이는 상태의 진화를 모델링합니다.
2. 업데이트 단계 (Update): 새로운 관측 데이터가 들어오면 베이지안 규칙을 적용하여 밀도를 갱신합니다.

2.2. 딥 스플리팅 및 Feynman-Kac 표현

FPE 를 직접 푸는 대신, Feynman-Kac 공식을 활용하여 확률적 미분 방정식 (SDE) 의 해와 기대값 문제로 변환합니다.

• 스플리팅 (Splitting): FPE 의 연산자 $A^*$를 보조 드리프트 $b$를 가진 연산자 $A_b$와 1 차 미분 연산자 $F_b$로 분해합니다 ($A^* = A_b + F_b$).
• 반복 최적화: 각 시간 단계에서 밀도 함수를 신경망 (Neural Network) 으로 근사하며, 조건부 기대값을 최소화하는 손실 함수를 정의합니다.
  $$\pi_{k,n+1} = \arg \min_u \mathbb{E} \left[ |u(Z) - G_b \pi_{k,n}(Z)|^2 \right]$$
  여기서 $Z$는 오일러 - 마루야마 (Euler-Maruyama) 근사를 통해 생성된 보조 확률 과정입니다.

2.3. 온라인 학습 및 일반화

기존의 딥 스플리팅 방법이 특정 관측 경로에 대해 오프라인으로 학습했다면, 이 논문은 관측 데이터의 분포 전체에 대해 정의된 결정론적 함수를 학습하도록 확장했습니다.

• 이는 학습이 완료된 후 새로운 관측 시퀀스에 대해 **실시간 (Online)**으로 추론이 가능함을 의미합니다.
• 확률 밀도의 양수성 (positivity) 을 보장하기 위해 **에너지 기반 활성화 함수 (Energy-based activation)**를 사용합니다 ($e^{-f_\theta(x)}$).

2.4. 수렴성 분석 조건

이론적 수렴성을 보장하기 위해 **포물형 호르만더 조건 (Parabolic Hörmander condition)**을 가정합니다. 이는 확산 계수 $\sigma$와 드리프트 $\mu$가 특정 리 대수 (Lie algebra) 조건을 만족하여 밀도 함수가 매끄럽고 유계임을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 수렴성 증명 (Convergence Rate):

   • 제안된 알고리즘이 참 필터링 밀도에 대해 **시간에 대해 1 차 (Order 1)**의 강한 수렴 속도 (Strong Convergence Rate) 를 가짐을 이론적으로 증명했습니다.
   • 이 수렴 속도는 관측 데이터의 분포에 의존하지 않으며, 포물형 호르만더 조건 하에서 성립합니다.
   • 이는 FPE 근사 자체의 수렴성도 함께 증명된 결과입니다.

2. 고차원 문제 해결:

   • 샘플링 기반 Feynman-Kac 접근법을 사용하여 차원의 저주를 완화했습니다.
   • 기존 그리드 기반 방법 (유한 차분/요소법) 이 4 차원 이상에서 계산 불가능해지는 반면, 이 방법은 10 차원 이상의 비선형 문제에서도 효과적으로 작동함을 보였습니다.

3. 온라인 필터링 프레임워크:

   • 학습된 신경망이 새로운 관측 시퀀스에 대해 즉시 추론을 수행할 수 있는 온라인 필터링 구조를 확립했습니다.

4. 실험 결과 (Results)

논문은 수치 실험을 통해 이론적 결과를 검증하고 방법론의 성능을 입증했습니다.

• 1 차원 예시 (수렴성 검증):
  • tanh 과정: 이론적 가정을 만족하는 경우, 시간 이산화 단계 $N$에 대해 **1 차 수렴 ($O(N^{-1})$)**을 확인했습니다.
  • 이중 안정 (Bistable) 과정: 가정을 완전히 만족하지 않는 경우, 약 0.5 차 수렴 ($O(N^{-1/2})$) 을 보였으나, 여전히 유효한 근사치를 제공했습니다.
• 10 차원 비선형 예시 (고차원 성능):
  • 10 차원의 tanh 드리프트를 가진 비선형 SDE 에 대해 실험했습니다.
  • 비교 대상: 앙상블 칼만 필터 (EnKF), 부트스트랩 입자 필터 (Particle Filter, PF).
  • 결과:
    • 제안된 방법 (EBDS) 은 EnKF 와 PF 보다 음의 로그 가능도 (Negative Log-Likelihood, NLL) 측면에서 우수한 성능을 보였습니다.
    • 특히 PF 가 10 차원 문제에서 우수한 성능을 내기 위해서는 $10^6$ 개의 입자가 필요한 반면, 제안된 방법은 훨씬 적은 계산 비용으로 유사하거나 더 나은 정확도를 달성했습니다.
    • 필터링 밀도의 전체적인 형태 (Shape) 를 Mean Absolute Error (MAE) 보다 NLL 에서 더 잘 포착함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 베이지안 필터링 분야에서 다음과 같은 중요한 의의를 가집니다:

1. 이론적 엄밀성과 실용성의 결합: 딥러닝 기반 PDE 솔버가 종종 경험적 성공에 그치는 것과 달리, 엄밀한 수렴성 증명을 제공하여 신뢰성을 높였습니다.
2. 고차원 필터링의 새로운 패러다임: 기존 입자 필터의 한계를 극복하고, 고차원 비선형 시스템에서도 확률 밀도 함수 전체를 근사할 수 있는 실용적인 도구를 제시했습니다.
3. 실시간 적용 가능성: 학습 단계와 추론 단계를 분리하여, 새로운 데이터가 들어오더라도 재학습 없이 실시간으로 상태를 추정할 수 있게 함으로써 공학 및 과학 응용 (예: 로봇 공학, 금융, 기상 예보 등) 에 직접 적용 가능한 가능성을 열었습니다.

결론적으로, 이 연구는 딥 스플리팅 기법을 포커 - 플랑크 방정식과 결합하여 고차원 비선형 필터링 문제를 해결하는 수렴성 보장 알고리즘을 최초로 체계적으로 제시했다는 점에서 큰 의의가 있습니다.