Nonlinear filtering based on density approximation and deep BSDE prediction

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 비선형 및 비가우시안 (Non-Gaussian) 환경에서의 상태 추정 (State Estimation) 은 로봇 공학, 금융, 기상학 등 다양한 분야에서 핵심적인 과제입니다. 기존의 칼만 필터 (Kalman Filter) 는 선형/가우시안 시스템에서는 효과적이지만, 비선형성이 강할 경우 편향되거나 (확장 칼만 필터) 차원의 저주 (Curse of Dimensionality) 로 인해 입자 필터 (Particle Filter) 와 같은 방법이 고차원 공간에서 성능이 급격히 저하됩니다.
• 문제 설정:
  • 연속 시간 상태 방정식 (SDE) 과 이산 시간 관측 방정식으로 구성된 하이브리드 시스템을 다룹니다.
  • 목표: 관측 데이터 $O_{1:k}$가 주어졌을 때, 은닉 상태 $S_{t_k}$의 조건부 확률 밀도 함수 (Filtering Density) $p(S_{t_k} | O_{1:k})$를 추정하는 것입니다.
  • 이 문제는 포커 - 플랑크 (Fokker-Planck) 편미분방정식 (PDE) 을 푸는 예측 단계와 베이지안 업데이트 단계를 반복하는 과정으로 표현됩니다.

2. 제안된 방법론 (Methodology)

이 논문은 **역확률미분방정식 (BSDE, Backward Stochastic Differential Equations)**과 **심층 신경망 (Deep Neural Networks)**을 결합하여 필터링 문제를 해결하는 새로운 근사 필터를 제안합니다.

A. 수학적 형식화

1. Fokker-Planck PDE 와 BSDE 의 연결:

   • 필터링 밀도의 예측 단계는 Fokker-Planck 방정식으로 기술됩니다.
   • 저자들은 비선형 Feynman-Kac 공식을 도입하여 이 PDE 를 BSDE 문제로 변환합니다. 이를 통해 PDE 의 해를 확률 과정의 기대값으로 표현할 수 있게 됩니다.
   • 보조 드리프트 (Auxiliary Drift) $b$를 도입하여 BSDE 의 생성자 (Generator) 를 단순화하고, 이를 통해 계산 효율성을 높였습니다.

2. 재귀적 필터링 구조:

   • 예측 (Prediction): 각 관측 구간 $[t_k, t_{k+1}]$에서 Deep BSDE 방법을 사용하여 Fokker-Planck 방정식의 해 (밀도) 를 근사합니다.
   • 업데이트 (Update): 관측 시점 $t_{k+1}$에서 베이지안 규칙을 적용하여 밀도를 업데이트합니다. 이 단계는 정규화 상수만 제외하면 폐쇄형 (Closed-form) 으로 계산 가능합니다.

3. 최적화 문제 (Optimization Formulation):

   • BSDE 의 해를 구하는 문제를 신경망을 매개변수로 하는 최적화 문제로 재정의합니다.
   • 목적 함수는 BSDE 의 말단 조건 (Terminal Condition) 과 신경망 출력 간의 제곱 오차 (Mean Squared Error) 를 최소화하는 형태로 설정됩니다.
   • 학습 방식: 오프라인 (Offline) 학습을 수행하여 신경망 가중치를 학습한 후, 새로운 관측 데이터가 들어오면 **온라인 (Online)**으로 실시간 추론이 가능합니다.

3. 주요 기여 (Key Contributions)

1. 밀도 기반 재귀적 필터 제안: 관측 데이터를 입력으로 받아 Deep BSDE 방법을 순차적으로 적용하는 새로운 필터링 알고리즘을 개발했습니다.
2. 혼합 오차 한계 (Hybrid Error Bound) 증명:
   • 포물형 호르만더 조건 (Parabolic Hörmander condition) 하에서 방법론의 수렴성을 수학적으로 증명했습니다.
   • A-priori (사전) 및 A-posteriori (사후) 혼합 오차 상한을 유도했습니다. 이는 이산화 오차 ($\tau^{1/2}$) 와 최적화 잔차 (Neural Network 학습 오차) 가 전체 오차에 어떻게 기여하는지를 보여줍니다.
   • 기존 연구 [25] 의 수렴 결과를 uncoupled forward-backward 시스템이 연속된 시퀀스로 구성된 필터링 문제에 적용되도록 확장했습니다.
3. 수치적 검증: 이론적으로 예측된 수렴 차수 (Order 1/2) 를 1 차원 선형 및 비선형 예제를 통해 실험적으로 확인했습니다.

4. 실험 결과 (Numerical Results)

논문은 두 가지 1 차원 예제를 통해 방법론의 성능을 검증했습니다.

• Ornstein-Uhlenbeck 과정 (선형 시스템):

  • 정확한 해를 구할 수 있는 칼만 필터와 비교했습니다.
  • 시간 이산화 단계 ($N$) 가 증가함에 따라 오차 ($e_k$) 와 잔차 ($E_k$) 가 모두 감소함을 확인했습니다.
  • 충분히 미세한 이산화 ($N \ge 16$) 에서 오차가 시간에 따라 거의 일정하게 유지되며, 수렴 속도가 이론적 예측인 $O(N^{-1/2})$와 일치함을 보였습니다.

• Bistable 과정 (비선형 시스템):

  • 비선형 드리프트를 가진 시스템으로, 이론적 수렴 보장이 보장되지 않는 경우입니다.
  • 기준 해 (Reference Solution) 로 입자 필터 (Particle Filter) 를 사용했습니다.
  • 선형 경우와 유사하게 이산화 정밀도가 높아질수록 오차가 감소하고 $O(N^{-1/2})$ 수렴을 보였습니다.
  • 다만, 매우 높은 해상도에서는 신경망 용량이나 최적화 한계로 인해 수렴이 정체되는 현상 (Plateau) 이 관찰되었습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 차원의 저주 극복: 기존의 입자 필터나 격자 기반 PDE 해법이 고차원 문제에서 실패하는 반면, 이 방법은 Deep BSDE 의 확률적 표현을 활용하여 고차원 (예: 100 차원) 비선형 필터링 문제에도 확장 가능함을 강조합니다 (부록 및 관련 연구 [4] 참조).
• 이론적 엄밀성: 단순히 경험적 성공을 넘어, 수렴성 증명과 오차 분석을 통해 방법론의 신뢰성을 수학적으로 뒷받침했습니다.
• 실용성: 오프라인 학습 후 온라인 추론이 가능하므로, 실시간 데이터 처리가 필요한 실제 응용 분야 (로봇 위치 추정, 금융 변동성 추정 등) 에 적용 가능성이 높습니다.

요약하자면, 이 논문은 비선형 필터링 문제를 PDE 접근법과 Deep Learning 을 결합한 Deep BSDE 프레임워크로 재해석하여, 고차원 비선형 시스템에서도 효과적으로 작동하며 이론적으로 수렴성이 보장된 새로운 필터링 알고리즘을 제시한 연구입니다.