기술 요약: Deep ZakaiJ

문제 정의

금융 및 해양학 등 여러 도메인의 시계열 데이터는 종종 관측되지 않은 잠재 상태 (예: 거시경제 충격 또는 폭풍 체제) 에 의해 유발되는 급격한 점프 불연속성을 보입니다. 이러한 궤적을 예측하는 것은 점프의 시기와 크기가 관측된 과거 데이터만으로 추론될 수 없기 때문에 어렵습니다.

기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 고전적 점프 - 확산 모델: 수리적으로 원칙적 (예: Merton 의 모델) 이지만, 경직된 매개변수 가정에 의존하며 복잡하고 비선형적인 잠재 구조를 포착하는 데 어려움을 겪습니다.
• 신경 점프 모델: 최근의 딥러닝 접근 방식 (예: Neural Jump SDEs) 은 종종 완전히 관측된 궤적에서 작동하며, 역학을 지배하는 숨겨진 상태를 추론하지 못합니다.
• 잠재 상태 모델: Latent ODEs 나 Neural CDEs 와 같은 방법들은 잠재 상태를 평균화 변분 추론을 통해 학습된 암시적 표현으로 취급합니다. 이들은 점프 과정의 특징인 완전히 접근 불가능한 정지 시간을 처리하기 위한 원칙적인 베이지안 업데이트 메커니즘이 부족합니다.
• 칼만 필터링 확장: CRU 및 NCDSSM 과 같은 모델은 칼만 필터링을 딥 아키텍처에 내장하지만, 점프 - 확산 시스템에 내재된 비선형성을 모델링할 수 없는 선형 - 가우시안 역학으로 제한됩니다.

따라서 부분적으로 관측된 점프 - 확산 시스템에서 잠재 체제에 대한 비선형 필터링을 수행하면서도 미분 가능하고 학습 가능한 프레임워크가 필요합니다.

방법론: Deep ZakaiJ

저자들은 Deep ZakaiJ를 제안합니다. 이는 Zakai 비선형 필터링 방정식을 신경 인코더 - 디코더 아키텍처에 내장한 잠재 상태 모델입니다. 이 프레임워크는 관측 과정 $X_t$가 관측되지 않은 잠재 상태 $\Theta_t$에 의해 구동되는 부분 관측 시스템을 위해 설계되었습니다.

1. 이론적 기반

이 모델은 관측에 따른 잠재 상태의 정규화되지 않은 조건부 법칙 (필터) 의 진화를 설명하는 Zakai 방정식을 기반으로 합니다. 관측 과정이 드리프트가 없는 참조 측정 $Q$로 측정 변환을 수행함으로써, 저자들은 정규화되지 않은 밀도 $q_t(\phi)$를 진화시키는 Zakai 방정식의 약한 형태 (식 3) 를 유도합니다.

2. Zakai 인코더

핵심 혁신은 Zakai 방정식의 Strang 분할 이산화로, 신념 업데이트를 세 가지 해석 가능하고 미분 가능한 하위 단계로 분해합니다:

• A-단계 (우선 전파): 잠재 생성기에서 유도된 수치 전파기 (Markov 전이 커널) 를 사용하여 잠재 우선을 전파합니다. 모델 불일치 및 수치 편향을 고려하기 위해 학습된 잔차 보정 $R^A_\psi$가 추가됩니다.
• B-반단계 (확산 혁신): 관측의 연속 구성 요소에 기반하여 신념을 업데이트합니다. 연속 증분의 국소 가우시안 근사를 사용하여 베이지안 재가중치를 수행합니다.
• C-반단계 (점프 혁신): 점프 구성 요소에 기반하여 신념을 업데이트합니다. 작은 시간 간격에 대해 유효한 "최대 한 번의 점프" 근사를 사용하여, "점프 없음" 및 "점프 발생" 가설의 혼합에 대해 사후 확률을 재가중합니다. 이를 통해 필터는 큰 변위에 날카롭게 반응할 수 있습니다.

인코더는 고정된 잠재 그리드 위에서 정규화되지 않은 사후 확률 $q_k$를 재귀적으로 업데이트하고, 예측을 위한 저차원 신념 특징 $\beta_k$를 추출합니다. 저자들은 이 이산 인코더가 정확한 Zakai 진화에 대해 1 차 전역 정확도를 달성함을 증명했습니다.

3. 구조화된 점프 - 확산 디코더

디코더는 현재 관측, 필터링된 신념 $\beta_k$, 그리고 후보 잠재 상태 $\theta$에 따른 미래 증분의 조건부 분포를 매개변수화하는 구조화된 모델입니다.

• 이는 드리프트 $\mu$, 변동성 $\sigma$와 같은 연속 역학을 점프 강도 $\lambda$, 점프 크기 맵 $\gamma$와 같은 불연속 충격으로부터 명시적으로 분리합니다.
• 신경망은 이러한 계수를 관측 및 신념 특징에 조건부로 설정합니다.
• 소규모 점프 근사: 이산 아키텍처 내에서 무한 활동 점프를 처리하기 위해, 디코더는 미세 점프 (크기 $<\epsilon$) 를 유효한 연속 계수에 흡수시키고, 필터링 단계에서는 거시적 점프만 명시적으로 처리합니다.

4. 공동 학습

모델은 다음을 결합하는 단계별 목적 함수를 최대화함으로써 엔드 - 투 - 엔드로 학습됩니다:

1. 예측 가능도: 학습된 점프 - 확산 법칙 하에서 미래 증분의 로그 가능도.
2. 필터링 정규화: 필터링된 사후 확률이 우선에 가깝게 유지되도록 장려하는 KL-발산 항 (붕괴 방지).

기울기는 Strang 분할 연산 및 정규화 단계를 통해 역전파됩니다.

주요 기여

1. Zakai 인코더: Strang 분할을 통한 Zakai 방정식의 이산화로, 우선, 확산 혁신, 점프 혁신의 세 가지 해석 가능한 단계로 나뉩니다. 이는 부분적으로 관측된 점프 - 확산 시스템에 대한 정확한 필터링 진화의 미분 가능하고 1 차 정확도의 근사를 제공합니다.
2. 구조화된 디코더: 필터링된 잠재 신념에 명시적으로 조건부인 점프 - 확산 모델로, 연속 및 불연속 역학 간의 분리를 유지하고 예측 가능한 보상기를 학습합니다.
3. 실증적 검증: 합성, 금융, 해양학 데이터셋 전반에 걸쳐 분포 예측 품질 (보정 및 날카로움) 에서 개선이 입증되었으며, 경쟁력 있는 점 정확도를 유지했습니다.

실험 결과

저자들은 Deep ZakaiJ 를 다음과 같은 데이터에서 평가했습니다:

• 합성 데이터: 알려진 실제 값이 있는 부분 관측 점프 - 확산 과정.
• 금융 데이터: XAU/USD (금 대 달러) 10 분 종가.
• 해양학 데이터: NOAA/NDBC 파고 (WVHT) 관측치.

성능:

• 분포 품질: Deep ZakaiJ 는 CRPS(연속 순위 확률 점수) 및 로그 가능도 측면에서 Latent SDEs, Neural Jump SDEs, Chronos 와 같은 기초 모델 (foundation models) 을 포함한 베이스라인보다 일관되게 우수했습니다.
• 보정: 모델은 잘 보정된 예측 구간을 달성하여 90% 커버리지 (Cov90) 가 명목 수준에 근접했습니다 (예: 합성 데이터 89.0%, XAU/USD 92.9%, NDBC 85.3%). 반면, 많은 베이스라인은 상당한 과소 또는 과대 커버리를 보였습니다.
• 점 정확도: 모델은 MAE 및 RMSE 측면에서 경쟁력을 유지하며, 종종 최첨단 점 예측기들과 일치하거나 약간 개선되었습니다.
• 잠재 회복: 합성 및 정성적 사례 연구에서 추론된 필터는 잠재 상태 변화를 성공적으로 추적하고 체제 변화 (예: 금 가격의 추세 반전) 에 반응하여 해석 가능한 잠재 구조의 추출을 입증했습니다.

중요성 및 주장

이 논문은 Deep ZakaiJ가 원칙적인 확률적 필터링과 현대 딥러닝 간의 격차를 해소한다고 주장합니다. Zakai 방정식을 신경 아키텍처에 직접 내장함으로써 이 모델은 다음과 같은 기능을 제공합니다:

• 현재 신경 점프 모델에서 결여된 기능을 갖춘, 점프가 있는 부분 관측 시스템을 위한 구조화된 추론을 가능하게 합니다.
• 연속 역학과 이산 충격을 분리하는 해석 가능한 잠재 표현을 제공합니다.
• 다른 모델이 실패하는 구조적 변화 하에서도 보정된 예측 구간을 생성하여 우수한 불확실성 정량화를 제공합니다.

저자들은 이 작업을 잠재 체제 및 급격한 불연속성이 특징인 환경 (예: 금융 리스크 관리 및 환경 조기 경보 시스템) 에서 보다 강력한 시계열 예측을 향한 한 걸음으로 위치시킵니다. 그들은 현재 공식이 단변량이며 고정된 잠재 그리드에 의존한다는 한계를 인정하며, 고차원 및 적응형 표현에 대한 향후 연구를 제안합니다.