Function-Space Priors for Bayesian Neural ODEs with Application to Vessel Trajectory Prediction

기술 요약: 선박 궤적 예측에 적용된 베이지안 뉴럴 ODE를 위한 함수 공간 사전 분포 (Function-Space Priors)

문제 정의
AIS(자동 식별 시스템) 데이터를 이용한 선박 궤적 예측은 해양 상황 인식에 매우 중요하지만, 상당한 어려움에 직면해 있다. AIS 데이터는 불규칙한 샘의 간격, 누락된 보고, 그리고 항행 규칙 및 환경 요인에 의해 구동되는 복잡하고 비선형적인 역학 특성을 갖는다. 정확한 점 예측(point forecast)도 필요하지만, 충돌 위험 평가와 같은 안전이 중요한 과업을 수행하기 위해서는 잘 보정된 불확실성 추정치가 필수적이다.

표준 베이지안 뉴럴 상미분 방정식(Neural ODE)은 뉴럴 벡터 필드 파라미터에 대한 사전 분포를 설정함으로써 연속 시간 모델링과 불확실성 정량화를 제공하는 프레임워크를 제시한다. 그러나 표준 방식은 가중치 공간 사전 분포(weight-space priors, 예: 가중치에 대한 등방성 가우시안 분포)에 의존하며, 이는 선박 역학의 매끄러움(smoothness)이나 공간적 국부성(spatial locality)과 같은 해석 가능한 구조적 특성을 인코딩하는 데 실패한다. 반대로, 함수 공간 사전 분포(function-space priors, 예: 가우시안 프로세스)는 이러한 특성을 인코딩할 수 있지만, 뉴럴 ODE 설정에서 근본적인 문제에 부딪힌다. 즉, 관측되는 양은 궤적(ODE의 해)이지 벡터 필드 자체가 아니라는 점이다. 궤적에 직접 GP 사전 분포를 배치하는 것은 비선형 ODE 솔버를 통해 분포를 전파해야 하므로 해석적으로 다루기 불가능하다. 정적 매핑을 위한 기존의 함수 공간 베이지안 신경망 방법들은 수치적 불안정성 없이 뉴럴 ODE로 직접 전이되지 않는다.

방법론
저자들은 궤적 자체가 아닌, 유한한 측정 지점들에서 평가된 뉴럴 벡터 필드에 가우시안 프로세스(GP) 커널 기반 사전 분포를 직접 부과하는 실용적인 접근 방식을 제안한다.

1. 잠재 ODE 정식화 (Latent ODE Formulation): 선박 역학은 $dx(t)/dt = f_\theta(x(t), t)$인 연속 시간 시스템으로 모델링되며, 여기서 $f_\theta$는 뉴럴 벡터 필드이다. 불확실성은 파라미터 $\theta$에 대한 근사 베이지안 추론을 통해 정량화된다.
2. 확률적 멀티 슈팅 (Probabilistic Multiple Shooting): 길고 불규칙한 궤적을 처리하고 학습 안정성을 확보하기 위해, 저자들은 확률적 멀티 슈팅을 채택한다. 이는 궤적을 학습 가능한 경계 상태를 가진 세그먼트로 분할하며, 소프트 연속성 제약(soft continuity constraints)을 통해 글로벌 시간적 일관성을 유지하면서 세그먼트 간 추론을 분리한다.
3. 함수 공간 정규화 (Function-Space Regularization):
   • 상태 공간 내의 고정된 측정 지점 집합 $Z = \{z^{(m)}\}_{m=1}^M$이 정의된다.
   • 이 지점들에서의 벡터 필드 평가값 $F_Z(\theta)$에 GP 사전 분포가 부과된다: $\text{vec}(F_Z(\theta)) \sim \mathcal{N}(0, K_Z \otimes I_d)$.
   • 이는 변분 목적 함수(variational objective)에 추가되는 정규화 항 $R_{FS}(\theta)$를 유도한다. 이 항은 (직접적인 궤적 수준의 사전 분포를 요구하지 않으면서) 벡터 필드가 GP 사전 분포가 암시하는 구조(예: 매끄러움)로부터 벗어나는 정도를 처벌한다.
   • 저자들은 이것이 완전한 궤적 수준의 GP 사전 분포보다는 약한 조건이지만, 다루기 쉽고 해석 가능한 귀납적 편향(inductive bias)을 제공한다고 언급한다.
4. 측정 지점 선택: 두 가지 전략이 조사되었다: (i) 훈련 궤적 상태에 대한 $k$-평균 클러스터링, (ii) 회전 또는 감속 이벤트 근처의 상태를 오버샘플링하는 기동 가중 샘플링(maneuver-weighted sampling).
5. 최적화: 목적 함수는 표준 가중치 공간 증거 하한(ELBO)과 함수 공간 정규화 항을 결합한다. 저자들은 이를 일반화된 변분 추론(Generalized Variational Inference)으로 해석하며, 이는 파라미터 패밀리에 대한 직접적인 함수 공간 사전 분포와 관련된 무한한 KL 발산 문제를 피할 수 있게 한다.

주요 기여

1. 베이지안 뉴럴 ODE를 위한 함수 공간 정규화: 본 논문은 GP 커널 기반 사전 분포를 뉴럴 ODE의 변분 목적 함수에 통합하는 방법을 소개한다. 이를 통해 신경망 파라미터화의 유연성을 유지하면서도 학습된 역학에 대한 해석 가능한 구조적 편향(예: 매끄러움)을 주입할 수 있다.
2. 경험적 비교: 저자들은 제안된 방법론을 표준 가중치 공간 베이지안 뉴럴 ODE 및 GPODE 베이스라인과 실제 AIS 데이터를 사용하여 체계적으로 비교한다.
3. 측정 지점 설계 분석: 측정 지점 $Z$를 선택하는 실질적인 전략을 조사하여, 동적 이벤트(기동) 근처에 지점을 집중시키는 것이 예측 품질을 향상시킨다는 것을 입증한다.

실험 결과
방법론은 1,589개의 선박 궤적을 포함하는 뉴욕/뉴저지 항만 지역(2024년 1월)의 AIS 데이터로 평가되었다. 프로토콜은 짧은 히스토리 윈도우(10~20분)와 10분의 예측 지평(prediction horizon)을 가진 궤적당 추론을 포함한다.

• 예측 정확도: 제안된 방법의 두 변형(FS-BayesNODE) 모두 GPODE보다 점 예측 정확도에서 유의미하게 우수한 성능을 보였다. 기동 가중(maneuver-weighted) 변형은 가장 낮은 평균 변위 오차(ADE: 2.66 km)와 최종 변위 오차(FDE: 3.82 km)를 달성하였으며, GPODE 대비 오차를 약 40% 감소시켰다.
• 불확실성 보정: 모든 베이지안 뉴럴 ODE 변형은 GPODE에 비해 확률적 예측 지표(NLL 및 CRPS)에서 실질적으로 더 나은 성능을 보였다. 특히, 함수 공간 정규화는 GPODE 대비 연속 랭크 확률 점수(CRPS)를 약 69% 개선했다.
• 정성적 분석: 예측 불확실성에 대한 시각적 검사 결과, GPODE는 예측 지평이 지나감에 따라 불확실성 밴드가 급격하고 과도하게 확장되는 모습을 보였다. 반면, 제안된 방법은 불확실성이 매끄럽고 점진적으로 증가하여, 보다 현실적인 인식론적 불확실성(epistemic uncertainty)의 증가를 반영하였다.
• 측정 지점: 기동 가중 선택 전략이 $k$-평균 전략보다 우수한 성능을 보였으며, 이는 동적 이벤트 근처에 측정 지점을 배치하는 것이 더 정보가 풍부한 정규화를 제공함을 확인시켜 준다.

의의 및 주장
본 논문은 커널 기반 함수 공간 정규화 항을 표준 가중치 공간 변분 목적 함수에 보강함으로써, 베이지안 뉴럴 ODE의 추론 과정에 직접 해석 가능한 구조적 편향을 주입할 수 있다고 주장한다. 저자들은 이 접근 방식이 가중치 공간 사전 분포의 한계(구조적 인코딩의 부재)와 뉴럴 ODE 설정에서 직접적인 궤적 수준 GP 사전 분포의 다루기 힘든 문제를 성공적으로 해결했다고 단언한다.

이 연구는 현실적인 AIS 조건(불규칙한 샘플링, 누락된 데이터) 하에서 선박 궤적 예측의 예측 정확도와 불확실성 보정을 모두 개선함을 보여준다. 저자들은 이 방식이 GPODE의 입증 지점(inducing points)에 따른 3차 계산 복잡도를 피하면서도 더 잘 보정된 불확실성 추정치를 제공하는, 함수 공간 사전 분포를 뉴럴 ODE 설정에 적용한 첫 번째 경험적 탐색임을 강조한다.