Function-Space Priors for Bayesian Neural ODEs with Application to Vessel Trajectory Prediction

Sintesi Tecnica: Prior nello Spazio delle Funzioni per le Neural ODE Bayesiane con Applicazione alla Predizione di Traiettorie di Navi

Definizione del Problema
La predizione delle traiettorie delle navi utilizzando i dati del Sistema di Identificazione Automatica (AIS) è fondamentale per la consapevolezza situazionale marittima, ma affronta sfide significative. I dati AIS sono caratterizzati da campionamento irregolare, report mancanti e dinamiche complesse e non lineari guidate da regole di navigazione e fattori ambientali. Sebbene le previsioni puntuali accurate siano necessarie, il processo decisionale marittimo richiede anche stime dell'incertezza ben calibrate per gestire compiti critici per la sicurezza, come la valutazione del rischio di collisione.

Le standard Bayesian Neural Ordinary Differential Equations (Neural ODEs) offrono un quadro per la modellazione in tempo continuo con quantificazione dell'incertezza, ponendo dei prior sulle distribuzioni dei parametri del campo vettoriale neurale. Tuttavia, l'approccio standard si basa su prior nello spazio dei pesi (ad esempio, distribuzioni gaussiane isotrope sui pesi), che non riescono a codificare proprietà strutturali interpretabili della dinamica delle navi, come la regolarità (smoothness) e la località spaziale. Al contrario, i prior nello spazio delle funzioni (ad esempio, i Processi Gaussiani) possono codificare queste proprietà, ma affrontano una sfida fondamentale nell'ambito delle Neural ODE: la quantità osservabile è la traiettoria (la soluzione dell'ODE), non il campo vettoriale stesso. Porre un prior GP direttamente sulle traiettorie richiede la propagazione delle distribuzioni attraverso un risolutore di ODE non lineare, il che è analiticamente intrattabile. I metodi esistenti di reti neurali bayesiane per mappature statiche non si trasferiscono direttamente alle Neural ODE senza instabilità numerica.

Metodologia
Gli autori propongono un approccio pratico che impone un prior basato su kernel di Processi Gaussiani (GP) direttamente sul campo vettoriale neurale valutato in un insieme finito di punti di misurazione, piuttosto che sulle traiettorie stesse.

1. Formulazione ODE Latente: La dinamica delle navi è modellata come un sistema a tempo continuo $dx(t)/dt = f_\theta(x(t), t)$, dove $f_\theta$ è un campo vettoriale neurale. L'incertezza viene quantificata tramite inferenza bayesiana approssimata sui parametri $\theta$.
2. Multiple Shooting Probabilistico: Per gestire traiettorie lunghe e irregolari e garantire la stabilità dell'addestramento, gli autori impiegano il multiple shooting probabilistico. Questo suddivide la traiettoria in segmenti con stati di confine apprendibili, disaccoppiando l'inferenza tra i segmenti pur mantenendo la coerenza temporale globale attraverso vincoli di continuità "soft".
3. Regolarizzazione nello Spazio delle Funzioni:
   • Viene definito un insieme fisso di punti di misurazione $Z = \{z^{(m)}\}_{m=1}^M$ nello spazio degli stati.
   • Un prior GP è imposto sulle valutazioni del campo vettoriale $F_Z(\theta)$ in questi punti: $\text{vec}(F_Z(\theta)) \sim \mathcal{N}(0, K_Z \otimes I_d)$.
   • Ciò induce un regolarizzatore $R_{FS}(\theta)$ aggiunto all'obiettivo variazionale. Questo termine penalizza le deviazioni del campo vettoriale dalla struttura implicata dal prior GP (ad esempio, la regolarità) senza richiedere un prior a livello di traiettoria trattabile.
   • Gli autori osservano che, sebbene questa sia una condizione più debole rispetto a un pieno prior GP a livello di traiettoria, fornisce un bias induttivo trattabile e interpretabile.
4. Selezione dei Punti di Misurazione: Vengono investigate due strategie per la selezione di $Z$: (i) clustering $k$-means sugli stati delle traiettorie di addestramento, e (ii) campionamento pesato sulle manovre che sovracampiona gli stati vicino a eventi di virata o decelerazione.
5. Ottimizzazione: L'obiettivo combina lo standard ELBO (Evidence Lower Bound) nello spazio dei pesi con il regolarizzatore nello spazio delle funzioni. Gli autori interpretano questo approccio come Inferenza Variazionale Generalizzata, evitando i problemi di divergenza KL infinita associati ai diretti prior nello spazio delle funzioni su famiglie parametriche.

Contributi Chiave

1. Regolarizzazione nello Spazio delle Funzioni per le Bayesian Neural ODE: Il documento introduce un metodo per incorporare i prior basati su kernel GP nell'obiettivo variazionale delle Neural ODE. Ciò consente di inserire un bias strutturale interpretabile (ad esempio, la regolarità) nella dinamica appresa, mantenendo al contempo la flessibilità delle parametrizzazioni delle reti neurali.
2. Confronto Empirico: Gli autori confrontano sistematicamente il metodo proposto contro gli standard weight-space Bayesian Neural ODE e i baseline GPODE utilizzando dati AIS reali.
3. Analisi del Design dei Punti di Misurazione: Lo studio investiga strategie pratiche per la selezione di $Z$, dimostrando che concentrare i punti di misurazione vicino agli eventi dinamici (manovre) migliora la qualità della predizione.

Risultati Sperimentali
Il metodo è stato valutato su dati AIS della regione New York/New Jersey Harbor (gennaio 2024), coinvolgendo 1.589 traiettorie di navi. Il protocollo prevedeva l'inferenza per singola traiettoria con finestre di storia brevi (10–20 minuti) e un orizzonte di predizione di 10 minuti.

• Accuratezza Predittiva: Entrambe le varianti del metodo proposto (FS-BayesNODE) hanno superato significativamente GPODE in termini di accuratezza della predizione puntuale. La variante pesata sulle manovre ha ottenuto l'errore di spostamento medio più basso (ADE: 2,66 km) e l'errore di spostamento finale più basso (FDE: 3,82 km), riducendo l'errore di circa il 40% rispetto a GPODE.
• Calibrazione dell'Incertezza: Tutte le varianti di Neural ODE bayesiane hanno dimostrato metriche di previsione probabilistica (NLL e CRPS) sostanzialmente migliori rispetto a GPODE. Nello specifico, il regolarizzatore nello spazio delle funzioni ha migliorato il Continuous Ranked Probability Score (CRPS) di circa il 69% rispetto a GPODE.
• Analisi Qualitativa: L'ispezione visiva dell'incertezza predittiva ha mostrato che GPODE produceva bande di incertezza che si espandevano in modo brusco ed eccessivo sull'orizzonte di predizione. Al contrario, il metodo proposto ha prodotto un'incertezza che cresceva in modo liscio e graduale, riflettendo un aumento più realistico dell'incertezza epistemica.
• Punti di Misurazione: La strategia di selezione pesata sulle manovre ha superato la strategia $k$-means, confermando che posizionare i punti di misurazione vicino agli eventi dinamici fornisce una regolarizzazione più informativa.

Significatività e Rivendicazioni
Il documento sostiene che, aumentando l'obiettivo variazionale standard nello spazio dei pesi con un regolarizzatore nello spazio delle funzioni basato su kernel, è possibile iniettare un bias strutturale interpretabile direttamente nella procedura di inferenza delle Neural ODE bayesiane. Gli autori affermano che questo approccio affronta con successo i limiti dei prior nello spazio dei pesi (mancanza di codifica strutturale) e l'intrattabilità dei diretti prior GP a livello di traiettoria nelle impostazioni ODE.

Il lavoro dimostra che questo approccio pratico migliora sia l'accuratezza predittiva che la calibrazione dell'incertezza per la predizione delle traiettorie delle navi in condizioni AIS realistiche (campionamento irregolare, dati mancanti). Gli autori posizionano questo lavoro come la prima esplorazione empirica di prior nello spazio delle funzioni nel contesto delle Neural ODE, offrendo un'alternativa scalabile alle GPODE che evita la scalabilità computazionale cubica con i punti di induzione, fornendo al contempo stime dell'incertezza meglio calibrate.