Function-Space Priors for Bayesian Neural ODEs with Application to Vessel Trajectory Prediction

Resumen Técnico: Priores de Espacio de Funciones para Redes Neuronales de ODEs Bayesianas con Aplicación a la Predicción de Trayectorias de Embarcaciones

Declaración del Problema
La predicción de trayectorias de embarcaciones utilizando datos del Sistema de Identificación Automática (AIS) es crítica para la conciencia situacional marítima, pero enfrenta desafíos significativos. Los datos de AIS se caracterizan por un muestreo irregular, informes faltantes y dinámicas complejas y no lineales impulsadas por reglas de navegación y factores ambientales. Si bien los pronósticos puntuales precisos son necesarios, la toma de decisiones marítimas también requiere estimaciones de incertidumbre bien calibradas para gestionar tareas críticas de seguridad, como la evaluación del riesgo de colisión.

Las Redes Neuronales de ODEs Bayesianas (Neural ODEs) estándar ofrecen un marco para el modelado en tiempo continuo con cuantificación de la incertidumbre mediante la imposición de priores sobre los parámetros del campo vectorial neuronal. Sin embargo, el enfoque estándar se basa en priores de espacio de pesos (por ejemplo, distribuciones gaussianas isotrópicas sobre los pesos), que no logran codificar propiedades estructurales interpretables de la dinámica de las embarcaciones, tales como la suavidad y la localidad espacial. Por el contrario, los priores de espacio de funciones (por ejemplo, Procesos Gaussianos) pueden codificar estas propiedades, pero enfrentan un desafío fundamental en el entorno de las Neural ODEs: la cantidad observable es la trayectoria (la solución de la ODE), no el campo vectorial en sí mismo. Imponer un prior de GP directamente sobre las trayectorias requiere la propagación de distribuciones a través de un resolvedor de ODE no lineal, lo cual es analíticamente intratable. Los métodos existentes de redes neuronales bayesianas de mapeo de función para mapeos estáticos no se transfieren directamente a las Neural ODEs sin inestabilidad numérica.

Metodología
Los autores proponen un enfoque práctico que impone un prior basado en el kernel de un Proceso Gaussiano (GP) directamente sobre la evaluación del campo vectorial neuronal en un conjunto finito de puntos de medición, en lugar de hacerlo sobre las trayectorias mismas.

1. Formulación de ODE Latente: La dinámica de las embarcaciones se modela como un sistema de tiempo continuo $dx(t)/dt = f_\theta(x(t), t)$, donde $f_\theta$ es un campo vectorial neuronal. La incertidumbre se cuantifica mediante inferencia bayesiana aproximada sobre los parámetros $\theta$.
2. Disparo Múltiple Probabilístico (Probabilistic Multiple Shooting): Para manejar trayectorias largas e irregulares y asegurar la estabilidad del entrenamiento, los autores emplean el disparo múltiple probabilístico. Esto particiona la trayectoria en segmentos con estados de frontera aprendibles, desacoplando la inferencia entre segmentos mientras mantiene la consistencia temporal global mediante restricciones de continuidad suave.
3. Regularización de Espacio de Funciones:
   • Se define un conjunto fijo de puntos de medición $Z = \{z^{(m)}\}_{m=1}^M$ en el espacio de estados.
   • Se impone un prior de GP sobre las evaluaciones del campo vectorial $F_Z(\theta)$ en estos puntos: $\text{vec}(F_Z(\theta)) \sim \mathcal{N}(0, K_Z \otimes I_d)$.
   • Esto induce un regularizador $R_{FS}(\theta)$ que se añade al objetivo variacional. Este término penaliza las desviaciones del campo vectorial respecto a la estructura implicada por el prior de GP (por ejemplo, la suavidad) sin requerir un prior de nivel de trayectoria que sea tratable.
   • Los autores señalan que, si bien esta es una condición más débil que un prior de GP completo a nivel de trayectoria, proporciona un sesgo inductivo tratable e interpretable.
4. Selección de Puntos de Medición: Se investigan dos estrategias para seleccionar $Z$: (i) agrupamiento por $k$-means en los estados de las trayectorias de entrenamiento, y (ii) muestreo ponderado por maniobras que sobremuestrea estados cercanos a eventos de giro o desaceleración.
5. Optimización: El objetivo combina el ELBO estándar de espacio de pesos con el regularizador de espacio de funciones. Los autores interpretan esto como Inferencia Variacional Generalizada, evitando los problemas de divergencia de KL infinita asociados con los priores directos de espacio de funciones en familias paramétricas.

Contribuciones Clave

1. Regularización de Espacio de Funciones para Redes Neuronales de ODEs Bayesianas: El artículo introduce un método para incorporar priores basados en kernels de Procesos Gaussianos en el objetivo variacional de las Neural ODEs. Esto permite un sesgo estructural interpretable (por ejemplo, suavidad) en la dinámica aprendida, manteniendo la flexibilidad de las parametrizaciones de redes neuronales.
2. Comparación Empírica: Los autores comparan sistemáticamente su método propuesto contra las Neural ODEs Bayesianas de espacio de pesos estándar y los baselines de GPODE utilizando datos reales de AIS.
3. Análisis del Diseño de Puntos de Medición: El estudio investiga estrategias prácticas para seleccionar los puntos de medición, demostrando que concentrar los puntos cerca de eventos dinámicos (maniobras) mejora la calidad de la predicción.

Resultados Experimentales
El método fue evaluado con datos de AIS de la región del puerto de Nueva York/Nueva Jersey (enero de 2024), involucrando 1,589 trayectorias de embarcaciones. El protocolo consistió en inferencia por trayectoria con ventanas de historial cortas (10–20 minutos) y un horizonte de predicción de 10 minutos.

• Precisión Predictiva: Ambas variantes del método propuesto (FS-BayesNODE) superaron significativamente a GPODE en la precisión de la predicción puntual. La variante ponderada por maniobras logró los errores más bajos de Desplazamiento Promedio (ADE: 2.66 km) y de Desplazamiento Final (FDE: 3.82 km), reduciendo el error en aproximadamente un 40% en comparación con GPODE.
• Calibración de la Incertidumbre: Todas las variantes de Neural ODEs Bayesianas demostraron un desempeño sustancialmente mejor en las métricas de pronóstico probabilístico (NLL y CRPS) en comparación con GPODE. Específicamente, el regularizador de espacio de funciones mejoró el Puntaje de Probabilidad Clasificado Continuamente (CRPS) en aproximadamente un 69% respecto a GPODE.
• Análisis Cualitativo: La inspección visual de la incertidumbre predictiva mostró que GPODE produjo bandas de incertidumbre que se expandían de forma abrupta y excesiva sobre el horizonte de predicción. En contraste, el método propuesto produjo una incertidumbre que crecía de forma suave y gradual, reflejando un aumento más realista de la incertidumbre epistémica.
• Puntos de Medición: La estrategia de selección ponderada por maniobras superó a la estrategia de $k$-means, confirmando que colocar puntos de medición cerca de eventos dinámicos proporciona una regularización más informativa.

Significancia y Reivindicaciones
El artículo sostiene que, al aumentar el objetivo variacional estándar de espacio de pesos con un regularizador de espacio de funciones basado en kernels, es posible inyectar un sesgo estructural interpretable directamente en el procedimiento de inferencia de las Neural ODEs Bayesianas. Los autores afirman que este enfoque aborda con éxito las limitaciones de los priores de espacio de pesos (falta de codificación estructural) y la intratabilidad de los priores de GP directos a nivel de trayectoria en entornos de ODE.

El trabajo demuestra que este enfoque práctico mejora tanto la precisión predictiva como la calibración de la incertidumbre para la predicción de trayectorias de embarcaciones bajo condiciones realistas de AIS (muestreo irregular, datos faltantes). Los autores posicionan este trabajo como la primera exploración empírica de los priores de espacio de funciones en el entorno de las Neural ODEs, ofreciendo una alternativa escalable a las GPODEs que evita el escalamiento computacional cúbico con puntos de inducción, proporcionando al mismo tiempo estimaciones de incertidumbre mejor calibradas.