Function-Space Priors for Bayesian Neural ODEs with Application to Vessel Trajectory Prediction

Technische Samenvatting: Function-Space Priors voor Bayesian Neural ODEs met Toepassing op Voertuigtrajectvoorspelling

Probleemstelling
Het voorspellen van trajecten van schepen met behulp van Automatic Identification System (AIS)-gegevens is cruciaal voor maritiem situationeel bewustzijn, maar staat voor aanzienlijke uitdagingen. AIS-gegevens worden gekenmerkt door onregelmatige bemonstering, ontbrekende rapportages en complexe, niet-lineaire dynamiek die wordt gedreven door navigatieregels en omgevingsfactoren. Hoewel nauwkeurige puntvoorspellingen noodzakelijk zijn, vereist maritieme besluitvorming ook goed gekalibreerde onzekheidsschattingen om veiligheidskritische taken zoals risicobeoordeling bij aanvaringen aan te kunnen.

Standaard Bayesian Neural Ordinary Differential Equations (Neural ODEs) bieden een raamwerk voor modellering in continue tijd met onzekheidskwantificatie door priors te plaatsen over de parameters van de neurale vectorvelden. Echter, de standaardbenadering vertrouwt op weight-space priors (bijv. isotrope Gaussische verdelingen over gewichten), die er niet in slagen om interpreteerbare structurele eigenschappen van de scheepsdynamiek, zoals gladheid (smoothness) en ruimtelijke lokaliteit, te coderen. Daarentegen kunnen function-space priors (bijv. Gaussian Processes) deze eigenschappen wel coderen, maar zij kampen met een fundamentele uitdaging in de Neural ODE-setting: de observeerbare grootheid is het traject (de ODE-oplossing), niet het vectorveld zelf. Het direct plaatsen van een GP-prior op trajecten vereist het propageren van verdelingen door een niet-lineaire ODE-solver, wat analytisch onhandelbaar is. Bestaande function-space Bayesian neural network-methoden voor statische mapping laten zich niet direct vertalen naar Neural ODEs zonder numerieke instabiliteit.

Methodologie
De auteurs stellen een praktische benadering voor waarbij een Gaussian Process (GP) kernel-gebaseerde prior direct op het neurale vectorveld wordt opgelegd op een eindige verzameling meetpunten, in plaats van op de trajecten zelf.

1. Latente ODE-formulering: De scheepsdynamiek wordt gemodelleerd als een continu-tijd systeem $dx(t)/dt = f_\theta(x(t), t)$, waarbij $f_\theta$ een neuraal vectorveld is. Onzekerheid wordt gekwantificeerd via benaderende Bayesiaanse inferentie op de parameters $\theta$.
2. Probabilistic Multiple Shooting: Om lange, onregelmatige trajecten te verwerken en de trainingsstabiliteit te waarborgen, maken de auteurs gebruik van probabilistic multiple shooting. Dit verdeelt het traject in segmenten met leerbare randtoestanden, waardoor inferentie over segmenten wordt ontkoppeld terwijl de globale temporele consistentie behouden blijft via zachte continuïteitsrestricties.
3. Function-Space Regularisatie:
   • Een vaste verzameling meetpunten $Z = \{z^{(m)}\}_{m=1}^M$ wordt gedefinieerd in de toestandsruimte.
   • Een GP-prior wordt opgelegd op de evaluaties van het vectorveld $F_Z(\theta)$ op deze punten: $\text{vec}(F_Z(\theta)) \sim \mathcal{N}(0, K_Z \otimes I_d)$.
   • Dit induceert een regularisator $R_{FS}(\theta)$ die wordt toegevoegd aan de variationele doelfunctie. Deze term straft afwijkingen van het vectorveld van de structuur die door de GP-prior wordt geïmpliceerd (bijv. gladheid) zonder dat een tractabele traject-niveau prior vereist is.
   • De auteurs merken op dat hoewel dit een zwakkere conditie is dan een volledige traject-niveau GP-prior, het een tractabele en interpreteerbare inductieve bias biedt.
4. Selectie van Meetpunten: Twee strategieën worden onderzocht voor het selecteren van $Z$: (i) $k$-means clustering op trainings-trajecttoestanden, en (ii) manoeuvre-gewogen bemonstering die toestanden nabij draai- of vertragingsgebeurtenissen oversamplet.
5. Optimalisatie: De doelfunctie combineert de standaard weight-space Evidence Lower Bound (ELBO) met de function-space regularisator. De auteurs interpreteren dit als Generalized Variational Inference, waarmee ze de problemen met oneindige KL-divergentie vermijden die geassocieerd worden met directe function-space priors op parametrische families.

Kernbijdragen

1. Function-Space Regularisatie voor Bayesian Neural ODEs: Het artikel introduceert een methode om kernel-gebaseerde function-space priors in de variationele doelfunctie van Neural ODEs te integreren. Dit maakt het mogelijk om een interpreteerbare structurele bias (bijv. gladheid) in te brengen in de geleerde dynamiek, terwijl de flexibiliteit van neurale netwerk-parametrisaties behouden blijft.
2. Empirische Vergelijking: De auteurs vergelijken hun voorgestelde methode systematisch met standaard weight-space Bayesian Neural ODEs en GPODE-baselines met behulp van echte AIS-gegevens.
3. Analyse van de Ontwerp van Meetpunten: De studie onderzoekt praktische strategieën voor het selecteren van meetpunten en toont aan dat het concentreren van punten nabij dynamische gebeurtenissen (manoeuvres) de voorspellingskwaliteit verbetert.

Experimentele Resultaten
De methode werd geëvalueerd op AIS-gegevens uit de regio New York/New Jersey Harbor (januari 2024), bestaande uit 1.589 voertuigtrajecten. Het protocol omvatte per-traject inferentie met korte geschiedenissen van 10–20 minuten en een voorspellingshorizon van 10 minuten.

• Voorspellende Nauwkeurigheid: Beide varianten van de voorgestelde methode (FS-BayesNODE) presteerden aanzienlijk beter dan GPODE op het gebied van puntvoorspellingsnauwkeurigheid. De manoeuvre-gewogen variant bereikte de laagste Average Displacement Error (ADE: 2,66 km) en Final Displacement Error (FDE: 3,82 km), wat een foutreductie van ongeveer 40% betekent ten opzichte van GPODE.
• Onzekerheidskalibratie: Alle Bayesian Neural ODE-varianten vertoonden aanzienlijk betere probabilistische voorspellingsmetrieken (NLL en CRPS) vergeleken met GPODE. Specifiek verbeterde de function-space regularisator de Continuous Ranked Probability Score (CRPS) met ongeveer 69% ten opzichte van GPODE.
• Kwalitatieve Analyse: Visuele inspectie van de voorspellende onzekerheid toonde aan dat GPODE onzekerheidsbanden produceerde die abrupt en excessief uitzetten over de voorspellingshorizon. In tegenstelling hiertoe produceerde de voorgestelde methode een onzekerheid die vloeiend en geleidelijk groeide, wat een realistischere toename van epistemische onzekerheid weerspiegelt.
• Meetpunten: De manoeuvre-gewogen selectiestrategie presteerde beter dan de $k$-means strategie, wat bevestigt dat het plaatsen van meetpunten nabij dynamische gebeurtenissen meer informatieve regularisatie biedt.

Betekenis en Claims
Het artikel claimt dat door de standaard weight-space variationele doelfunctie aan te vullen met een kernel-gebaseerde function-space regularisator, het mogelijk is om een interpreteerbare structurele bias direct in de inferentieprocedure van Bayesian Neural ODEs te injecteren. De auteurs stellen dat deze benadering succesvol de beperkingen van weight-space priors (gebrek aan structurele codering) en de onhandelbaarheid van directe traject-niveau GP-priors in de context van ODE's aanpakt.

Het werk toont aan dat deze praktische benadering zowel de voorspellende nauwkeurigheid als de onzekerheidskalibratie verbetert voor de voorspelling van scheepstrajecten onder realistische AIS-omstandigheden (onregelmatige bemonstering, ontbrekende gegevens). De auteurs positioneren dit als de eerste empirische verkenning van function-space priors in de Neural ODE-setting, wat een schaalbare alternatief biedt voor GPODEs dat de kubische computationele schaling met inducing points vermijdt en tegelijkertijd beter gekalibreerde onzekheidsschattingen levert.