Function-Space Priors for Bayesian Neural ODEs with Application to Vessel Trajectory Prediction

Resumo Técnico: Priores de Espaço de Função para Neural ODEs Bayesianas com Aplicação à Predição de Trajetórias de Embarcações

Definição do Problema
A predição de trajetórias de embarcações utilizando dados do Sistema de Identificação Automática (AIS) é crítica para a consciência situacional marítima, mas enfrenta desafios significativos. Os dados de AIS são caracterizados por amostragem irregular, relatórios ausentes e dinâmicas complexas e não lineares, impulsionadas por regras de navegação e fatores ambientais. Embora previsões pontuais precisas sejam necessárias, a tomada de decisão marítima também exige estimativas de incerteza bem calibradas para lidar com tarefas críticas de segurança, como a avaliação de risco de colisão.

As Neural ODEs Bayesianas padrão oferecem um arcabouço para modelagem em tempo contínuo com quantificação de incerteza, ao aplicar priores sobre os parâmetros do campo vetorial neural. No entanto, a abordagem padrão baseia-se em priores de espaço de pesos (ex: distribuições gaussianas isotrópicas sobre os pesos), que falham em codificar propriedades estruturais interpretáveis da dinâmica das embarcações, como suavidade e localidade espacial. Por outro lado, priores de espaço de função (ex: Processos Gaussianos) podem codificar essas propriedades, mas enfrentam um desafio fundamental no contexto de Neural ODEs: a quantidade observável é a trajetória (a solução da ODE), e não o próprio campo vetorial. Aplicar um prior de GP diretamente nas trajetórias requer a propagação de distribuições através de um solver de ODE não linear, o que é analiticamente intratável. Métodos existentes de redes neurais bayesianas de espaço de função para mapeamentos estáticos não se transferem diretamente para Neural ODEs sem instabilidade numérica.

Metodologia
Os autores propõem uma abordagem prática que impõe um prior baseado em kernel de Processo Gaussiano (GP) diretamente no campo vetorial neural avaliado em um conjunto finito de pontos de medição, em vez de aplicá-lo às trajetórias em si.

1. Formulação de ODE Latente: A dinâmica das embarcações é modelada como um sistema de tempo contínuo $dx(t)/dt = f_\theta(x(t), t)$, onde $f_\theta$ é um campo vetorial neural. A incerteza é quantificada via inferência bayesiana aproximada nos parâmetros $\theta$.
2. Multiple Shooting Probabilístico: Para lidar com trajetórias longas e irregulares e garantir a estabilidade do treinamento, os autores empregam multiple shooting probabilístico. Isso particiona a trajetória em segmentos com estados de fronteira aprendíveis, desacoplando a inferência entre os segmentos enquanto mantém a consistência temporal global através de restrições de continuidade suave (soft continuity constraints).
3. Regularização de Espaço de Função:
   • Um conjunto fixo de pontos de medição $Z = \{z^{(m)}\}_{m=1}^M$ é definido no espaço de estados.
   • Um prior de GP é imposto sobre as avaliações do campo vetorial $F_Z(\theta)$ nesses pontos: $\text{vec}(F_Z(\theta)) \sim \mathcal{N}(0, K_Z \otimes I_d)$.
   • Isso induz um regularizador $R_{FS}(\theta)$ adicionado ao objetivo variacional. Este termo penaliza desvios do campo vetorial em relação à estrutura implicada pelo prior de GP (ex: suavidade) sem exigir um prior de trajetória completo e tratável.
   • Os autores observam que, embora esta seja uma condição mais fraca do que um prior de GP de nível de trajetória completo, ela fornece um viés indutivo tratável e interpretável.
4. Seleção de Pontos de Medição: Duas estratégias são investigadas para a seleção de $Z$: (i) agrupamento por $k$-means nos estados das trajetórias de treinamento, e (ii) amostragem ponderada por manobras, que realiza o sobreamostragem de estados próximos a eventos de curva ou desaceleração.
5. Otimização: O objetivo combina o ELBO padrão de espaço de pesos com o regularizador de espaço de função. Os autores interpretam isso como Inferência Variacional Generalizada, evitando problemas de divergência KL infinita associados a priores diretos de espaço de função em famílias paramétricas.

Principais Contribuições

1. Regularização de Espaço de Função para Neural ODEs Bayesianas: O artigo introduz um método para incorporar priores baseados em kernels de GP no objetivo variacional de Neural ODEs. Isso permite um viés estrutural interpretável (ex: suavidade) nas dinâmicas aprendidas, mantendo a flexibilidade das parametrizações de redes neurais.
2. Comparação Empírica: Os autores comparam sistematicamente seu método proposto contra Neural ODEs Bayesianas de espaço de pesos padrão e baselines de GPODE utilizando dados reais de AIS.
3. Análise de Design de Pontos de Medição: O estudo investiga estratégias práticas para a seleção de pontos de medição, demonstrando que concentrar pontos próximos a eventos dinâmicos (manobras) melhora a qualidade da predição.

Resultos Experimentais
O método foi avaliado em dados de AIS da região do porto de Nova York/Nova Jersey (janeiro de 2024), envolvendo 1.589 trajetórias de embarcações. O protocolo envolveu inferência por trajetória com janelas de histórico curtas (10–20 minutos) e um horizonte de predição de 10 minutos.

• Acurácia Preditiva: Ambas as variantes do método proposto (FS-BayesNODE) superaram significativamente o GPODE em acurácia de predição pontual. A variante ponderada por manobras alcançou o menor Erro de Deslocamento Médio (ADE: 2,66 km) e Erro de Deslocamento Final (FDE: 3,82 km), reduzindo o erro em aproximadamente 40% em comparação ao GPODE.
• Calibração de Incerteza: Todas as variantes de Neural ODE bayesiana demonstraram métricas de previsão probabilística (NLL e CRPS) substancialmente melhores do que o GPODE. Especificamente, o regularizador de espaço de função melhorou o Continuous Ranked Probability Score (CRPS) em cerca de 69% em relação ao GPODE.
• Análise Qualitativa: A inspeção visual da incerteza preditiva mostrou que o GPODE produziu bandas de incerteza que se expandiam de forma abrupta e excessiva ao longo do horizonte de predição. Em contraste, o método proposto produziu uma incerteza que crescia de forma suave e gradual, refletindo um aumento mais realista da incerteza epistêmica.
• Pontos de Medição: A estratégia de seleção ponderada por manobras superou a estratégia $k$-means, confirmando que posicionar pontos de medição próximos a eventos dinâmicos fornece uma regularização mais informativa.

Significância e Alegações
O artigo afirma que, ao aumentar o objetivo variacional padrão de espaço de pesos com um regularizador de espaço de função baseado em kernel, é possível injetar um viés estrutural interpretável diretamente no procedimento de inferência de Neural ODEs Bayesianas. Os autores afirmam que esta abordagem aborda com sucesso as limitações dos priores de espaço de peso (falta de codificação estrutural) e a intratabilidade de priores de GP diretos de nível de trajetória em contextos de ODE.

O trabalho demonstra que esta abordagem prática melhora tanto a acurácia preditiva quanto a calibração da incerteza para a predição de trajetórias de embarcações sob condições realistas de AIS (amostragem irregular, dados ausentes). Os autores posicionam este trabalho como a primeira exploração empírica de priores de espaço de função no contexto de Neural ODE, oferecendo uma alternativa escalável aos GPODEs que evita o escalonamento computacional cúbico com pontos de indução, ao mesmo tempo que fornece estimativas de incerteza melhor calibradas.