Adaptive Learned State Estimation based on KalmanNet

Resumo Técnico: Estimação de Estado Adaptativa e Aprendida baseada em KalmanNet

1. Problema e Motivação

Os sistemas avançados de assistência ao condutor (ADAS) e a condução autónoma dependem criticamente da fusão de sensores (Radar, Lidar e Câmera) para obter rastreamento preciso e confiável de objetos.

• Limitação dos Métodos Clássicos: Os filtros de Kalman (KF, EKF, UKF) baseiam-se em modelos físicos e teoria bayesiana, oferecendo interpretabilidade e quantificação de incerteza. No entanto, eles dependem de modelos de ruído e dinâmica predefinidos que muitas vezes não capturam a complexidade e as não-linearidades dos dados do mundo real.
• Limitação dos Métodos Baseados em Dados (E2E): Abordagens puramente baseadas em redes neurais (como Transformers ou RNNs) podem extrair padrões complexos, mas frequentemente carecem de interpretabilidade e garantias de consistência física.
• O Gap de Desempenho: Embora o KalmanNet (uma abordagem híbrida que substitui o cálculo do ganho de Kalman por uma Rede Neural Recorrente - RNN) tenha mostrado resultados superiores em dados simulados, avaliações recentes indicaram desempenho insuficiente e rastreamento instável em dados reais de automóveis. O modelo base falha em aprender as estatísticas específicas dos sensores e as dinâmicas físicas subjacentes em cenários complexos de tráfego.

2. Metodologia: AM-KNet (Adaptive Multi-modal KalmanNet)

Os autores propõem o AM-KNet, uma evolução do KalmanNet projetada especificamente para o ambiente de condução autónoma multi-sensor. A arquitetura combina a estrutura recursiva de predição-atualização do Filtro de Kalman com módulos aprendidos, introduzindo três inovações principais:

A. Arquitetura e Módulos Específicos por Sensor

• Módulos de Medição Específicos: Diferente do KalmanNet original que trata todas as observações de forma homogênea, o AM-KNet possui cabeças (heads) de rede distintas para cada modalidade de sensor (Radar, Lidar, Câmera). Isso permite que a rede aprenda independentemente as características de ruído únicas de cada sensor (ex: alta precisão radial do Radar vs. boa precisão lateral da Câmera).
• Consciência do Estado de Movimento: O sistema recebe informações codificadas sobre o estado de movimento do alvo em relação ao veículo ego (Estacionário, Mesma Faixa, Cruzamento). Essas informações são usadas para "portar" (gate) as características de entrada, permitindo que o filtro se adapte a diferentes comportamentos dinâmicos.
• Modulação de Contexto via Hypernetwork: Inspirado no Adaptive KalmanNet, o AM-KNet utiliza uma hypernetwork que recebe um vetor de contexto rico (tipo de objeto, estado de movimento, pose relativa). Esta rede prediz parâmetros de modulação (ganho e deslocamento) que são aplicados às pré-ativações da rede principal, permitindo que um único modelo se adapte a diversos cenários de tráfego sem necessidade de re-treinamento.

B. Estimação de Covariância e Função de Perda

• Estimação de Covariância (Fórmula de Joseph): Para garantir que a saída de incerteza seja calibrada e fisicamente consistente, o modelo utiliza uma ramificação baseada na Fórmula de Joseph para a atualização da covariância. Em vez de aprender a covariância diretamente de forma solta, o modelo aprende o termo dependente do ruído, enquanto as partes determinísticas são calculadas explicitamente.
• Função de Perda Composta: O treinamento é supervisionado por uma função de perda multi-componente que incorpora priors físicos:
  1. Erro Quadrático Médio (MSE) Normalizado: Ponderado por características do sensor, classe do alvo e estado de movimento.
  2. Perda de Verossimilhança Negativa (NLL) para Erro de Estimação: Supervisiona a covariância do estado ($P$) baseada no erro de estimação.
  3. Perda NLL para Inovação: Supervisiona a covariância da inovação ($S$) baseada no resíduo da medição.
  4. Ponderação de Fluxo (Rate of Change): Um score dinâmico que avalia a consistência entre a mudança medida e a mudança real (ground truth), ajustando o peso da perda para medições inconsistentes.

3. Configuração Experimental

• Datasets: O modelo foi treinado e avaliado em dois conjuntos de dados automotivos reais: nuScenes (Boston/Singapura) e View-of-Delft (VoD) (Holanda).
• Sensores: Fusão de Lidar, Câmera e Radar (onde disponível).
• Benchmarks: Comparado contra o KalmanNet base, o OAFuser (Fusor Adaptativo Online) e o UKF-EOT (Filtro de Kalman Unscented para Objetos Estendidos).
• Métricas: Erro Absoluto Médio (MAE), mediana, desvio padrão, e consistência estatística via NEES (Erro de Estimação Normalizado ao Quadrado) e NIS (Inovação Normalizada ao Quadrado).

4. Resultados Principais

Os resultados demonstram uma melhoria significativa em relação ao KalmanNet base e aos filtros bayesianos clássicos em dados reais:

• Precisão de Estimação:
  • O AM-KNet alcançou o menor MAE em posição e velocidade em ambos os datasets.
  • No nuScenes, reduziu o erro de posição em aproximadamente 50% em comparação ao UKF-EOT e em um fator de 3 em comparação ao OAFuser.
  • Demonstrou superioridade na estimativa de dimensões (extensão do objeto: comprimento e largura), onde os métodos baseados em regras falharam drasticamente (erros de ~3m vs ~0.3m do AM-KNet).
• Consistência e Calibração de Incerteza:
  • O AM-KNet apresentou taxas de consistência (NEES/NIS) muito mais altas e estáveis.
  • Os métodos de base (OAFuser e UKF) exibiram valores de NEES extremamente altos (ex: média de 106.95 e 249.36 no VoD), indicando sobreconfiança severa (o filtro acha que sabe mais do que realmente sabe).
  • O AM-KNet manteve a consistência próxima do ideal (ex: 60-77% dentro da região de aceitação de 90%), provendo estimativas de incerteza mais confiáveis para planejamento de trajetória.
• Adaptabilidade: A modulação de contexto permitiu que o modelo lidasse com a diversidade de classes de objetos e condições de sensores do nuScenes, onde os filtros clássicos degradaram significativamente.

5. Significado e Conclusão

O trabalho preenche a lacuna de desempenho entre os filtros de Kalman baseados em modelos e os métodos puramente aprendidos em dados reais de automotivos.

• Contribuição Chave: A introdução de módulos específicos por sensor e a modulação de contexto permitem que a rede aprenda as nuances físicas e estatísticas de cada modalidade sem perder a estrutura interpretável do Filtro de Kalman.
• Impacto: O AM-KNet oferece uma solução de estado da arte para fusão de sensores em condução autónoma, combinando a precisão de dados com a robustez física e a calibração de incerteza necessária para sistemas de segurança críticos. A capacidade de fornecer estimativas de covariância consistentes é crucial para que os sistemas de planejamento de trajetória tomem decisões seguras em ambientes dinâmicos e imprevisíveis.