TrajMamba: An Ego-Motion-Guided Mamba Model for Pedestrian Trajectory Prediction from an Egocentric Perspective

Resumo Técnico: TrajMamba

1. Problema e Motivação

A previsão de trajetórias futuras de pedestres é fundamental para a segurança em veículos autônomos e robótica móvel. A maioria das pesquisas atuais foca em uma perspectiva de "vista de pássaro" (bird's-eye view), capturada por câmeras de vigilância ou drones. No entanto, veículos autônomos e robôs operam a partir de uma perspectiva egocêntrica (primeira pessoa), onde a câmera se move junto com o agente (o veículo).

O desafio central neste cenário é modelar o movimento relativo complexo entre a câmera (ego-veículo) e o pedestre rastreado. O movimento aparente observado na imagem é a projeção superposta do movimento intrínseco do pedestre e do movimento do veículo. Métodos existentes frequentemente fundem essas duas fontes de movimento (pedestre e ego) em um espaço latente unificado durante a codificação, o que resulta em uma modelagem ambígua da relação dinâmica entre eles, dificultando a análise explícita de como o movimento do ego regula o movimento do pedestre.

2. Metodologia Proposta: TrajMamba

O artigo propõe o TrajMamba, um novo framework baseado na arquitetura Mamba (Modelos de Espaço de Estados Selecionados - SSMs), projetado especificamente para prever trajetórias de pedestres a partir de uma perspectiva egocêntrica. O modelo é composto por quatro módulos principais:

• A. Representação de Entrada e Saída Diferenciada:

  • Entrada: Em vez de usar apenas coordenadas, o modelo calcula o estado de movimento do pedestre (posição, velocidade e variação de escala) entre quadros adjacentes.
  • Hipótese CV-CS (Velocidade Constante e Escala Constante): O modelo assume que, em intervalos curtos, o pedestre mantém velocidade e escala constantes. Com base nisso, gera uma trajetória de referência física.
  • Saída: O objetivo da rede não é prever a caixa delimitadora absoluta, mas sim prever o resíduo (offset) entre a trajetória real e a trajetória de referência física. Isso facilita a otimização e incorpora conhecimento prévio físico.

• B. Codificadores (Encoders) Baseados em Mamba:

  • Codificador de Movimento do Pedestre (PME): Utiliza um modelo Mamba para extrair características temporais da sequência histórica de movimento do pedestre.
  • Codificador de Movimento do Ego (EME): Utiliza um segundo modelo Mamba separado para extrair características do movimento do veículo (velocidade ou comportamento do veículo).
  • Vantagem: O uso do Mamba permite modelagem de séries temporais com complexidade linear, sendo mais eficiente que LSTMs, GRUs ou Transformers para sequências longas.

• C. Decodificador Guiado por Movimento do Ego (EMGD):

  • Esta é a inovação central. Diferente dos métodos de fusão tardia ou precoce, o decodificador trata as características do movimento do pedestre como contexto histórico e as características do movimento do ego como sinais condicionais explícitos para a previsão futura.
  • O decodificador Mamba aprende explicitamente o mecanismo de modulação dinâmica: como o movimento do veículo afeta e regula o movimento aparente do pedestre ao longo do tempo.

• D. Gerador de Trajetória Futura (FTG):

  • Um MLP (Perceptron Multicamadas) mapeia as características decodificadas para as coordenadas finais das caixas delimitadoras futuras.

3. Contribuições Principais

1. Novo Framework TrajMamba: Introdução de uma arquitetura baseada em Mamba para previsão de trajetória egocêntrica, superando as limitações de modelos sequenciais tradicionais.
2. Decodificador Guiado por Ego-Motion: Proposta de um mecanismo de decodificação que modela explicitamente a relação relativa entre pedestre e câmera, utilizando o movimento do ego como guia condicional em vez de uma fusão cega de características.
3. Representação de Resíduos Físicos: Adoção de uma estratégia de saída baseada em resíduos (offset) em relação a uma trajetória de referência de velocidade constante, melhorando a plausibilidade física e a precisão.
4. Desempenho de Estado da Arte (SOTA): Demonstração de superioridade em métricas padrão em conjuntos de dados públicos.

4. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados PIE e JAAD, comparado a métodos baseados em LSTM, GRU, Transformer e outras abordagens recentes.

• Métricas: ADE (Erro de Deslocamento Médio), FDE (Erro de Deslocamento Final), ARB (Erro Quadrático Médio Médio) e FRB (Erro Quadrático Médio Final).
• Desempenho no Dataset PIE (1s de previsão):
  • O TrajMamba superou o modelo anterior mais forte (PedFormer) em 40,98% (ADE), 44,02% (FDE), 24,03% (ARB) e 32,91% (FRB).
  • Também superou modelos genéricos como BiTrap e SGNet com margens significativas.
• Desempenho no Dataset JAAD:
  • Melhorou os resultados em 22,30% (ADE) e 26,11% (FDE) em relação ao melhor modelo anterior.
• Eficiência Computacional:
  • Estudos de ablação mostraram que o TrajMamba possui menos parâmetros e menor custo computacional (FLOPs) em comparação com modelos baseados em Transformer ou LSTM, mantendo ou superando a precisão.
  • A combinação de codificadores e decodificadores Mamba demonstrou ser a configuração mais eficiente e precisa.

5. Significado e Conclusão

O TrajMamba representa um avanço significativo na previsão de trajetórias para visão de primeira pessoa. Ao separar a extração de características e utilizar o movimento do ego como um guia condicional explícito no decodificador, o modelo resolve a ambiguidade inerente à projeção de movimento em câmeras móveis.

A adoção da arquitetura Mamba não apenas melhora a precisão, mas também a eficiência, tornando o modelo viável para aplicações em tempo real em veículos autônomos e robôs. O trabalho destaca a importância de modelar explicitamente a interação entre o agente observador e o alvo, em vez de tratar o movimento apenas como uma sequência de dados fundida. Futuras pesquisas visam incorporar a interação entre múltiplos pedestres em multidões para refinar ainda mais o modelo.