PanguMotion: Continuous Driving Motion Forecasting with Pangu Transformers

Resumo Técnico: PanguMotion

1. O Problema

A previsão de movimento (motion forecasting) é uma tarefa crítica para a segurança de sistemas de direção autônoma, exigindo a previsão precisa das trajetórias futuras de agentes ao redor. A literatura existente enfrenta duas limitações principais:

• Tratamento Discreto: A maioria dos métodos trata cenas de direção como unidades independentes e isoladas, ignorando a continuidade temporal e as correlações históricas inerentes aos ambientes de direção do mundo real.
• Subutilização de Modelos Grandes: Embora modelos de linguagem grandes (LLMs) tenham demonstrado capacidades notáveis de "filtragem de informação" em tarefas visuais, sua integração em frameworks de previsão de movimento contínuo permanece pouco explorada.

O trabalho anterior RealMotion abordou a continuidade temporal através de reorganização de dados, mas não explorou o potencial de aprimoramento de representações via LLMs pré-treinados.

2. Metodologia

O PanguMotion propõe um framework inovador que integra um bloco Transformer do modelo de linguagem Pangu-1B (1 bilhão de parâmetros) em uma arquitetura de previsão de movimento para direção autônoma.

• Arquitetura Base: O sistema é construído sobre o framework RealMotion, mas com uma simplificação arquitetural significativa: remove-se o "stream de trajetória do agente" (agent trajectory stream), mantendo apenas o "stream de contexto da cena".
• Módulo de Aprimoramento (Pangu Block):
  • Um bloco Transformer congelado (frozen) do Pangu-1B (especificamente a camada 25, a última) é inserido após as camadas de codificação de interação da cena e antes do decodificador.
  • Ajuste de Dimensão: Como a dimensão oculta do Pangu (1536) difere da dimensão dos recursos da cena (128), camadas de projeção linear treináveis são adicionadas antes e depois do bloco Pangu para alinhar as dimensões.
  • Máscaras de Atenção: As máscaras autoregressivas originais do Pangu (usadas para geração de texto) são removidas, mantendo apenas as máscaras de tokens válidos (valid token masks) para garantir que todos os tokens da cena sejam processados simultaneamente.
  • Codificação Posicional: A codificação posicional interna do Pangu é removida, confiando nas informações posicionais já presentes no codificador base.
• Treinamento: Apenas as camadas de projeção linear são treinadas; o bloco Pangu permanece congelado, aproveitando a capacidade representacional pré-treinada sem risco de overfitting.
• Plataforma de Hardware: O modelo foi totalmente adaptado para treinamento e inferência em NPUs Ascend (Huawei), substituindo mecanismos de atenção específicos de GPU por versões compatíveis com NPU.

3. Principais Contribuições

1. Inovação Metodológica: Primeira integração bem-sucedida de um modelo grande Pangu em um framework de previsão de direção contínua, demonstrando sua eficácia como módulo de aprimoramento de recursos para tarefas temporais não linguísticas.
2. Otimização Arquitetural: Proposição de uma arquitetura simplificada que remove o stream de trajetória do agente. Os experimentos mostram que o bloco Pangu substitui a função de refinamento desse stream, melhorando o desempenho na previsão de modo único (single-mode) e reduzindo a complexidade.
3. Viabilidade Prática: Fornecimento de uma solução completa de adaptação para NPU Ascend, permitindo um pipeline end-to-end (treinamento a inferência) com latência comparável aos métodos originais, mas com representação de recursos superior.

4. Resultados Experimentais

Os testes foram realizados no conjunto de dados Argoverse 2, utilizando a estratégia de reorganização de dados do RealMotion para criar sequências contínuas.

• Desempenho Geral: O PanguMotion superou o RealMotion base em métricas críticas de previsão de modo único:
  • Redução de 1,58% no minADE1 (Erro Médio de Deslocamento Mínimo).
  • Redução de 1,29% no minFDE1 (Erro de Deslocamento Final Mínimo).
• Comparação de Modelos (Pangu vs. LLaMA): O Pangu-1B superou significativamente o modelo LLaMA no mesmo framework (LlamaMotion), com melhorias de 5,71% no minADE1 e 5,11% no minFDE1. Os autores sugerem que o pré-treinamento do Pangu em grandes corpora chineses pode oferecer uma melhor compreensão de relações espaciais e padrões temporais.
• Estudos de Ablação:
  • Camadas do Transformer: O uso da última camada (camada 25) isolada forneceu o melhor desempenho, validando a hipótese de que camadas superiores codificam informações semânticas mais abstratas e adequadas para transferência de tarefa. O uso de múltiplas camadas (3 ou 6) degradou o desempenho devido a redundâncias ou conflitos.
  • Posição de Inserção: A inserção no final da cadeia de codificação (antes do decodificador) foi superior à inserção em camadas intermediárias.
  • Remoção do Stream de Agente: A remoção do stream de trajetória do agente após a adição do bloco Pangu melhorou ainda mais as métricas de modo único, indicando que as duas funções (refinamento de trajetória e aprimoramento de recursos via LLM) eram redundantes e, quando combinadas, prejudicavam a precisão da trajetória mais provável.

5. Significado e Impacto

• Validação de Generalização: O trabalho prova que LLMs pré-treinados podem ser transferidos com sucesso para tarefas sequenciais não linguísticas (como previsão de trajetória), atuando como filtros de informação eficazes.
• Eficiência Arquitetural: Demonstra que a introdução de módulos de aprimoramento baseados em LLMs pode permitir a simplificação de arquiteturas complexas existentes, eliminando componentes redundantes e focando na previsão da trajetória mais provável (crucial para a tomada de decisão em direção autônoma).
• Acesso a Hardware Alternativo: A adaptação completa para NPUs Ascend oferece uma alternativa viável e eficiente para o ecossistema de IA, facilitando a implantação em sistemas embarcados que não utilizam GPUs NVIDIA.

Conclusão: O PanguMotion estabelece um novo baseline para previsão de movimento contínua, combinando a reorganização de dados temporal com o poder de representação de modelos de linguagem grandes, resultando em maior precisão e eficiência computacional. O código-fonte completo foi aberto na GitHub para reprodutibilidade.