🤖 AI

RetroMotion: Retrocausal Motion Forecasting Models are Instructable

RetroMotion é um modelo de previsão de movimento baseado em transformadores que decompõe previsões complexas de múltiplos agentes em distribuições marginais e conjuntas usando um fluxo de informação retrocausal, alcançando desempenho de última geração em conjuntos de dados principais enquanto suporta de forma única o seguimento de instruções adaptativo ao cenário.

Autores originais: Royden Wagner, Omer Sahin Tas, Felix Hauser, Marlon Steiner, Dominik Strutz, Abhishek Vivekanandan, Jaime Villa, Yinzhe Shen, Carlos Fernandez, Christoph Stiller

Publicado 2026-04-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Royden Wagner, Omer Sahin Tas, Felix Hauser, Marlon Steiner, Dominik Strutz, Abhishek Vivekanandan, Jaime Villa, Yinzhe Shen, Carlos Fernandez, Christoph Stiller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está parado em um cruzamento movimentado, observando carros, pedestres e ciclistas se moverem. Prever para onde todos irão nos próximos segundos é incrivelmente difícil. Se você tentar adivinhar o trajeto exato de cada pessoa ao mesmo tempo, o número de possibilidades explode, como tentar resolver um quebra-cabeça onde cada peça pode ter um milhão de formatos diferentes.

O artigo "RetroMotion" apresenta uma nova maneira para computadores resolverem esse quebra-cabeça. Aqui está a explicação de sua abordagem usando analogias simples:

1. A Dança em Duas Etapas: Solo vs. Grupo

Em vez de tentar prever toda a multidão caótica de uma só vez, os autores dividem o problema em duas partes:

O Atto Solo (Previsões Marginais): Primeiro, o computador observa cada pessoa individualmente. Ele pergunta: "Se este carro estivesse sozinho na estrada, para onde iria?" Ele cria um "plano solo" para todos.
A Dança em Grupo (Previsões Conjuntas): Em seguida, o computador observa as pessoas que estão interagindo (como um carro aguardando um pedestre atravessar). Ele pega esses "planos solo" e os remixa para ver como se encaixam.

O Truque de Mágica (Retrocausalidade):
Normalmente, você prevê o futuro com base no passado. Mas este modelo usa um truque inteligente chamado "retrocausalidade". Pense nisso como escrever uma história. Normalmente, você escreve o início, depois o meio e, por fim, o fim. Mas este modelo escreve o final primeiro (com base nos planos solo) e, em seguida, usa esse final para reescrever o início da história do grupo.

Por que fazer isso? É como perceber: "Ah, se aquele carro acaba virando à esquerda, ele deve ter começado a diminuir a velocidade mais cedo." Ao conhecer o destino, o modelo pode entender melhor o início da interação. Isso torna as previsões solo iniciais menos estressantes para serem perfeitas, porque a etapa da "dança em grupo" pode corrigir pequenos erros.

2. O Mapa "Fuzzy" (Incerteza)

Ao prever onde um carro estará, você não pode desenhar apenas uma linha fina única. Você precisa mostrar uma "nuvem" de possibilidades, porque o motorista pode desviar ou frear.

O Jeito Antigo: A maioria dos modelos assume que essa nuvem é um círculo perfeito (distribuição Normal) ou uma forma de diamante específica (distribuição Laplace).
O Jeito RetroMotion: Os autores dizem: "Vamos não forçar a nuvem em uma forma específica." Em vez disso, eles usam uma forma flexível chamada Distribuição de Potência Exponencial.
A Analogia: Imagine tentar encaixar uma nuvem de fumaça em um pote de vidro. Algumas nuvens são redondas, outras são planas, algumas são pontiagudas. Em vez de forçar a fumaça em um pote redondo, este modelo molda o pote para se ajustar perfeitamente à fumaça. Eles descobriram que essas "nuvens de fumaça" geralmente se parecem um pouco com diamantes (Laplace), mas com um pouquinho de redondeza misturada, o que as torna muito mais precisas.

3. O Truque de Compressão (DCT)

Prever um trajeto por 8 segundos envolve centenas de pontos de dados. Armazenar todos esses pontos é pesado e lento.

A Analogia: Imagine que você tem uma corda longa e ondulada. Em vez de armazenar a posição exata de cada centímetro da corda, você a descreve usando algumas ondas simples (como um acorde musical).
O modelo usa uma ferramenta matemática chamada Transformada Discreta de Cosseno (DCT) para comprimir o trajeto em algumas "ondas". Isso faz o computador funcionar mais rápido e ignora pequenos tremores ruidosos que não importam, focando apenas no movimento suave e real.

4. O Recurso "Instrutável" (A Surpresa)

A parte mais surpreendente do artigo é que o modelo pode receber instruções, mesmo que os pesquisadores não tenham ensinado explicitamente a fazê-lo.

O Experimento: Os pesquisadores pegaram a previsão do modelo para um carro e alteraram manualmente o final do trajeto para dizer: "Vá para este ponto específico" (uma instrução baseada em objetivo).
O Resultado: O modelo não apenas seguiu cegamente o novo trajeto. Ele olhou para a nova instrução e disse: "Certo, se o carro precisa ir até lá, ele deve ter começado a virar mais cedo", e ajustou todo o trajeto para fazer sentido com as regras de trânsito e os outros carros.
O Teste "Vire à Esquerda": Eles até tentaram forçar um carro a "virar à esquerda" em direção ao tráfego contrário (o que é ilegal). O modelo olhou para a instrução, percebeu que era perigoso e disse: "Não, não posso fazer isso", e ajustou o trajeto do carro para permanecer em sua própria faixa.
A Conclusão: Ao simplesmente treinar o modelo para ser bom em prever o trânsito, ele acidentalmente aprendeu a ouvir comandos e adaptá-los ao mundo real.

Resumo

RetroMotion é um sistema de previsão de trânsito que:

Divide grandes problemas em pequenos planos solo e, em seguida, os mistura em um plano de grupo.
Usa um truque de "olhar para trás" (usando o final para corrigir o início) para tornar o plano de grupo mais inteligente.
Usa "nuvens" flexíveis para prever incertezas, em vez de formas rígidas.
Comprime dados para funcionar rapidamente.
Surpreendentemente, aprendeu a ouvir instruções humanas e adaptá-las à cena, tudo sem ter sido explicitamente ensinado a seguir ordens.

Os autores testaram isso em dados de direção do mundo real (Waymo, Argoverse, V2X) e descobriram que prevê o trânsito melhor do que métodos anteriores e lida muito bem com interações complexas.

1. Formulação do Problema

A previsão de movimento para direção autônoma envolve prever as trajetórias futuras de múltiplos usuários da via (agentes). Esta tarefa enfrenta dois desafios principais:

Complexidade Exponencial: A distribuição conjunta de trajetórias cresce exponencialmente com o número de agentes. Modelar a distribuição conjunta completa para todos os agentes em uma cena é computacionalmente proibitivo.
Modelagem de Interação: Embora as distribuições marginais (prever cada agente independentemente) sejam eficientes, elas falham em capturar interações complexas entre agentes. Por outro lado, os métodos existentes de modelagem conjunta frequentemente sofrem com alta latência de inferência ou são limitados a pequenos números de agentes.
Falta de Controle: Modelos padrão de previsão de movimento são tipicamente "caixas pretas" que não podem ser facilmente guiados por instruções de alto nível (por exemplo, "vire à esquerda" ou "ceda a passagem para pedestres") sem retreinamento.

2. Metodologia

Os autores propõem o RetroMotion, um framework baseado em transformadores que decompõe a previsão de movimento multiagente em componentes marginais e conjuntos, ligados por um fluxo de informação retrocausal único.

A. Estratégia de Decomposição

O modelo separa a tarefa em duas etapas:

Previsão Marginal: Um decodificador prevê distribuições de trajetória independentes para todos os agentes na cena.
Previsão Conjunta: Um segundo decodificador gera distribuições conjuntas especificamente para agentes interagindo.
- Fluxo Retrocausal: Em vez de prever trajetórias conjuntas diretamente a partir de entradas brutas, o modelo re-codifica as distribuições marginais para gerar distribuições conjuntas. Isso cria um fluxo de informação do "futuro" (previsões marginais) de volta para a etapa "anterior" de modelagem conjunta.
- Modelagem Pares a Pares: O decodificador conjunto transforma as trajetórias em um referencial local e utiliza mecanismos de atenção para modelar interações. Ele aproxima a distribuição conjunta completa ( $K^2$ combinações) focando em pares de consultas diagonais, comprimindo a informação em $K$ pares, enquanto permite que pares fora da diagonal atualizem os pares diagonais via atenção.

B. Modelagem Probabilística

Distribuições de Potência Exponencial Comprimidas: O modelo não assume distribuições Gaussianas ou Laplace padrão. Em vez disso, modela a incerteza posicional usando uma mistura de distribuições Normais e Laplace bivariadas (aproximando uma Distribuição de Potência Exponencial).
Compressão DCT: Para reduzir a complexidade computacional e remover ruído de alta frequência, os parâmetros de localização (médias $\mu$ ) das distribuições são comprimidos usando Transformadas Discretas de Cosseno (DCT). O modelo prevê um pequeno conjunto de coeficientes DCT, que são então reconstruídos via DCT Inversa (IDCT) para formar a trajetória completa.

C. Arquitetura

Codificador de Cena: Processa entradas multimodais (trajetórias passadas, dados de faixa, semáforos) usando polilinhas e codificadores de transformadores para gerar embeddings de contexto global da cena.
Dois Decodificadores:
- Decodificador Marginal: Prevê densidades de trajetória por agente.
- Decodificador Conjunto: Recebe as características marginais re-codificadas e o contexto da cena para prever distribuições de interação conjuntas.
Função de Perda: Treinado via Estimativa de Máxima Verossimilhança (MLE) usando uma perda multitarefa que combina log-verossimilhanças negativas para previsões marginais e conjuntas, otimizada apenas nas trajetórias mais próximas da verdade fundamental (ground truth).

3. Contribuições Principais

Fluxo de Informação Retrocausal: O método conecta previsões marginais e conjuntas re-codificando previsões marginais. Isso reduz a carga sobre as previsões marginais iniciais e, crucialmente, cria uma interface para emitir instruções. Ao modificar trajetórias marginais antes da etapa de decodificação conjunta, o modelo pode adaptar suas previsões conjuntas para seguir objetivos específicos.
Distribuições de Potência Exponencial Comprimidas: Os autores demonstram que modelar incerteza com distribuições de potência exponencial aprendidas (aproximadas como misturas Normal-Laplace) supera as suposições padrão de Normal ou Laplace.
Seguimento de Instruções Emergente: O artigo mostra que o treinamento padrão de previsão de movimento permite implicitamente que o modelo siga instruções baseadas em objetivos e direcionais sem ajuste explícito de instruções. O modelo adapta comandos básicos (por exemplo, "vire à esquerda") ao contexto da cena (por exemplo, evitando tráfego contrafluxo).
Eficiência e Escalabilidade: O método suporta previsão para até 8 agentes com baixa latência de inferência (~60ms em GPUs A6000), significativamente mais rápido que métodos de modelagem conjunta baseados em difusão.

4. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados Waymo Open Motion, Argoverse 2 e V2X-Seq.

Desafio de Interação Waymo:
- O RetroMotion alcançou um mAP de 0,2519 (configuração híbrida SMoE), superando bases fortes como MTR++ (0,2326) e QCNeXt (0,2352).
- Demonstrou que a modelagem conjunta melhora significativamente o tratamento de previsões marginais como previsões conjuntas (o mAP caiu de 0,2441 para 0,1797 quando a decodificação conjunta foi removida).
Generalização entre Conjuntos de Dados:
- Treinado exclusivamente em dados da Waymo, o RetroMotion generalizou efetivamente para Argoverse 2 e V2X-Seq, superando modelos especializados como Wayformer e RedMotion em termos de minFDE e Taxa de Falha (Miss Rate).
Seguimento de Instruções:
- Baseado em Objetivos: A modificação de trajetórias marginais para corresponder a objetivos desejados reduziu o erro de deslocamento final (minFDE) em 11,8%.
- Direcional: Quando dada uma instrução "vire à esquerda" que violava regras de trânsito (por exemplo, virar para faixas de contrafluxo), o modelo adaptou com sucesso a trajetória conjunta para permanecer na estrada, reduzindo as taxas de sobreposição com outros agentes em 22% e aumentando a probabilidade de permanência na estrada em 33%.
Estudos de Ablação:
- O uso de distribuições de Potência Exponencial com compressão DCT produziu os melhores resultados (mAP 0,195), superando distribuições Normal (0,172) e Laplace (0,176) sem compressão.
- A análise dos pesos da mistura revelou que as distribuições aprendidas são predominantemente semelhantes a Laplace, mas se beneficiam de um pequeno componente Normal.

5. Significado

O RetroMotion representa um passo significativo em direção a sistemas de direção autônoma interpretáveis e interativos.

Eficiência: Resolve o problema de escalabilidade da previsão conjunta decompondo o problema e usando re-codificação retrocausal.
Alinhamento Humano-AI: A descoberta de que o treinamento padrão gera capacidades de seguimento de instruções sugere que modelos de previsão de movimento podem naturalmente aprender a alinhar-se à intenção humana. Isso abre portas para operadores guiarem o comportamento do veículo em casos de borda ou cenários complexos sem retreinar o modelo.
Robustez: O uso de representações probabilísticas comprimidas torna o modelo robusto a ruídos específicos do conjunto de dados e computacionalmente eficiente para implantação em tempo real.