Heteroscedastic Diffusion for Multi-Agent Trajectory Modeling

Resumo Técnico: Difusão Heterocedástica para Modelagem de Trajetórias Multiagente

Declaração do Problema
A modelagem de trajetórias multiagente tradicionalmente concentrou-se na previsão de estados futuros, frequentemente negligenciando tarefas mais amplas, como a conclusão de trajetórias (inferindo porções ausentes ou não observadas de uma trajetória). Métodos existentes, incluindo aqueles baseados em GANs, CVAEs e Modelos Probabilísticos de Difusão Padrão (DDPMs), tipicamente preveem estados de agentes sem fornecer medidas de incerteza heterocedástica por estado. Além disso, métodos de amostragem multivariada populares carecem de estimativas de probabilidade de erro para cada cena gerada sob as mesmas observações prévias, tornando difícil classificar a confiabilidade da previsão no momento da inferência. Uma lacuna crítica permanece na capacidade de quantificar a probabilidade de cada estado previsto e de classificar múltiplos modos gerados com base em sua proximidade com a verdade fundamental.

Metodologia
Os autores introduzem o U2Diffine, um modelo de difusão unificado projetado para realizar a conclusão de trajetórias enquanto oferece simultaneamente estimativas de incerteza heterocedástica por estado. O framework é construído sobre os seguintes componentes principais:

1. Framework de Difusão Unificado: Inspirado no CSDI (Imputação de Difusão Baseada em Pontuação Condicional), o modelo utiliza um MambaSSM bidirecional para processamento temporal e um Social Transformer para interações entre agentes, substituindo os codificadores Transformer tradicionais para lidar melhor com dinâmicas temporais sem codificações posicionais fixas.
2. Estimativa de Incerteza Heterocedástica: Ao contrário das perdas de remoção de ruído padrão que preveem um único vetor de ruído, o U2Diffine modela o ruído reverso como uma distribuição Gaussiana bivariada. Ele aprende tanto o estado médio do ruído ($\epsilon^\mu_\theta$) quanto uma matriz de covariância $2 \times 2$ ($\epsilon^\Sigma_\theta$) para cada agente em cada passo de tempo. Isso é alcançado ao augmentar a perda de remoção de ruído padrão com um termo de Verossimilhança Negativa (NLL), permitindo que o modelo capture incerteza dependente de dados (aleatória), incluindo dependências direcionais e elipses de incerteza rotacionadas.
3. Amostragem Gaussiana Reversa (U2Diffine): Para propagar a incerteza do espaço latente para o espaço de estados reais, os autores derivam uma aproximação de Taylor de primeira ordem. Este método lineariza a rede de pontuação em torno da média atual para calcular as matrizes Jacobianas ($J_s$), que são usadas para atualizar a matriz de covariância durante o processo de amostragem reversa. Isso fornece estimativas de incerteza por estado precisas, robustas e consistentes, sem recorrer a custosas amostragens de Monte Carlo.
4. Linha de Base Acelerada (U2Diff): Para abordar o custo computacional do cálculo de gradiente necessário para o Jacobiano, os autores propõem o U2Diff. Esta variante assume um gradiente zero ($J_s = 0$) e utiliza um modelo de incerteza univariado mais simples. Para mitigar a possível inflação de variância, emprega uma estratégia de "atraso de variância", iniciando a propagação da incerteza apenas após um passo intermediário de remoção de ruído. Esta abordagem reduz o tempo de inferência em aproximadamente 4x, mantendo um erro de deslocamento competitivo.
5. Rede Neural de Classificação (RankNN): Para abordar o desafio de classificar múltiplos modos gerados, os autores introduzem uma arquitetura supervisionada de pós-processamento. O RankNN recebe os modos gerados, suas médias previstas e variâncias como entrada. Processa-os através de um Bloco Socio-temporal e um Transformer de Múltiplas Cenas para produzir uma pontuação de probabilidade de erro para cada modo. O modelo é treinado para maximizar a correlação de Spearman entre essas pontuações previstas e o Erro Médio de Deslocamento da Cena (SADE) real.

Principais Contribuições

• Framework Unificado: Uma abordagem baseada em difusão para conclusão de trajetórias multiagente que integra previsão, imputação e inferência de agentes não observados dentro de um único framework adaptável a números variáveis de agentes e passos de tempo.
• Incerteza por Estado: Augmentação do framework de difusão com uma perda de verossimilhança negativa bivariada para habilitar a estimativa de incerteza heterocedástica para cada estado latente previsto.
• Propagação Analítica de Incerteza: Desenvolvimento de uma aproximação de Taylor de primeira ordem para Amostragem Gaussiana Reversa, propagando incerteza latente para o espaço de saída para produzir estimativas precisas por estado.
• Estimativa de Probabilidade de Erro: Uma nova arquitetura supervisionada de pós-processamento (RankNN) que fornece estimativas de probabilidade de erro para cada modo gerado, demonstrando alta correlação com erros de verdade fundamental.
• Eficiência: A proposta do U2Diff, uma variante mais rápida que evita o cálculo de gradientes durante a amostragem, oferecendo inferência $\sim4\times$ mais rápida com erro de deslocamento comparável.

Resultados Experimentais
O método foi avaliado em quatro conjuntos de dados desafiadores de esportes: NBA, Basketball-U, Football-U e Soccer-U.

• Conclusão de Trajetória: O U2Diffine e o U2Diff superaram os métodos mais avançados (incluindo o UniTraj) em todos os três conjuntos de dados de conclusão. Notavelmente, o U2Diffine alcançou melhorias de aproximadamente 33% e 44% no minSADE20 nos conjuntos de dados Football-U e Soccer-U, respectivamente.
• Previsão de Trajetória: No conjunto de dados NBA, a abordagem unificada alcançou desempenho de ponta em métricas ao nível da cena (minSADE20/minSFDE20), superando métodos líderes como LED, MART e MoFlow em mais de 3%, apesar de usar uma estratégia de amostragem i.i.d. direta.
• Qualidade da Incerteza: Os modelos alcançaram altas Taxas de Precisão (AccRate), com o U2Diffine atingindo mais de 95% nos conjuntos de dados Football-U e Soccer-U. A modelagem bivariada permitiu a previsão de elipses de incerteza rotacionadas que se alinharam bem com as distribuições de dados espaciais.
• Desempenho de Classificação: O framework RankNN melhorou significativamente a correlação entre a incerteza prevista e o erro real. Enquanto métricas simples de incerteza (AvgUcty) mostraram correlação moderada (Spearman $\rho \approx 0.3$), as probabilidades de erro previstas pelo RankNN alcançaram altas correlações ($\rho$ variando de 0,58 a 0,79). Isso permitiu a classificação eficaz dos modos gerados, reduzindo significativamente o erro da cena Top-1 em comparação com a seleção aleatória ou baseada em variância.

Significado
O artigo afirma que este trabalho estabelece um novo marco para conclusão e previsão de trajetórias ao abordar a falta crítica de quantificação de incerteza em configurações multiagente. Ao fornecer incerteza heterocedástica por estado e um mecanismo para classificar modos gerados por probabilidade de erro, a abordagem aumenta a confiabilidade das trajetórias geradas em ambientes interativos complexos, como esportes. Os autores enfatizam que, embora o U2Diffine ofereça estimativa de verossimilhança superior através de propagação analítica rigorosa, o U2Diff fornece uma alternativa prática e de alta velocidade para aplicações onde a latência de inferência é crítica. A integração do RankNN ainda mais preenche a lacuna entre a diversidade generativa e a utilidade prática, permitindo que os usuários selecionem as previsões mais confiáveis de um conjunto de modos gerados.