Unveiling Transferability in Trajectory Prediction via Latent Scene Embeddings

Resumo Técnico: Revelando a Transferibilidade na Predição de Trajetórias via Embeddings de Cena Latentes

Definição do Problema
O artigo aborda o desafio de generalizar modelos de predição de trajetórias entre diferentes conjuntos de dados (datasets). Embora o aprendizado profundo tenha avançado na predição de movimento, modelos treinados em um dataset frequentemente falham ao generalizar para outros devido a disparidades significativas em layouts de cena, comportamentos de agentes, modalidades de sensores (ex: câmera vs. drone) e estruturas de mapas. Embora modelos de fundação de grande escala sugiram que o agrupamento de dados diversos possa gerar representações transferíveis, restrições práticas (latência, computação) e o risco de degradação de desempenho por dados de baixa qualidade ou irrelevantes exigem uma abordagem mais seletiva. O problema central é determinar quais datasets são adequados para pré-treinamento ou adaptação para um domínio alvo específico sem a necessidade de experimentação exaustiva de tentativa e erro.

Metodologia
Os autores propõem um framework que aprende um espaço latente compartilhado para caracterizar datasets de trajetórias e quantificar sua transferibilidade.

1. Modelo de Embedding Latente:

   • Arquitetura: Um modelo encoder-decoder profundo é treinado conjuntamente em todos os 24 datasets. O encoder mapeia características de entrada (estados de agentes e dados de mapa opcionais) para variáveis latentes de nível de nó usando Graph-Gated Recurrent Units (Graph-GRUs).
   • Objetivos de Treinamento: O modelo é otimizado usando duas tarefas complementares: reconstruir as características de entrada observadas e prever estados futuros. Isso garante que o espaço latente capture tanto as propriedades estruturais dos dados quanto a dinâmica de predição relevante.
   • Regularização: As variáveis latentes são restritas à superfície de uma esfera unitária para incentivar a comparabilidade e evitar soluções degeneradas.
   • Agregação: Os embeddings de nível de nó são agregados em estatísticas de nível de cena (média e covariância). Estes são posteriormente agregados para definir uma distribuição de nível de dataset, modelada como uma Gaussiana multivariada caracterizada por um vetor de média e uma matriz de covariância (regularizada via aproximação de baixo posto e jitter para garantir estabilidade numérica).

2. Métrica de Transferibilidade:

   • A transferibilidade entre um dataset de origem $D_i$ e um dataset alvo $D_j$ é quantificada usando a divergência de Kullback–Leibler (KL) entre suas respectivas distribuições Gaussianas no espaço latente: $D_{KL}(D_i \| D_j)$.
   • Esta métrica é direcional (assimétrica), capturando o fato de que um dataset de origem pode aproximar bem um alvo, enquanto o inverso não é necessariamente verdadeiro.

3. Protocolo de Avaliação:

   • O framework foi avaliado em 24 datasets diversos (abrangendo pedestres, veículos e tráfego misto; coletados via câmeras, drones e veículos instrumentados).
   • Transferência Zero-Shot: Um preditor de baseline (QCNet) foi treinado em um dataset e avaliado em outros sem adaptação.
   • Ajuste Fino (Fine-Tuning): Modelos pré-treinados em datasets de origem foram ajustados finamente em datasets alvo para avaliar a qualidade da adaptação e o esquecimento catastrófico.
   • Análise de Correlação: Os escores de divergência KL foram correlacionados com métricas de desempenho reais (minADE6) para validar o poder preditivo das distâncias latentes.

Principais Contribuições

1. Aprendizado de Representação de Nível de Dataset: A introdução de um framework de embedding latente que modela datasets de trajetórias como distribuições em um espaço compartilhado, permitindo a comparação baseada na geometria distributiva em vez de estatísticas de superfície.
2. Medida Probabilística Direcional: Uma proposta de métrica baseada em divergência KL para capturar o sucesso de transferência assimétrico, demonstrando que distâncias latentes predizem tanto o desempenho zero-shot quanto o de ajuste fino.
3. Estudo Sistemático de Grande Escala: Uma avaliação abrangente envolvendo 24 datasets e 552 pares de transferência. Este estudo identifica datasets subutilizados que melhoram o desempenho em benchmarks padrão e revela relações estruturais (ex: entre datasets adquiridos por drones e datasets de veículos instrumentados) que não são aparentes apenas pelos metadados.

Resultos

• Correlação com Desempenho: O estudo encontrou uma forte correlação positiva ($\rho = 0.811$) entre a divergência KL e o desempenho de transferência zero-shot (minADE6). Divergências maiores consistentemente predisseram uma pior transferência.
• Ajuste Fino e Esquecimento: A distância latente também predisse o grau de esquecimento catastrófico durante o ajuste fino. Divergências menores correlacionaram-se com melhor adaptação e menor perda de conhecimento da origem.
• Aproximação Gaussiana: A divergência KL superou consistentemente outras medidas de similaridade (L1, Wasserstein, MMD) na predição de transferibilidade, justificando empiricamente a suposição de modelagem Gaussiana.
• Dimensionalidade Latente: Um estudo de ablação mostrou que uma dimensão latente de $L=32$ forneceu o equilíbrio ideal para a predição zero-shot, enquanto dimensões maiores ($L=128$) mostraram retornos decrescentes ou tendências de overfitting para certas tarefas.
• Relacionamentos de Datasets: O espaço latente revelou que datasets como WOMD, Argoverse e nuScenes formam clusters distintos, com relações assimétricas específicas (ex: WOMD transfere bem para nuScenes, mas o inverso não ocorre). Também destacou que datasets adquiridos por drones (ex: inD, INTERACTION) compartilham similaridade latente significativa com datasets de veículos instrumentados, sugerindo potencial de transferência entre domínios.

Significância
O artigo afirma fornecer um mecanismo prático e baseado em dados para a seleção de datasets na predição de movimento. Ao quantificar a transferibilidade através da geometria distributiva latente, o framework permite que pesquisadores:

• Predigam o desempenho de generalização cross-dataset sem treinar modelos em cada par possível de origem-alvo.
• Selecionem fontes de pré-treinamento ideais para novos domínios alvo.
• Identifiquem datasets subutilizados que podem aumentar o desempenho em benchmarks populares.
• Avancem em direção a sistemas preditivos mais robustos e generalizáveis ao compreender as relações estruturais entre fontes de dados em vez de depender apenas de pistas específicas de domínio.

O trabalho conclui que a transferibilidade na predição de trajetórias pode ser prevista via representações latentes aprendidas, oferecendo uma base para o desenvolvimento mais eficiente de modelos de fundação e estratégias de transferência de aprendizado em direção à condução autônoma e robótica.