Resumo Técnico: EgoTraj: Conjunto de Dados de Trajetória Humana Ego cêntrica do Mundo Real para Previsão Multimodal

Declaração do Problema

Prever com precisão trajetórias humanas a partir de uma perspectiva ego cêntrica (em primeira pessoa) é crítico para aplicações em robótica humanoide, sensoriamento vestível e navegação assistiva. No entanto, o progresso nesse domínio é dificultado pela escassez de conjuntos de dados de trajetória ego cêntrica do mundo real. A pesquisa existente sobre previsão de trajetória depende amplamente de conjuntos de dados de visão de pássaro (BEV) ou de câmeras estáticas em terceira pessoa (por exemplo, ETH, UCY, nuScenes), que capturam movimento externo, mas falham em modelar como os humanos percebem, planejam e iniciam o movimento a partir de uma perspectiva em primeira pessoa. Consequentemente, os métodos atuais de previsão dependem fortemente do histórico de movimento e do contexto da cena, carecendo de pistas relacionadas à intenção, como o olhar. Além disso, os conjuntos de dados ego cêntricos existentes são frequentemente limitados em escala, restritos a ambientes internos, coletados de participantes únicos ou carecem de dados sincronizados de olhar e pose com 6 graus de liberdade (6DoF) necessários para previsão consciente da intenção.

Metodologia e Construção do Conjunto de Dados

Para abordar essas limitações, os autores apresentam o EgoTraj, um conjunto de dados aberto, multimodal e em grande escala, gravado em ambientes urbanos do mundo real usando headsets Meta Quest Pro (MQPro).

Protocolo de Coleta de Dados

• Hardware: Os participantes usaram headsets MQPro operando no modo de passagem de cores completo. O dispositivo integrou uma câmera RGB de passagem, duas câmeras de rastreamento ocular infravermelho, quatro câmeras de rastreamento inside-out e um IMU de 6 eixos.
• Participantes: O conjunto de dados compreende 75 participantes únicos (idades entre 18–38, gênero equilibrado, 14 nacionalidades). Cada participante contribuiu exatamente com uma sessão de gravação.
• Ambiente: Os dados foram coletados ao ar livre em diversos ambientes urbanos, incluindo calçadas, faixas de pedestres e ruas movimentadas. O protocolo utilizou sete pontos de referência externos predefinidos (marcos) para definir pares de origem-destino, permitindo que os participantes escolhessem suas próprias rotas para incentivar navegação naturalista e interações espontâneas.
• Duração: O conjunto de dados contém 75 sequências totalizando 10,7 horas de dados sincronizados, compreendendo 1,15 milhão de quadros RGB.
• Privacidade: Todas as gravações foram processadas usando EgoBlur para detectar e desfocar automaticamente rostos e placas de veículos.

Sincronização Multimodal

O conjunto de dados fornece verdadeiros valores de referência sincronizados no tempo a 30 Hz, incluindo:

1. Pose da Cabeça 6DoF: Posição (x, y, z) e orientação (quaternions), juntamente com velocidade linear e angular.
2. Vetores de Olhar 3D: Origem e vetores de direção do olhar binocular por quadro.
3. Vídeo RGB Ego cêntrico: Vídeo codificado em H.264 a 30 fps.
4. Anotações da Cena: Descrições contextuais de alto nível geradas via pipeline de Modelo de Visão-Linguagem (VLM) usando Qwen2.5-VL-7B. Essas anotações cobrem contexto ambiental, atividade de tráfego, alvos de fixação do olhar e intenção de movimento de curto prazo inferida.

Processamento de Dados

Um pipeline personalizado alinhou os fluxos de sensores (operando a 50 Hz para olhar/pose) com a linha do tempo de vídeo de 30 Hz usando carimbos de data e hora do dispositivo. Técnicas de interpolação (linear para posição, SLERP para rotação) foram aplicadas para garantir consistência temporal. O conjunto de dados final é embalado no formato HDF5 com quadros desfocados para privacidade.

Principais Contribuições

1. Conjunto de Dados EgoTraj: O primeiro conjunto de dados de trajetória ego cêntrica em grande escala a fornecer conjuntamente pose sincronizada da cabeça 6DoF, vetores de olhar 3D por quadro, vídeo RGB ego cêntrico e anotações de cena de 75 participantes navegando no tráfego urbano real.
2. Protocolo de Benchmark e Avaliação: Os autores estabeleceram um benchmark padronizado para previsão de trajetória ego cêntrica, avaliando vários modelos de última geração em uma divisão de teste retida.
3. Análise Multimodal: Através de estudos de ablação, os autores analisaram as contribuições específicas do olhar, interações sociais e contexto da cena para a previsão de trajetória em condições realistas.

Resultados Experimentais

Avaliação Quantitativa

Os autores avaliaram várias bases de comparação, incluindo modelos cinemáticos (Velocidade Constante, Extrapolção Linear) e modelos aprendidos (M_Transformer, CXA-Transformer, EgoCast).

• Desempenho: O modelo EgoCast adaptado alcançou o melhor desempenho de previsão de trajetória com um Erro de Deslocamento Médio (ADE) de 0,16 m e Erro de Deslocamento Final (FDE) de 0,28 m.
• Rotação da Cabeça: O CXA-Transformer alcançou o menor erro de rotação da cabeça (0,69), sugerindo que seu mecanismo de atenção cruzada em cascata captura melhor a dinâmica de orientação.
• Comparação com Base de Referência: Modelos temporais aprendidos superaram consistentemente a extrapolação cinemática simples, particularmente na previsão de rotação e no manejo de movimento não linear.

Estudos de Ablação

Usando a arquitetura CXA-Transformer, os autores analisaram o impacto de diferentes modalidades de entrada:

• Olhar e Cena: Adicionar segmentação de cena (S) reduziu o ADE de 0,19 para 0,16. Incorporar o olhar (G) reduziu ainda mais para 0,15, indicando que a atenção visual fornece sinais antecipatórios além das pistas cinemáticas.
• Contexto Social: Entre as representações sociais, poses corporais completas (P) superaram pontos centrais (C) e caixas delimitadoras (B), sugerindo que pistas de movimento de alta granularidade são mais informativas para modelagem de interação social.
• Multimodal Completo: A combinação de movimento ego, pose, cena e olhar (Y + P + S + G) alcançou o melhor desempenho geral (ADE: 0,12, FDE: 0,23, Erro de Rotação da Cabeça: 0,58).

Generalização

Os modelos foram testados em divisões mais rigorosas: "Ponto de Referência Retido" (pares origem-destino não vistos) e "Desconhecido" (participantes não familiarizados com a área). A configuração multimodal completa manteve desempenho forte nessas divisões (ADE ~0,14), indicando que o modelo generaliza para novas rotas e participantes em vez de superajustar a modelos específicos.

Achados Qualitativos

• Transições Ativas: Em janelas de "transição ativa" onde a curva começa dentro dos últimos 0,5s de observação, modelos multimodais rastrearam a verdade de referência significativamente melhor do que as bases de comparação apenas de movimento. Isso apoia a hipótese de que o olhar antecipa a ação locomotora por 1–2 segundos.
• Casos de Falha: O sistema lutou com curvas abruptas e acentuadas (por exemplo, ~90° em interseções) onde o sinal preditivo no histórico de movimento ego de horizonte curto é fraco, destacando a dificuldade de previsão determinística sem pistas antecipatórias fortes.

Significado e Alegações

O artigo afirma que o EgoTraj preenche uma lacuna crítica na disponibilidade de dados ego cêntricos multimodais do mundo real. Ao fornecer dados sincronizados de olhar, pose e cena, o conjunto de dados permite o estudo de previsão de trajetória consciente da intenção. Os resultados demonstram que:

1. A atenção visual (olhar) é um sinal preditivo crítico que precede o movimento, particularmente para curvas e mudanças de direção.
2. A fusão multimodal (combinando movimento ego, contexto social, estrutura da cena e olhar) supera significativamente as bases de comparação apenas de movimento em ambientes urbanos complexos.
3. O conjunto de dados suporta aplicações downstream em percepção baseada em RA, navegação assistiva para deficientes visuais e navegação robótica socialmente compatível.

Os autores lançam o conjunto de dados, o código e o Painel EgoViz (uma ferramenta interativa para inspecionar fluxos sincronizados) para facilitar pesquisas futuras em previsão de trajetória ego cêntrica e compreensão visão-linguagem da intenção de navegação.