Legs Over Arms: On the Predictive Value of Lower-Body Pose for Human Trajectory Prediction from Egocentric Robot Perception

Resumo Técnico: "Legs Over Arms" (Pernas sobre Braços)

O artigo investiga a importância de diferentes características esqueléticas humanas para a previsão de trajetórias de múltiplos agentes a partir da percepção egocêntrica de robôs equipados com câmeras de 360°.

1. O Problema

A navegação social de robôs em ambientes lotados exige que o robô antecipe o movimento de humanos para garantir segurança e conformidade com normas sociais. A maioria dos métodos atuais trata humanos como "massas pontuais" (apenas coordenadas 2D em mapas), ignorando pistas visuais ricas como a postura corporal, o olhar e o modo de andar (gait). Essa abstração limita a capacidade de previsão em situações de oclusão ou quando o histórico de movimento é curto. O desafio central é identificar quais partes do corpo e quais tipos de dados visuais (2D vs. 3D) são mais informativos para prever trajetórias futuras.

2. Metodologia

Os autores utilizam o modelo Human Scene Transformer (HST) como arquitetura base, devido à sua natureza modular que permite a fusão de novas modalidades de dados.

• Configurações de Características: O estudo compara diferentes conjuntos de dados de entrada:
  • 3D Keypoints ($K_{3D}$): Divididos em corpo completo, apenas membros superiores ($K_{3D}^U$) e apenas membros inferiores ($K_{3D}^L$).
  • Cues Biomecânicos ($C_{3D}$): Ângulos de articulação das pernas, comprimento do passo, ângulos dos braços e orientação da cabeça.
  • 2D Keypoints ($K_{2D}$): Extraídos de imagens panorâmicas equirretangulares (formato COCO 17-keypoints).
• Datasets:
  • JRDB: Dataset de larga escala com sensores LiDAR e câmeras estéreo 360°.
  • Novo Dataset de Navegação Social: Criado pelos autores usando um robô AgileX Scout Mini com uma câmera Insta360 X4, focando em ambientes densos (cantinas e corredores) para capturar interações sociais realistas.
• Métricas de Avaliação: MinADE (Erro Médio de Deslocamento Mínimo), MinFDE (Erro de Deslocamento Final Mínimo), MLADE (Erro Médio de Deslocamento Mais Provável) e NLLpos (Log-Verossimilhança Negativa das Posições).

3. Principais Contribuições

• Identificação da Região Crítica: Demonstração de que a parte inferior do corpo (pernas) é o sinal mais preditivo para o movimento humano.
• Validação de Sensores 360°: Prova que a visão panorâmica equirretangular, apesar das distorções geométricas, fornece pistas úteis para a previsão de trajetória.
• Análise de Cues Biomecânicos: Avaliação sistemática de como informações derivadas (como o ângulo de passo) complementam os pontos esqueléticos.

4. Resultados

• Superioridade dos Membros Inferiores (3D): No dataset JRDB, focar apenas nos keypoints 3D da parte inferior do corpo ($K_{3D}^L$) reduziu o erro MinADE em 13% em comparação ao baseline (que usa apenas posições 2D).
• Ganho Biomecânico: Adicionar pistas biomecânicas (como ângulos de articulação) aos keypoints proporcionou uma melhoria adicional de 1% a 4%.
• 3D vs. 2D: Os dados 3D superaram os 2D no JRDB, em parte porque a câmera do JRDB frequentemente corta as pernas dos pedestres próximos, enquanto o novo dataset (com câmera Insta360) mitigou isso.
• Eficácia do 2D Panorâmico: No novo dataset, o uso de keypoints 2D extraídos de imagens panorâmicas reduziu o MinADE em 7%, confirmando que a visão de 360° é eficaz mesmo com distorções.

5. Significância e Aplicações Práticas

O estudo oferece diretrizes acionáveis para o design de robôs sociais:

1. Seleção de Atributos: Para sistemas de previsão de trajetória, priorizar o rastreamento das pernas é mais eficiente do que tentar processar o corpo inteiro ou apenas o tronco/braços.
2. Posicionamento de Sensores: A altura da câmera influencia a captura de informações críticas. O posicionamento sugerido (cerca de 0,85m) ajuda a reduzir distorções extremas e melhora a visibilidade das pernas.
3. Hardware: O uso de câmeras 360° de baixo custo é validado como uma solução viável para fornecer cobertura total e melhorar a segurança na navegação em ambientes humanos densos.