Resumo Técnico: JRDB-Pose3D

Declaração do Problema

Ambientes do mundo real são inerentemente lotados e dinâmicos, necessitando da capacidade de estimar poses 3D para múltiplos humanos, rastrear seus movimentos ao longo do tempo e compreender suas atividades dentro de contextos sociais e ambientais. Essas capacidades são críticas para aplicações como direção autônoma, percepção de robôs, navegação e interação humano-robô.

No entanto, os conjuntos de dados existentes de estimativa de pose humana 3D sofrem de limitações significativas em relação à sua aplicabilidade nesses cenários do mundo real. A maioria dos benchmarks foca em sujeitos de uma única pessoa ou é coletada em ambientes controlados de laboratório. Embora esforços recentes tenham introduzido conjuntos de dados multi-pessoa, muitos são restritos a dados sintéticos, limitados a interações entre apenas dois indivíduos, carecem de consistência temporal ou são capturados de perspectivas específicas (ex: visão superior/top-down) que não refletem a perspectiva de um robô móvel navegando ao nível do solo. Consequentemente, há uma lacuna em conjuntos de dados que forneçam anotações ricas e consistentes de pose e forma 3D para cenas complexas, com múltiplas pessoas, capturadas a partir de uma plataforma robótica móvel no mundo real.

Metodologia

Os autores apresentam o JRDB-Pose3D, um conjunto de dados construído através da anotação de todas as sequências de vídeo do conjunto de dados JRDB existente [17]. Os dados foram capturados usando a plataforma de robô móvel JackRabbot, equipada com cinco pares de câmeras estéreo dispostos em duas fileiras horizontais, proporcionando uma visão panorâmica de 360°. O conjunto de dados compreende 54 sequências coletadas em ambientes universitários internos e externos, totalizando 288.435 quadros.

O pipeline de anotação para o JRDB-Pose3D segue um processo de múltiplos estágios para gerar anotações de pose e forma 3D baseadas em SMPL com IDs de rastreamento consistentes:

1. Inicialização de Pose: O processo começa pela inicialização de poses SMPL 3D usando o modelo pré-treinado CameraHMR [22], que é otimizado para cenas com múltiplos humanos e prevê o Campo de Visão (FoV) da câmera diretamente das imagens de entrada. Para abordar a falta de rastreamento de identidade em modelos de imagem única, o pipeline utiliza as bounding boxes 2D existentes do conjunto de dados JRDB com IDs de rastreamento consistentes para inicializar poses SMPL 3D coerentes ($P_{init}$) para cada rastreamento individual ao longo do tempo.
2. Localização 3D Global: Enquanto o CameraHMR estima poses relativas a um FoV estimado, o conjunto de dados JRDB fornece intrínsecos de câmera precisos. O pipeline alinha as poses 3D previstas para a cena 3D global estimando uma transformação rígida ($R, t$) que mapeia as juntas do esqueleto 3D inicial para os keypoints 2D anotados no JRDB usando o algoritmo Perspective-n-Point (PnP).
3. Anotação de Forma Consistente: Como a estimativa por quadro frequentemente resulta em formas corporais inconsistentes para o mesmo indivíduo, o pipeline impõe consistência de forma. Os anotadores inspecionam visualmente as previsões por quadro para cada rastreamento, selecionando o quadro de melhor ajuste como a forma representativa. Se necessário, os parâmetros de forma são refinados manualmente usando uma ferramenta de anotação para garantir uma representação consistente para cada indivíduo durante seu rastreamento.
4. Refinamento de Pose 3D Local: Após finalizar as formas e orientações globais de rastreamento, as poses locais são refinadas. A inicialização SMPL é otimizada minimizando a distância entre as projeções das juntas 3D e as anotações de pose 2D ($E_{data}$). Adicionalmente, um termo de regularização temporal ($E_{smooth}$) é aplicado para penalizar diferenças temporais de segunda ordem, garantindo trajetórias de movimento suaves enquanto preserva a dinâmica.
5. Inspeção Manual e Correção: O estágio final envolve múltiplos anotadores treinados revisando as poses geradas. Eles verificam a orientação dos membros, a consistência temporal e a plausibilidade no contexto de interações, com atenção específica para casos desafiadores como oclusões severas e partes do corpo fora de quadro. As correções são feitas usando um protocolo de anotação compartilhado.

Principais Contribuições

O artigo apresenta as seguintes contribuições primárias:

• Conjunto de Dados JRDB-Pose3D: Um conjunto de dados de estimativa de pose e forma humana (HPS) 3D, multi-pessoa, de grande escala e do mundo real. Ele apresenta IDs de rastreamento consistentes por sujeito, rótulos de oclusão por keypoint e anotações baseadas em SMPL. O conjunto de dados contém uma média de 5 a 10 poses humanas por quadro, com algumas cenas apresentando até 35 indivíduos simultaneamente.
• Anotações Multimodais Ricas: Além das poses 3D, o conjunto de dados herda todas as anotações do conjunto de dados JRDB original, incluindo poses 2D, agrupamentos sociais, atividades de grupo, máscaras semânticas de cena completa com rastreamento consistente de humanos/objetos e atributos detalhados de indivíduos (idade, gênero, raça).
• Avaliação de Benchmark: Os autores avaliam métodos de ponta de estimativa de pose, rastreamento de pose e predição de pose consciente de ação multi-pessoa no JRDB-Pose3D para avaliar as forças do conjunto de dados e as limitações atuais dos métodos ao lidar com cenários lotados do mundo real.

Resultados e Características do Conjunto de Dados

O artigo destaca várias características únicas e desafios do JRDB-Pose3D em comparação com conjuntos de dados existentes como o WorldPose:

• Densidade de Multidão: O conjunto de dados exibe uma distribuição de cauda longa de densidade de multidão, com quadros contendo até 35 poses, significativamente maior que a densidade média em conjuntos de dados comparáveis.
• Ponto de Vista e Distância: Capturado a partir de uma câmera montada em um robô na altura humana, o conjunto de dados oferece uma visão panorâmica de 360° com poses distribuídas dentro de uma distância média de 5 a 10 metros. Isso contrasta com conjuntos de dados top-down (ex: WorldPose) onde os sujeitos são frequentemente distantes (média de ~80m) e vistos de um ângulo limitado.
• Oclusão e Dificuldade: O conjunto de dados é caracterizado por oclusões frequentes e severas, corpos truncados e partes do corpo fora de quadro devido à proximidade do robô com os sujeitos e à natureza lotada das cenas. Estatísticas indicam uma alta prevalência de joints 2D ocluídos e invisíveis, classificando uma parte significativa das poses como "difíceis" para recuperação 3D.
• Qualidade de Anotação: O processo de verificação manual garante anotações de alta qualidade e temporalmente coerentes, adequadas para testar a robustez da estimativa e rastreamento de pose humana 3D multi-pessoa.

Significância

O artigo afirma que o JRDB-Pose3D serve como um recurso vital para o avanço da pesquisa em tarefas downstream socialmente conscientes. Ao fornecer um ambiente de teste que reflete de perto as complexidades da percepção robótica do mundo real — especificamente ambientes dinâmicos e lotados com oclusões frequentes e diversas interações — ele permite o desenvolvimento e a avaliação de métodos mais robustos de estimativa, rastreamento e previsão de pose humana 3D multi-pessoa. A natureza abrangente das anotações (combinando HPS com dados sociais e semânticos) posiciona o conjunto de dados como um benchmark holístico para a compreensão de cenas centradas no humano, indo além de configurações de laboratório controladas para abordar os desafios de aplicações no mundo real.