Resumen Técnico: JRDB-Pose3D

Declaración del Problema

Los entornos del mundo real son inherentemente concurridos y dinámicos, lo que requiere la capacidad de estimar poses 3D para múltiples humanos, rastrear sus movimientos a lo largo del tiempo y comprender sus actividades dentro de contextos sociales y ambientales. Estas capacidades son críticas para aplicaciones tales como la conducción autónoma, la percepción robótica, la navegación y la interacción humano-robot.

Sin embargo, los conjuntos de datos existentes de estimación de pose humana 3D sufren limitaciones significativas con respecto a su aplicabilidad en estos escenarios del mundo real. La mayoría de los referentes se centran en sujetos de una sola persona o son recolectados en entornos controlados de laboratorio. Si bien esfuerzos recientes han introducido conjuntos de datos multi-persona, muchos están restringidos a datos sintéticos, limitados a interacciones entre solo dos individuos, carecen de consistencia temporal o son capturados desde puntos de vista específicos (por ejemplo, cenitales) que no reflejan la perspectiva de un robot móvil navegando a nivel del suelo. En consecuencia, existe una brecha en los conjuntos de datos que proporcionan anotaciones ricas y consistentes de pose y forma 3D para escenas complejas y multi-persona capturadas desde una plataforma robótica móvil en el mundo real (in the wild).

Metodología

Los autores presentan JRDB-Pose3D, un conjunto de datos construido mediante la anotación de todas las secuencias de video del conjunto de datos JRDB existente [17]. Los datos fueron capturados utilizando la plataforma de robot móvil JackRabbot, equipada con cinco pares de cámaras estéreo dispuestos en dos filas horizontales, proporcionando una vista panorámica de 360°. El conjunto de datos comprende 54 secuencias recolectadas en entornos de campus universitarios tanto interiores como exteriores, sumando un total de 288,435 fotogramas.

El flujo de trabajo de anotación para JRDB-Pose3D sigue un proceso de múltiples etapas para generar anotaciones de pose y forma 3D basadas en SMPL con IDs de seguimiento consistentes:

1. Inicialización de la Pose: El proceso comienza inicializando las poses SMPL 3D utilizando el modelo preentrenado CameraHMR [22], el cual está optimizado para escenas multi-humanas y predice directamente el campo de visión (FoV) de la cámara a partir de las imágenes de entrada. Para abordar la falta de seguimiento de identidad en modelos de imagen única, el flujo de trabajo aprovecha las cajas delimitadoras 2D existentes del conjunto de datos JRDB con IDs de seguimiento consistentes para inicializar poses SMPL 3D coherentes ($P_{init}$) para cada seguimiento individual a lo largo del tiempo.
2. Localización 3D Global: Mientras que CameraHMR estima las poses en relación con un FoV estimado, el conjunto de datos JRDB proporciona intrínsecos de cámara precisos. El flujo de trabajo alinea las poses 3D predichas a la escena 3D global estimando una transformación rígida ($R, t$) que mapea las articulaciones del esqueleto 3D inicial a los puntos clave 2D anotados en JRDB utilizando el algoritmo Perspective-n-Point (PnP).
3. Anotación de Forma Consistente: Dado que la estimación por fotograma suele resultar en formas corporales inconsistentes para un mismo individuo, el flujo de trabajo impone la consistencia de la forma. Los anotadores inspeccionan visualmente las predicciones por fotograma para cada seguimiento, seleccionando el fotograma que mejor se ajusta como la forma representativa. Si es necesario, los parámetros de la forma se refinan manualmente utilizando una herramienta de anotación para asegurar una representación consistente para cada individuo a lo largo de su seguimiento.
4. Refinamiento de la Pose 3D Local: Tras finalizar las formas y orientaciones globales, se refinan las poses locales. La inicialización SMPL se optimiza minimizando la distancia entre las proyecciones de las articulaciones 3D y las anotaciones de pose 2D ($E_{data}$). Adicionalmente, se aplica un término de regularización temporal ($E_{smooth}$) para penalizar las diferencias temporales de segundo orden, asegurando trayectorias de movimiento suaves mientras se preserva la dinámica.
5. Inspección y Corrección Manual: La etapa final involucra a múltiples anotadores entrenados revisando las poses generadas. Ellos verifican la orientación de las extremidades, la consistencia temporal y la plausibilidad en el contexto de las interacciones, con especial atención a casos desafiantes como oclusiones severas y partes del cuerpo fuera de cuadro. Las correcciones se realizan utilizando un protocolo de anotación compartido.

Contribuciones Clave

El artículo presenta las siguientes contribuciones primarias:

• Conjunto de Datos JRDB-Pose3D: Un conjunto de datos de estimación de pose y forma humana (HPS) 3D multi-persona a gran escala y en el mundo real. Presenta IDs de seguimiento consistentes por sujeto, etiquetas de oclusión por punto clave y anotaciones basadas en SMPL. El conjunto de datos contiene un promedio de 5 a 10 poses humanas por fotograma, con algunas escenas que presentan hasta 35 individuos simultáneamente.
• Anotaciones Multimodales Enriquecidas: Más allá de las poses 3D, el conjunto de datos hereda todas las anotaciones del JRDB original, incluyendo poses 2D, agrupación social, actividades grupales, máscaras semánticas de la escena completa con seguimiento consistente de humanos/objetos, y atributos individuales detallados (edad, género, raza).
• Evaluación de Referencia (Benchmarking): Los autores evalúan métodos de vanguardia de estimación de pose multi-persona, seguimiento de pose y predicción de acción consciente de la pose sobre JRDB-Pose3D para evaluar las fortalezas del conjunto de datos y las limitaciones actuales de los métodos existentes al manejar escenarios concurridos del mundo real.

Resultados y Características del Conjunto de Datos

El artículo destaca varias características y desafíos únicos de JRDB-Pose3D en comparación con conjuntos de datos existentes como WorldPose:

• Densidad de Multitud: El conjunto de datos exhibe una distribución de cola larga de densidad de multitud, con fotogramas que contienen hasta 35 poses, significativamente mayor que la densidad promedio en conjuntos de datos comparables.
• Punto de Vista y Distancia: Capturado desde una cámara montada en un robot a la altura de un humano, el conjunto de datos ofrece una vista panorámica de 360° con poses distribuidas dentro de una distancia promedio de 5 a 10 metros. Esto contrasta con los conjuntos de datos cenitales (ej. WorldPose) donde los sujetos suelen estar lejos (promedio de ~80m) y son vistos desde un ángulo limitado.
• Oclusión y Dificultad: El conjunto de datos se caracteriza por oclusiones frecuentes y severas, cuerpos truncados y partes del cuerpo fuera de cuadro debido a la proximidad del robot con los sujetos y la naturaleza concurrida de las escenas. Las estadísticas indican una alta prevalencia de articulaciones 2D ocluidas e invisibles, clasificando una parte significativa de las poses como "difíciles" para la recuperación 3D.
• Calidad de Anotación: El proceso de verificación manual asegura anotaciones de alta calidad y temporalmente coherentes, adecuadas para evaluar la estimación y el seguimiento de pose 3D multi-persona robustos.

Significancia

El artículo afirma que JRDB-Pose3D sirve como un recurso vital para avanzar la investigación en tareas derivadas socialmente conscientes. Al proporcionar un banco de pruebas que refleja de cerca las complejidades de la percepción robótica en el mundo real —específicamente entornos dinámicos y concurridos con oclusiones frecuentes e interacciones diversas— permite el desarrollo y la evaluación de métodos más robustos de estimación, seguimiento y predicción de pose 3D multi-persona. La naturaleza integral de las anotaciones (combinando HPS con datos sociales y semánticos) posiciona al conjunto de datos como un referente holístico para la comprensión de escenas centradas en humanos, yendo más allá de los entornos de laboratorio controlados para abordar los desafíos de las aplicaciones en el mundo real.