Resumen Técnico: Conjunto de Datos ACME para la Navegación Social

Declaración del Problema

La navegación de robots sociales requiere que los agentes autónomos se desplacen de manera eficiente y natural dentro de entornos humanos dinámicos, adhiriéndose al mismo tiempo a normas culturales implícitas y dependientes del contexto. A diferencia de la conducción autónoma, que se beneficia de reglas estructuradas (por ejemplo, marcas de carril, semáforos), los robots de servicio móviles deben navegar en espacios no estructurados donde las normas sociales varían significamente según la cultura, la ubicación geográfica y la morfología del robot.

Los conjuntos de datos existentes para la navegación social y la predicción de trayectorias de peatones sufren limitaciones críticas:

• Falta de Diversidad: La mayoría de los conjuntos de datos se recolectan en una sola ubicación o país, fallando al capturar la varianza en el comportamiento de los peatones impulsada por el contexto cultural (por ejemplo, el lado preferido para caminar, el espacio personal).
• Embodiment (Morfología) Limitado: Los trabajos previos suelen centrarse en un único factor de forma de robot, ignorando cómo la morfología del robot influye en la interacción humana y en las expectativas de navegación.
• Complejidad Insuficiente: Muchos conjuntos de datos carecen de escenarios desafiantes "en el mundo real" (in-the-wild), tales como multitudes de alta densidad, esquinas ciegas y pasillos estrechos, o dependen de modelos humanos simplificados que no se generalizan a la conformidad social del mundo real.
• Brechas de Datos: Existe una escasez de conjuntos de datos que combinen la navegación de robots orientada a objetivos con la interacción humano-robot explícita (por ejemplo, el habla) y trayectorias de peatones verificadas y con métricas de base en diversos entornos culturales.

Metodología

Los autores presentan ACME (A Cross-cultural, Multi-Embodiment dataset for social navigation), un esfuerzo de recolección de datos a gran escala que abarca 8 sitios en 5 países (Singapur, Japón, EE. UU., España, Alemania) utilizando 7 morfologías de robot distintas.

Estrategia de Recolección de Datos

• Plataformas Robóticas: El conjunto de datos utiliza 5 tipos de robots visualmente distintos: 2 cuadrúpedos (Unitree GO1/GO2), 2 robots de tracción diferencial tipo maleta (operados por humanos), 1 robot tipo rover y 2 robots de servicio móvil (por ejemplo, Stretch 2, Shadow Robot).
• Directrices de Teleoperación: Para asegurar interacciones naturales, se instruyó a los teleoperadores para que se mantuvieran lo más lejos posible del robot de forma segura (configuración Wizard of Oz) para evitar influir en el comportamiento de los peatones. También se les guió para fijar objetivos de navegación a priori y marcar segmentos de trayectoria (Inicio/Fin/Descartar).
• Habla del Robot: Un subconjunto de los datos (NUS, UEx, Miraikan, Keio) incluye interacciones explícitas de habla del robot. Los teleoperadores activaron expresiones específicas ("Disculpe", "Atención, robot aquí", "Por favor, ceda el paso") a través de una interfaz para estudiar las políticas de interacción con la multitud.
• Sensores: Todos los robots estaban equipados con sensores integrados, incluyendo cámaras RGB, LiDAR y odometría. Un subconjunto de las ubicaciones también contó con cámaras de vista aérea (Bird's-Eye View - BEV) para el seguimiento de peatones.

Procesamiento y Anotación de Datos

• Anonimización: Para cumplir con los requisitos de la Junta de Revisión Institucional (IRB) en los diferentes países, los datos se sometieron a distintos niveles de anonimización (desde el desenfoque facial hasta la segmentación de cuerpo completo). Para compensar la pérdida de información, los autores proporcionan cajas delimitadoras (bounding boxes), máscaras de segmentación y puntos clave de la pose (pose keypoints) para los peatones anonimizados.
• Verificación de Trayectorias: Las trayectorias de los peatones desde las cámaras BEV fueron rastreadas inicialmente mediante herramientas automatizadas (ByteTrack) y luego verificadas por humanos a 10 Hz. Los autores desarrollaron una herramienta de anotación personalizada para corregir errores de seguimiento (por ejemplo, cambios de ID, detecciones perdidas, rupturas de trayectoria).
• Transformación de Coordenadas: Las coordenadas de píxeles 2D de las cámaras BEV se transformaron en coordenadas métricas del plano de tierra utilizando la estimación de homografía derivada de AprilTags o puntos clave estacionarios.
• Etiquetado de Escenarios: Las trayectorias de los robots fueron etiquetadas manualmente con etiquetas de escenario (por ejemplo, pasillos estrechos, intersecciones, esquinas ciegas, grupos conversacionales pasando) para facilitar el filtrado específico por escenario.

Contribuciones Clave

1. Escala y Diversidad: ACME es el conjunto de datos de navegación social más grande (por duración) y diverso hasta la fecha, contando con 29.35 horas de datos de a bordo del robot y 43.5 horas de seguimiento de peatones desde la vista aérea en 5 países y 7 morfologías de robot.
2. Trayectorias BEV Etiquetadas por Humanos: Proporciona el mayor conjunto de datos de predicción de trayectorias de peatones en vista aérea (Bird's-Eye View) etiquetado por humanos con transformaciones de coordenadas métricas, abordando la falta de datos verificados y con base métrica en trabajos previos.
3. Análisis Transcultural y de Multi-Morfología: El conjunto de datos captura explícitamente las variaciones en el comportamiento de navegación a través de diferentes culturas y morfologías de robot, permitiendo el estudio de normas sociales conscientes del contexto.
4. Integración de Habla del Robot: Incluye un subconjunto único de datos que capturan interacciones explícitas de habla entre el robot y la multitud, permitiendo el estudio de políticas de comunicación verbal en la navegación.
5. Benchmarks Exhaustivos: Los autores proporcionan evaluaciones extensas de modelos de navegación por visión de vanguardia (ViNT, NoMAD) y modelos de predicción de trayectorias (SocialGAN, AgentFormer, MoFlow, etc.) sobre el conjunto de datos, demostrando los desafíos que plantea ACME en comparación con los benchmarks existentes.

Resultados y Análisis

Características del Conjunto de Datos

• Complejidad de los Escenarios: En comparación con conjuntos de datos previos (SCAND, MuSoHu), ACME captura una distribución más amplia de escenarios desafiantes. Presenta una mayor densidad de peatones cerca del robot y una transitabilidad más restringida (pasillos estrechos, esquinas ciegas).
• Tasas de Fallo del Planificador: Al ser evaluado frente a un planificador geomético (TEB), las escenas de ACME resultaron en 2 veces más fallos del planificador por minuto y 4 veces más fallos por cada 5 metros en comparación con SCAND, lo que indica que ACME captura escenarios donde los planificadores geométricos estándar tienen dificultades significativas.
• Rendimiento de los Modelos de Navegación: Los modelos de navegación fundacionales de vanguardia (ViNT, NoMAD) entrenados con conjuntos de datos existentes (SCAND) mostraron un rendimiento degradado en ACME, con mayores errores de destino final (FDE) y errores de orientación, resaltando la brecha de generalización.
• Predicción de Trayectorias: Los modelos de predicción de trayectorias de vanguardia funcionaron peor en ACME que en los conjuntos de datos ETH/UCY. Al filtrar solo por peatones dinámicos, la caída en el rendimiento fue aún más significativa (caídas de ADE/FDE de ~0.38m/0.72m), lo que sugiere que ACME captura dinámicas de movimiento humano complejas que no están presentes en los conjuntos de datos más antiguos y pequeños.

Perspectivas de Comportamiento

• Diferencias Culturales: El análisis de las preferencias de lado de paso reveló que los peatones en EE. UU. y Alemania pasan predominantemente por la derecha, mientras que aquellos en Japón y Singapur mostraron una tendencia a pasar por la izquierda, aunque esto fue menos pronunciado en pasillos estrechos.
• Velocidad y Densidad: Las velocidades de caminata variaron significamente según la ubicación; las ubicaciones exteriores (Alemania, Singapur) mostraron velocidades más altas, mientras que los entornos de museos (Miraikan) y las áreas de alta densidad mostraron velocidades más bajas.
• Espacio Personal: Se encontró que el espacio personal lateral era más estrecho en entornos de pasillos en comparación con espacios abiertos, lo que sugiere que las restricciones ambientales prevalecen sobre las normas culturales en espacios reducidos.

Significado y Reivindicaciones

El artículo afirma que ACME aborda una brecha fundamental en la investigación de la robótica social al proporcionar una base basada en datos para aprender políticas de navegación que sean robustas a las variaciones culturales y de morfología. Los autores sostienen que:

• ACME es el primer conjunto de datos que captura sistemáticamente la navegación social a través de múltiples contextos culturales y morfologías de robot.
• La diversidad y complejidad del conjunto de datos lo convierten en un benchmark crítico para evaluar las capacidades de generalización de los modelos actuales de navegación y predicción de trayectorias.
• La inclusión de trayectorias métricas verificadas y etiquetas de escenario permite a los investigadores desarrollar y probar políticas de navegación social conscientes del contexto y conscientes de la morfología, yendo más allá de las limitaciones de los estudios de una sola ubicación o un solo robot.
• El conjunto de datos facilita el estudio del habla del robot como una herramienta para la gestión proactiva de la multitud, una característica ausente en la mayoría de los conjuntos de datos anteriores.

Los autores concluyen que ACME servirá como un recurso para avanzar en la investigación de la navegación social, particularmente en el desarrollo de modelos que puedan adaptarse a las normas matizadas, implícitas y culturalmente dependientes de los espacios compartidos con humanos.