Resumen Técnico: SidewalkBench

Planteamiento del Problema

La navegación por aceras urbanas presenta desafíos significativos para los robots móviles autónomos, incluyendo bots de entrega, sillas de ruedas eléctricas y patinetes eléctricos. Estos desafíos derivan de configuraciones estructurales complejas, comportamientos peatonales dinámicos y el requisito de navegación de larga distancia. Aunque los modelos fundacionales de navegación visual recientes han mostrado potencial utilizando cámaras RGB monoculares, su evaluación en aceras urbanas se ha visto obstaculizada por la falta de benchmarks unificados. Los estudios existentes suelen depender de experimentos de escala limitada (por ejemplo, ensayos de horizonte corto de menos de 10 metros), carecen de diversidad estructural y no logran aislar el impacto de comportamientos peatonales específicos en el rendimiento del modelo. Además, los benchmarks de navegación social existentes se centran principalmente en entornos interiores, dejando un vacío crítico para la evaluación estandarizada y reproducible en entornos urbanos exteriores.

Metodología

Para abordar estas brechas, los autores proponen SidewalkBench, un benchmark integral construido sobre NVIDIA Isaac Sim. La metodología se estructura en torno a tres componentes principales:

1. Plataforma de Simulación y Generación de Escenas

SidewalkBench utiliza dos tipos de escenas complementarios para equilibrar la diversidad y el realismo:

• Escenas Generadas Proceduralmente: Utilizando una canalización inspirada en MetaUrban y Urban-Sim, los autores definen 7 tipos de bloques primitivos (rectos, curvas, intersecciones) conectados mediante rutas basadas en splines. Estos bloques se dividen en zonas funcionales (carreteras, aceras, bordillos, etc.) y se pueblan con activos de la base de datos UrbanVerse-100K. Esto genera 100 entornos a gran escala (2 km × 2 km cada uno) para probar la generalización.
• Escenas Escaneadas del Mundo Real: Para asegurar una alta fidelidad visual y geométrica, se escanearon 11 bloques de calles del mundo real utilizando una cámara espacial con LiDAR y se reconstruyeron mediante 3D Gaussian Splatting (3DGS). Estas escenas se convierten a formatos listos para simulación, con un promedio de 150 m × 150 m.

2. Simulación de Peatones

Se emplea un enfoque de dos niveles para simular comportamientos peatonales reactivos:

• Comportamientos de Alto Nivel: Los comportamientos basados en eventos se modelan mediante grafos de comportamiento y máquinas de estado. Estos se activan dinámicamente según la posición relativa del peatón respecto al robot, cubriendo escenarios como cruce, formación de filas, conversación y gestualidad.
• Animación de Bajo Nivel: Para superar los cuellos de botella de renderizado y la limitada diversidad de movimiento en los simuladores existentes, los autores desarrollaron una canalización personalizada utilizando el modelo corporal humano SMPL. Los peatones se renderizan como mallas SMPL texturizadas o avatares 3DGS basados en SMPL, controlados por modelos de generación de movimiento humano. Esta canalización logra una mejora de 60 veces en la eficiencia de renderizado en comparación con los módulos estándar de Isaac Sim, permitiendo la evaluación paralela a gran escala.

3. Definición de Escenarios

El benchmark define tres categorías de prueba distintas:

• Escenarios de Pruebas Unitarias (330 en total): Tareas de horizonte corto (10–20 m) en bloques rectos, curvos y de paso de peatones sin peatones, enfocándose en el seguimiento de carril y la evitación de colisiones estáticas.
• Escenarios Reactivos a Peatones (800 en total): Tareas que involucran a uno o más peatones con comportamientos específicos basados en eventos (por ejemplo, obstrucción, conversación, cruce lateral, gestualidad) para evaluar la seguridad y la interacción social.
• Escenarios de Largo Horizonte (105 en total): Tareas que requieren el recorrido de distancias >100 m (totalizando 36.5 km) para imitar el despliegue en el mundo real, evaluando la robustez durante periodos extendidos.

Contribuciones Clave

1. Benchmark SidewalkBench: Un marco unificado para el testeo y la comparación estandarizada de modelos de navegación visual en aceras urbanas.
2. Plataforma de Simulación: Un entorno de alta fidelidad y acelerado por GPU que cuenta con diversas escenas generadas proceduralmente y escaneadas del mundo real, junto con un módulo de simulación de peatones eficiente y flexible.
3. Evaluación Integral: Un análisis detallado de 9 modelos de navegación visual representativos a través de los tres tipos de escenarios, identificando modos de fallo específicos y cuellos de botella.

Resultados Experimentales

Los autores evaluaron 9 modelos, incluyendo modelos fundacionales generales (ViNT, NoMad, MBRA, InternVLA-N1) y modelos específicos para aceras (MIMIC, S2E, CityWalker, FlowPilot, OpenPilot).

• Escalado de Datos: El rendimiento se correlaciona fuertemente con el volumen de datos de entrenamiento específicos de aceras. Los modelos entrenados con datos de aceras (por ejemplo, OpenPilot con 1,000 horas) superaron significativamente a los modelos fundacionales generales.
• Interacción con Peatones: Los modelos tienen dificultades significativas con las interacciones sociales complejas. Las tasas de éxito cayeron drásticamente en escenarios que involucran grupos sociales (conversación, formación de filas) y gestos específicos. El escenario de "Cruce de Peatones" arrojó una tasa de éxito casi nula (0.01) para el modelo promedio, resaltando las dificultades para manejar aproximaciones multidireccionales y reglas de paso de peatones.
• Robustez de Largo Horizonte: Incluso el modelo con mejor desempeño (OpenPilot) experimentó 1.34 fallos por cada 100 metros en escenarios de largo horizonte. Para una ruta de entrega típica de 2 km, esto implica que se requerirían aproximadamente 26.6 intervenciones humanas.
• Utilidad de los Datos Sintéticos: Un experimento preliminar de ajuste fino (fine-tuning) demostó que entrenar con datos sintéticos generados por SidewalkBench mejoró sustancialmente el rendimiento tanto en simulación como en escenarios reactivos a peatones del mundo real (por ejemplo, aumentando las tasas de éxito para "Ped-Crossing" de 0.11 a 0.69 en simulación).

Significado y Reivindicaciones

El artículo afirma que SidewalkBench llena un vacío crítico en la comunidad de robótica autónoma al proporcionar el primer benchmark dedicado a la navegación a gran escala y dinámica en aceras urbanas. Los autores sostienen que sus hallazgos resaltan dos cuellos de botella primarios para la tecnología actual: una falta de comprensión del comportamiento peatonal (particularmente respecto a gestos y grupos sociales) y una robustez de largo horizonte insuficiente.

La importancia del trabajo radica en su demostración de que escalar los datos de entrenamiento de aceras mediante simulación sintética es una solución prometedora para estas limitaciones. Los autores concluyen que, si bien los modelos actuales muestran potencial, se requiere una investigación sustancial para lograr una operación totalmente autónoma y segura en espacios públicos, y SidewalkBench sirve como una herramienta necesaria para guiar este desarrollo mediante una evaluación estandarizada y reproducible.