Learning Social Robot Navigation By Sensing Human Legs

Resumen Técnico: Aprendizaje de la Navegación de Robots Sociales Mediante la Detección de Piernas Humanas

Planteamiento del Problema
La navegación social para robots móviles en entornos poblados enfrenta una brecha crítica entre la realidad de los sensores y el modelado algorítmico. La mayoría de los robots móviles utilizan sensores LiDAR 2D montados a 10–20 cm del suelo. A esta "altura de los tobillos", el sensor no percibe a los peatones como cuerpos cilíndricos o discos unificados; en su lugar, detecta dos pequeños grupos de puntos que se mueven de forma independiente, correspondientes a las piernas inferiores. Además, los haces de LiDAR estándar suelen omitir el zapato que sobresale por debajo del plano de escaneo, creando un punto ciego para obstáculos que se extienden hacia adelante desde el tobillo.

A pesar de esta realidad física, la mayoría de los métodos de navegación basados en aprendizaje aproximan a los peatones como agentes circulares simples, ignorando la dinámica de las piernas y la geometría del pie. Esta simplificación crea una brecha de "sim-to-real" donde las políticas entrenadas en modelos basados en discos fallan al no considerar los patrones específicos de oclusión y movimiento observados por los sensores a la altura de los tobillos. Adicionalmente, los enfoques existentes suelen depender de un seguimiento explícito de peatones y de la predicción de trayectorias, lo cual es computacionalmente costoso y propenso a fallos en despliegues del mundo real, o bien fallan al no imponer explícitamente normas sociales como el ceder el paso.

Metodología
El artículo propone CALF (Atención Convolucional para Características de Piernas), una arquitectura neuronal de extremo a extremo diseñada para interpretar escaneos LiDAR brutos directamente en comandos de navegación seguros sin necesidad de detección o seguimiento explícito de peatones.

1. Entorno de Simulación (LegNav):
   Para entrenar CALF, los autores desarrollaron LegNav, un simulador 2D ligero y personalizado implementado en JAX para una ejecución de alto rendimiento en GPU. LegNav integra tres componentes clave:

   • Modelo de Marcha Sin Deslizamiento (NSG - Non-Slip Gait): Un modelo novedoso de dinámica de peatones que representa a los humanos no como un solo disco, sino como dos pies alternantes con huellas rectangulares. El modelo simula explícitamente las fases de "apoyo" (stance) y "balanceo" (swing) de la marcha, anclando el pie de apoyo mientras el pie de balanceo interpola hacia un objetivo dinámico. Esto reproduce los grupos de piernas alternantes y la protuberancia del zapato invisible para el LiDAR.
   • Trazado de Rayos LiDAR: El simulador realiza el trazado de rayos contra los discos individuales de las piernas y los rectángulos de los zapatos, generando datos sensoriales brutos que imitan la firma específica de "dos grupos" de un LiDAR a la altura de los tobillos.
   • Dinámica Humana: El movimiento de los peatones está gobernado por el Modelo de Fuerza Social con Orientación (HSFM), que desacopla la orientación del cuerpo de la velocidad para simular un movimiento humano no holonómico realista.

2. Arquitectura CALF:
   CALF es una red híbrida de extremo a extremo que combina:

   • Codificador CNN 1D: Un codificador convolucional de pesos compartidos que procesa un stack temporal de $N$ fotogramas de LiDAR para extraer características relacionadas con las piernas.
   • Autoatención Temporal: Un módulo de atención de múltiples cabezales procesa la secuencia de tokens de características para inferir implícitamente el movimiento de las piernas y la dinámica del entorno a través del tiempo, evitando la necesidad de un seguimiento explícito.
   • Fusión MLP: Las características espaciotemporales del LiDAR se fusionan con el estado cinemático del robot y el vector de objetivo, se procesan mediante un Perceptrón de Capas Múltiples (MLP) y se derivan a las cabezas de Actor-Crítico.

3. Marco de Entrenamiento:
   La política se entrena utilizando Aprendizaje por Refuerzo Profundo (DRL) con tres algoritmos: PPO (on-policy), SAC (off-policy con entropía) y TQC (distribuido off-policy).

   • Modelado de Recompensa (Reward Shaping): La función de recompensa equilibra la eficiencia de la navegación (progreso, velocidad) con el cumplimiento social. Crucialmente, se introduce una novedosa Recompensa de Ceder el Paso (Yielding Reward) para incentivar explícitamente al robot a detenerse cuando un peatón entra en una zona frontal de cesión.
   • Aprendizaje por Currículo: El entrenamiento comienza con escenarios simples y desbloquea progresivamente dinámicas de multitud complejas (por ejemplo, cuellos de botella, intersecciones) basadas en la tasa de éxito del agente.
   • Modo Fantasma (Ghost Mode): Durante el entrenamiento, los peatones son ajenos al robot (modo fantoma), obligando a la política a aprender la evasión activa. Durante la evaluación, el modo fantasma se desactiva para simular la interacción real.

Contribuciones Clave

1. Arquitectura CALF: Una novedosa red híbrida de extremo a extremo (1D-CNN + Atención + MLP) diseñada específicamente para procesar características de piernas alternantes a partir de datos de LiDAR 2D.
2. Modelo de Marcha Sin Deslizamiento (NSG): Un modelo de simulación que reproduce con precisión la dinámica de la marcha humana y los efectos de oclusión a nivel de sensor (protuberancia del zapato, grupos de piernas alternantes) que los modelos basados en discos ignoran.
3. Simulador LegNav: Un simulador 2D basado en JAX de alto rendimiento capaz de ejecutar miles de entornos paralelos, permitiendo el entrenamiento de políticas listas para despliegue en menos de una hora en una sola GPU de consumo.
4. Cumplimiento Social Explícito: La introducción de un mecanismo de recompensa por cesión y la métrica "Puntuación de Cesión" (Yielding Score) para imponer explícitamente comportamientos socialmente conformes (detenerse/esperar) en lugar de depender de que emerjan naturalmente.

Resultados Experimentales
Los autores evaluaron CALF frente a planificadores clásicos basados en modelos (DWA, MPPI) y otros baselines de RL de extremo a extremo (TAGD, VanillaE2E) en escenarios de prueba no vistos.

• Comparación de Algoritmos: Entre los algoritmos de DRL, PPO logró el mejor equilibrio, alcanzando una tasa de éxito del 95.1% con la tasa de colisión activa más baja (3.3%) entre los métodos de aprendizaje. También produjo las trayectorias más suaves (menor jerk angular) y mantuvo un alto cumplimiento de espacio. SAC y TQC convergieron más rápido pero exhibieron menor eficiencia de muestreo en el rendimiento final o tasas de colisión más altas.
• Estudio de Ablación (Pierna vs. Disco): Reemplazar el modelo de pierna NSG con una aproximación estándar de disco (CALF$_{PPO}$(discs)) causó una caída dramática en el rendimiento: la tasa de colisión activa aumentó de 3.3% a 24.5%, y la tasa de éxito cayó al 73.1%. La política basada en discos aprendió a ser agresiva y falló al ceder el paso, confirmando que modelar la dinámica de las piernas es crítico para la seguridad.
• Comparación con Baselines: CALF$_{PPO}$ superó a los planificadores clásicos (DWA, MPPI) en tasa de éxito y eficiencia, manteniendo una seguridad comparable. A diferencia de DWA, que a menudo se "congelaba" (alta puntuación de cesión pero alta tasa de tiempo de espera), CALF se detuvo cuando fue necesario y reanudó el movimiento de manera eficiente. Superó a otros baselines de RL (TAGD, VanillaE2E) en seguridad y suavidad de movimiento.
• Despliegue en el Mundo Real Zero-Shot: La mejor política (CALF$_{PPO}$) se desplegó en un TurtleBot 4 con un LiDAR a la altura de los tobillos sin ningún ajuste fino. El robot navegó con éxito en entornos interiores con 5–6 participantes humanos, demostrando una evasión proactiva y un comportamiento de cesión complaciente.

Significado
El artículo argumenta que la motivación principal de este trabajo es superar la discrepancia entre la simulación idealizada (peatones basados en discos) y la geometría física real de los sensores (grupos de piernas alternantes). Los resultados demuestran que simular la dinámica de las piernas articuladas a nivel de sensor es un factor clave para reducir la brecha de sim-to-real.

Los autores afirman que su enfoque logra un equilibrio óptimo entre el rendimiento de la tarea, la seguridad y el cumplimiento social, abordando un dilema común donde los planificadores clásicos son excesivamente conservadores (se detienen) y los métodos de aprendizaje existentes a menudo sacrifican la seguridad o la suavidad por la capacidad de procesamiento. El despliegue exitoso zero-shot valida que entrenar en un simulador de alta fidelidad y consciente de las piernas permite que las políticas se generalicen a las restricciones físicas del mundo real sin necesidad de adaptación de dominio.