Seq-DeepIPC: Sequential Sensing for End-to-End Control in Legged Robot Navigation

Resumen Técnico: Seq-DeepIPC: Detección Secuencial para el Control de Extremo a Extremo en la Navegación de Robots con Piernas

Planteamiento del Problema
La navegación robótica moderna depende cada vez más de arquitecturas de aprendizaje de extremo a extremo que mapean datos sensoriales brutos directamente a comandos de control. Sin embargo, el despliegue de estos sistemas en robots con piernas en entornos no estructurados del mundo real presenta desafíos significativos. Los enfoques existentes suelen sufrir de: (1) Inconsistencia Temporal, donde la percepción de un solo fotograma es susceptible al aliasing y al ruido, particularmente dada la oscilación de cabeceo de la cámara de alta frecuencia inherente a las marchas de los robots con piernas; (2) Inestabilidad de la Orientación (Heading), donde la dependencia de magnetómetros basados en IMU introduce deriva debido a la interferencia magnética en entornos urbanos; y (3) Generalización Limitada, ya que la mayoría de los sistemas validados están diseñados para robots con ruedas en carreteras estructuradas, fallando al generalizarse a terrenos mixtos como césped, escaleras y superficies irregulares.

Metodología
Los autores proponen Seq-DeepIPC, un marco de percepción-control de extremo a extremo, secuencial y multitarea, diseñado específicamente para la navegación de robots con piernas. La arquitectura consta de dos componentes primarios:

1. Percepción y Construcción de BEV:

   • Entrada: El modelo ingiere secuencias cortas ($K$) de fotogramas RGB-D.
   • Codificador: Un codificador EfficientNet-B0 ligero procesa las entradas RGB secuenciales para extraer características latentes.
   • Cabezales Multitarea: El codificador impulsa dos cabezales de predicción: segmentación semántica (19 clases) y estimación de profundidad. La predicción de profundidad actúa como una tarea auxiliar para regularizar el codificador y forzar características conscientes de la geometría.
   • Proyección BEV: Los mapas de profundidad de verdad de campo se combinan con la segmentación predicha para generar mapas semánticos de Vista de Ojo de Pájaro (BEV). Estos mapas son codificados por un segundo EfficientNet-B0.
   • Fusión Temporal: Una Unidad de Recurrencia Gated (GRU) fusiona las características latentes de RGB y las características latentes de BEV a lo largo del tiempo. Esta ventana temporal se ajusta empíricamente para mitigar el temblor de la cámara causado por la marcha del robot, estabilizando la proyección BEV sin estabilización mecánica.

2. Planificación y Control:

   • Estimación de la Orientación (Heading): Para eliminar la deriva del IMU, el sistema deriva la orientación global únicamente a partir de coordenadas GNSS diferenciales utilizando una fórmula geodésica, descartando el magnetómetro.
   • Política de Control: El estado latente fusionado, concatenado con puntos de ruta transformados y velocidad, impulsa dos vías de control paralelas:
     • Una vía basada en PID que predice futuros puntos de paso para generar señales de control lateral y longitudinal.
     • Una vía MLP específica de comando que infiere acciones de control directamente del estado latente basándose en comandos discretos (recto, izquierda, derecha).
   • Mezcla (Blending): Un mecanismo de compuerta de confianza mezcla las salidas de los controladores PID y MLP para producir la acción final de control de posición-orientación $(x, y, \theta)$.

Contribuciones Clave
El artículo identifica tres novedades principales:

1. Percepción Temporal Consciente de la Locomoción: Un marco que integra entradas RGB-D secuenciales mediante una GRU, ajustado específicamente para estabilizar las proyecciones BEV contra las oscilaciones de alta frecuencia de las marchas de los robots con piernas.
2. Orientación Global Libre de Magnetómetro: Un método para derivar el rumbo basándose únicamente en correcciones GNSS diferenciales, eliminando eficazmente la deriva magnética común en entornos urbanos.
3. Evaluación Integral en Robots con Piernas: Una validación del sistema en un robot con piernas Unitree Go2 a través de terrenos mixtos (asfalto, césped, escaleras), demostrando que la fusión secuencial supera significativamente a las líneas base de un solo fotograma en el manejo de movimientos de cámara caóticos.

Resultados
Los autores evaluaron Seq-DeepIPC contra tres líneas base (Huang et al., AIM-MT y el modelo anterior DeepIPC) utilizando un nuevo conjunto de datos recolectado en un campus universitario.

• Rendimiento Cuantitativo: En pruebas offline, Seq-DeepIPC logró resultados competitivos o superiores en IoU de segmentación, MAE de profundidad, MAE de punto de paso y MAE de control en comparación con las líneas base. Notablemente, aumentar la longitud de la secuencia ($K$) de 1 a 3 produjo mejoras monotónicas para Seq-DeepIPC y la línea base DeepIC, mientras que los modelos no recurrentes (Huang, AIM-MT) no mostraron beneficio o sufrieron degradación con las entradas secuenciales.
• Eficiencia del Modelo: Seq-DeepIPC utiliza un codificador significativamente más ligero (EfficientNet-B0) en comparación con las líneas base (ResNet-50, EfficientNet-B3), lo que resulta en un tamaño de modelo menor (47.5 MB) manteniendo una alta precisión.
• Despliegue Cualitativo: Las pruebas online en el robot con piernas demostraron la trayectoria exitosa a través de carreteras, césped y escaleras. La fusión temporal suavizó con éxito las transiciones de los puntos de paso y los comandos de control.
• Limitaciones: El sistema exhibió deriva de navegación cerca de edificios altos debido al bloqueo de la señal GNSS y la interferencia de trayectoria múltiple que afectó la estimación del rumbo. Sin embargo, la percepción visual se mantuvo robusta, aislando la fuente del error a la localización y no a la red neuronal.

Significancia
El artículo afirma que Seq-DeepIPC extiende el alcance de la navegación de extremo a extremo más allá de los robots con ruedas hacia sistemas con piernas versátiles y conscientes del tiempo. Al integrar estrechamente la percepción multimodal (RGB-D + GNSS) con la fusión temporal y el aprendizaje multitarea, el marco aborda los desafíos específicos de la locomoción con piernas en entornos no estructurados. Los autores enfatizan que su enfoque cierra la brecha entre la detección inteligente y la toma de decisiones autónoma, proporcionando una solución robusta y ligera para el despliegue en el mundo real. El trabajo sugiere que, si bien el rumbo basado solo en GNSS tiene limitaciones en cañones urbanos densos, el sistema es altamente efectivo en áreas abiertas y terrenos mixtos, ofreciendo una vía práctica para la autonomía de los robots con piernas.