3D RL-DWA: A Hybrid Reinforcement Learning and Dynamic Window Approach for Goal-Directed Local Navigation in Multi-DoF Robots

Resumen Técnico: 3D RL-DWA para Navegación de Robots de Alto Grados de Libertad

Enunciado del Problema
La navegación autónoma en entornos 3D complejos y restringidos sigue siendo un desafío significativo para los sistemas robóticos de alto grado de libertad (DoF), particularmente cuando operan bajo condiciones sensoriales escasas. Los métodos tradicionales de planificación global a menudo fallan en entornos dinámicos y parcialmente conocidos, mientras que los planificadores locales estándar, como el Enfoque de la Ventana Dinámica (DWA), dependen de un ajuste de parámetros fijo que limita la adaptabilidad. Además, los enfoques híbridos existentes que combinan Aprendizaje por Refuerzo (RL) y DWA se han centrado predominantemente en el movimiento 2D en entornos estructurados, dejando un vacío en las soluciones para el control 3D de robots deformables de alto DoF (como microrobots) que deben optimizar simultáneamente el movimiento y la forma para navegar estructuras tortuosas como redes vasculares.

Metodología
Los autores proponen 3D RL-DWA, un marco híbrido que integra Aprendizaje por Refuerzo (RL) con un Enfoque de Ventana Dinámica 3D (DWA) personalizado para la navegación local de un robot deformable de 9 DoF. El sistema se modela como un elipsoide con 6 DoF para la pose (posición y orientación) y 3 DoF para la deformación de la forma a lo largo de sus ejes de simetría.

• Arquitectura de Control: El marco opera en un bucle cerrado donde un agente de RL observa el entorno (estado de la tarea y datos de escaneo láser escasos) y genera dos tipos de comandos:

  1. Parámetros DWA: El agente ajusta dinámicamente los factores de ponderación ($\alpha, \beta, \gamma, \zeta$) de la función de costo del DWA, que equilibra la velocidad, la dirección, el despeje de obstáculos y la alineación con el objetivo.
  2. Comandos de Velocidad: El agente genera directamente la velocidad angular ($\omega_x$) y las velocidades de deformación ($\dot{\delta}$).
     El módulo DWA utiliza luego estos parámetros para seleccionar la velocidad lineal óptima de un conjunto admisible, asegurando trayectorias libres de colisiones dentro de una ventana dinámica 3D.

• Formulación de Aprendizaje por Refuerzo: El problema se formula como un Proceso de Decisión de Markov (MDP) utilizando el algoritmo Soft Actor-Critic (SAC). El agente se entrena para maximizar una función de recompensa densa que fomenta el progreso hacia adelante, la evitación de colisiones y la maximización del volumen ocupado por el robot dentro del vaso. El espacio de observación incluye el estado de deformación del robot, la velocidad normalizada, el vector de desplazamiento hacia el objetivo y las $N$ distancias de escaneo láser.

• Cinemática: El movimiento del robot está gobernado por un modelo cinemático simplificado inspirado en sistemas ferrofluidos. Una restricción clave es que el eje x del robot está alineado con la dirección del movimiento, reduciendo el DoF rotacional controlable a un solo eje ($\omega_x$), mientras que los componentes rotacionales restantes son inducidos pasivamente por las restricciones de alineación.

Contribuciones Clave

1. Marco Híbrido Novel: El artículo presenta la primera aplicación de un híbrido RL-DWA específicamente para la navegación local 3D de robots deformables de alto DoF, abordando el vacío en el control de movimiento 3D para dichos sistemas.
2. Ajuste Adaptativo de Parámetros: A diferencia del DWA tradicional que requiere un ajuste manual, el método propuesto utiliza RL para ajustar dinámicamente los pesos de la función de costo del DWA en tiempo real basándose en las condiciones ambientales y la escasez de sensores.
3. Control Simultáneo de Movimiento y Forma: El marco co-optimiza la pose y la deformación de la forma, permitiendo al robot maximizar su ocupación de volumen mientras navega espacios restringidos.
4. Robustez ante Sensado Escaso: El sistema se evalúa explícitamente bajo niveles variables de datos exteroceptivos (15, 25 y 50 puntos de sensor), demostrando adaptabilidad en condiciones típicas de aplicaciones biomédicas donde el sensado de alta resolución es limitado.

Resultados Experimentales
El marco se evaluó en un entorno simulado de red vascular utilizando 1.080 ensayos experimentales a través de escenarios de entrenamiento y pruebas no vistas.

• Comparación de Rendimiento: El 3D RL-DWA superó significativamente tanto a una línea base de RL puro (SAC) como a un controlador basado en modelos (utilizando triangulación de Delaunay y grafos de Voronoi).
  • Completación de Trayectoria: En escenarios de prueba no vistos con sensado de alta resolución ($N=50$), el 3D RL-DWA logró una completación de trayectoria casi perfecta (mediana ~99,22%), mientras que la línea base de RL puro tuvo dificultades (mediana ~45,75%) y el método basado en modelos falló por completo a resoluciones más bajas.
  • Deformación: El enfoque híbrido mantuvo altas capacidades de deformación (mediana ~53-57% de ocupación de volumen) a través de las resoluciones, mientras que el RL puro mostró un rendimiento de deformación degradado a menores densidades de sensores debido a fallos de navegación.
• Impacto de la Resolución del Sensor: Una mayor resolución del sensor ($N=50$) mejoró la velocidad de convergencia y la reproducibilidad. Sin embargo, el sistema demostró robustez incluso a resoluciones intermedias ($N=25$), mientras que $N=15$ resultó en una fiabilidad de navegación reducida pero preservó cierta capacidad de deformación.
• Eficiencia Computacional: El sistema demostró idoneidad en tiempo real con tiempos de inferencia medios consistentemente por debajo de 2 ms por paso de control. El componente de RL fue constante en el tiempo, mientras que el componente DWA escaló linealmente con los puntos del sensor pero permaneció eficiente.
• Robustez ante Ruido: Bajo ruido gaussiano creciente, el 3D RL-DWA mantuvo tasas de completación de trayectoria superiores en comparación con las líneas base, aunque el rendimiento se degradó naturalmente con el ruido. El control de deformación demostró ser intrínsecamente más robusto al ruido del sensor que la navegación.

Significado y Afirmaciones
Los autores afirman que el marco 3D RL-DWA cierra efectivamente la brecha entre la adaptabilidad de los métodos basados en aprendizaje y la guía estructurada de los planificadores clásicos. El enfoque híbrido se presenta como una solución que logra un equilibrio que ni el aprendizaje puro ni los métodos puramente basados en modelos pueden proporcionar en entornos 3D restringidos.

El artículo enfatiza que este método es particularmente efectivo para aplicaciones biomédicas emergentes, como el control autónomo de microrobots para intervenciones mínimamente invasivas, donde los robots deben navegar entornos no estructurados con sensado escaso. Los resultados sugieren que integrar RL para ajustar los parámetros del DWA permite una navegación robusta y adaptable que se generaliza bien a secuencias de puntos de referencia no vistas y a incertidumbres de sensores, convirtiéndolo en un candidato viable para su implementación en tiempo real en espacios 3D complejos.