Vision-based Goal-Reaching Control for Mobile Robots Using a Hierarchical Learning Framework

Resumen Técnico: Control Robusto de Alcance de Objetivos Basado en Visión para Robots Móviles Mediante un Marco de Aprendizaje Jerárquico

Planteamiento del Problema
El alcance fiable de objetivos para robots móviles de gran escala (por ejemplo, plataformas de tracción por deslizamiento de 6000 kg) en entornos hostiles y parcialmente conocidos (minería, construcción, silvicultura) sigue siendo un desafío. Si bien el Aprendizaje por Refuerzo (RL) ofrece un alto rendimiento, su despliegue en robots pesados se complica por preocupaciones de seguridad, dinámicas de actuadores no lineales complejas y el riesgo de fallos sistemáticos. Los enfoques de RL existentes a menudo asumen una actuación de bajo nivel perfecta o están diseñados para robots más ligeros, fallando al abordar las restricciones específicas de las cadenas de actuadores integrados en las ruedas, las perturbaciones inducidas por el deslizamiento y la necesidad de garantías formales de seguridad en la operación en tiempo real.

Metodología
El artículo propone un marco de control jerárquico y consciente de la seguridad que integra cuatro capas distintas:

1. Localización Visual: El sistema utiliza ORB-SLAM3 como una interfaz de estimación de pose visual estéreo en tiempo real. Proporciona la pose planar del robot ($x, y, \theta$) al planificador y al supervisor, contando con capacidades de cierre de bucle (loop closing), fusión de mapas y relocalización para funcionar sin GNSS.
2. Planificador de Movimiento de RL con Restricciones: Un agente de Q-learning discreto genera referencias de movimiento suaves y factibles.
   • Estado y Acción: El espacio de estados discretiza la distancia al objetivo, el error de orientación, la velocidad lineal y la velocidad angular. Crucialmente, el agente genera aceleraciones ($a_v, a_\omega$) en lugar de velocidades directas para asegurar la suavidad.
   • Modelado de Recompensa (Reward Shaping): La función de recompensa combina el progreso de la tarea (reducción de distancia, penalizaciones por tiempo agotado) con términos de modelado específicos para suprimir oscilaciones, imponer la monotonicidad de la orientación y penalizar cambios de signo cerca del objetivo.
   • Restricciones de la Política: El planificador incorpora histéresis y lógica de bloqueo cero (anulando la aceleración angular a cero cuando está alineado con el objetivo) para eliminar los oscilaciones residuales de orientación típicos de los robots pesados de tracción por deslizamiento.
3. Control a Nivel de Actuador (DNN + RAC):
   • Feedforward: Una Red Neuronal Profunda (DNN) entrenada mediante Conjugado Gradiente Escalado (SCG) aproxima un mapa de alimentación hacia adelante (feedforward) cuasi-estático de la velocidad de rueda deseada al control nominal. Este mapa se entrena fuera de línea con datos recolectados de terrenos de asfalto y suelo suelto.
   • Feedback: Un Controlador Adaptativo Robusto (RAC) con una función de barrera logarítmica compensa los errores de modelado residuales, el deslizamiento y las incertidumbres acotadas. La ley de control asegura un seguimiento Uniformemente Acotado Últimamente (UUB) con convergencia exponencial hacia un conjunto residual dependiente de la perturbación.
4. Lógica de Seguridad Supervisora: Un supervisor muestreado monitorea el sistema en busca de violaciones de los límites de seguridad (usando una barrera logarítmica basada en la distancia a un círculo de seguridad) e inconsistencias de localización (por ejemplo, saltos anormales de pose). Al detectar fallos o condiciones inseguras, activa un perfil de frenado determinista y cambia el robot a un modo de retorno seguro, guiándolo de vuelta a un sitio de inspección predefinido.

Contribuciones Clave
Los autores enfatizan que la novedad no reside en inventar nuevos algoritmos de SLAM, RL o control, sino en su integración y realización específica para el problema en una plataforma pesada fuera de carretera:

1. Integración: Acoplar ORB-SLAM3, Q-learning con restricciones, DNNs entrenadas por SCG y RAC en un único stack de control para un robot de 6000 kg.
2. RL Consciente de Restricciones: Diseñar un planificador de Q-learning con acciones basadas en aceleración, modelado de recompensa específico para la suavidad y lógica de tiempo de ejecución (histéresis/bloqueo cero) adaptada a la dinámica de un pesado robot de tracción por deslizamiento.
3. Realización del Actuador: Implementar un mapa feedforward de DNN aprendido combinado con un RAC de barrera logarítmica para manejar las no linealidades e incertidumbres de las cadenas de actuadores integrados en las ruedas.
4. Supervisor de Seguridad: Desarrollar un supervisor de máquina de estados que detecta fallos de localización y aplica una trayectoria de retorno seguro, validada mediante escenarios de inyección de fallos.
5. Validación Experimental: Validar el marco completo en un robot de 6000 kg a través de terrenos de asfalto y suelo suelto, demostrando la recuperación autónoma tras la inyección de fallos.

Resultados Experimentales
Los experimentos se realizaron en un robot de tracción por deslizamiento de 6000 kg durante 3.5 km de operación (50% asfalto, 50% suelo blando).

• Alcance de Objetivos: El sistema logró un Error Cuadrático Medio (RMSE) de posición final de aproximadamente 3–4 cm (0.0317 m en asfalto, 0.0382 m en suelo blando) en el marco de estimación de SLAM.
• Rendimiento de Seguimiento: El RAC basado en DNN superó significativamente a los modelos de referencia (RAC de Backstepping y RAC basado en modelo) en términos de error en estado estacionario, tiempo de pico y sobreimpulso máximo. La combinación de la alimentación hacia adelante por DNN y el feedback adaptativo redujo el RMSE lateral a 0.008 m/s, comparado con ~0.039 m/s solo con la alimentación hacia adelante.
• Seguridad y Recuperación de Fallos: En escenarios de inyección de fallos (inconsistencias de localización simuladas), el supervisor detectó con éxito la violación, inició el frenado y regresó autónomamente el robot al área de inspección segura.
• Estudios de Ablación: Eliminar la lógica de histéresis o de bloqueo cero aumentó las reversiones de orientación y las oscilaciones cerca del objetivo, confirmando la necesidad de estos componentes diseñados manualmente para estabilizar la política aprendida.

Significado y Pretensiones
El artículo pretende demostrar la viabilidad de una integración a nivel de sistema para el alcance de objetivos a baja velocidad en robots pesados. Destaca que el marco propuesto maneja con éxito las complejidades de las cadenas de actuadores pesados y las variaciones de terreno, manteniendo la seguridad mediante una capa supervisora.

Los autores son modestos en sus pretensiones, declarando explícitamente:

• El marco no es una solución de "conectar y usar" para plataformas arbitrarias; los parámetros y las discretizaciones requieren un reajuste para diferentes robots y terrenos.
• Los resultados validan el rendimiento bajo límites conservadores de velocidad y aceleración en entornos libres de obstáculos; no pretenden capacidad de autonomía de alta velocidad o de evasión de obstáculos.
• El mapa feedforward de la DNN es válido dentro del envolvente operativo registrado; la operación fuera de este envolvente (por ejemplo, diferentes cargas útiles o terrenos no vistos) se trata como una incertidumbre acotada gestionada por el RAC, no como una generalización de la DNN.
• El supervisor de seguridad proporciona una respuesta determinista ante fallos específicos detectados, pero no constituye una prueba general de seguridad bajo todas las posibles fallas de localización o terreno.

En conclusión, el trabajo proporciona una vía validada para el despliegue de control basado en RL en robots industriales pesados, cerrando la brecha entre la planificación de alto nivel y la robustez del actuador de bajo nivel, garantizando al mismo tiempo la seguridad mediante una capa supervisora dedicada.