Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

En el mundo de la robótica, el movimiento suele ser una cuestión de compensaciones. Un robot con ruedas estándar avanza y gira, pero para moverse lateralmente, debe primero girar todo su cuerpo. Esta limitación hace que navegar por espacios estrechos, como almacenes abarrotados o pasillos de fábrica angostos, sea un asunto lento y torpe. Para resolver esto, los ingenieros desarrollaron la rueda Mecanum. Estas son ruedas estándar equipadas con un anillo de pequeños rodillos angulados. Esta sencilla adición permite que el robot se deslice en cualquier dirección—hacia adelante, hacia atrás, lateralmente o incluso diagonalmente—sin cambiar nunca hacia dónde apunta su parte frontal. Es una herramienta poderosa para la automatización, que permite a las máquinas zigzaguear entre obstáculos con la agilidad de una persona caminando a través de una multitud concurrida.

Sin embargo, hacer que estos robots se muevan con precisión es mucho más difícil de lo que parece. La física de un robot Mecanum se complica por dos factores principales. Primero, las ruedas en sí mismas son propensas a resbalar; los rodillos no se agarran al suelo perfectamente, lo que genera errores pequeños e impredecibles en el movimiento. Segundo, y quizás más crítico, es el problema del equilibrio. Cuando un robot transporta una carga, como una caja o un brazo robótico, el centro de su peso a menudo se desplaza lejos de su medio geométrico. Este desplazamiento cambia la forma en que el robot resiste el giro y cómo se distribuye el peso entre sus cuatro ruedas. Si un sistema de control no tiene en cuenta este cambio de peso y el inevitable deslizamiento de las ruedas, el robot se desviará de su curso, oscilará o no seguirá la trayectoria prevista.

Investigadores de la Universidad de Energía Eléctrica en Hanói, Vietnam, han abordado este problema desarrollando una nueva forma de enseñar a estos robots cómo mantenerse en su trayectoria. Su trabajo se centra en un tipo específico de control inteligente que aprende de la experiencia en lugar de depender de un mapa perfecto y precalculado de la física del robot. En su estudio, crearon un sistema que permite a un robot Mecanum de cuatro ruedas seguir una trayectoria deseada con alta precisión, incluso cuando la distribución del peso del robot cambia constantemente y las ruedas están resbalando. Lograron esto utilizando un método llamado aprendizaje por refuerzo fuera de la política (off-policy integral reinforcement learning), una técnica que permite al robot aprender la mejor manera de moverse observando datos recopilados durante la operación, en lugar de necesitar conocer todos los detalles de su propia mecánica de antemano.

El desafío central que los investigadores abordaron es que los robots del mundo real son desordenados. Los modelos teóricos asumen condiciones perfectas, pero en la realidad, un robot puede transportar una carga pesada que se desplaza mientras se mueve, o sus ruedas pueden perder tracción en un suelo liso. Los métodos de control tradicionales suelen tener dificultades con estas incertidumbres, requiriendo que los ingenieros ajusten el sistema de forma conservadora o tengan un conocimiento exacto del peso y la fricción del robot en todo momento. El nuevo enfoque propuesto en este artículo trata el problema de control como un juego entre dos fuerzas opuestas. Por un lado está el controlador del robot, que quiere minimizar el esfuerzo necesario para mantenerse en la trayectoria. Por el otro lado está la perturbación del "peor de los casos", que representa el error máximo causado por el deslizamiento o el cambio de peso. El objetivo es encontrar una estrategia que funcione mejor incluso cuando el entorno intenta desviar al robot con toda su fuerza posible.

Para resolver esto, los investigadores utilizaron un marco matemático conocido como la ecuación de Hamilton–Jacobi–Isaacs. Dado que esta ecuación es demasiado compleja para resolverse con una fórmula simple para un robot real, el equipo utilizó un ingenioso recurso que involucra inteligencia artificial. Emplearon tres redes neuronales, sistemas informáticos modelados según el cerebro humano, para aprender la solución. Una red actúa como crítico, evaluando qué tan bien lo está haciendo el robot. Una segunda red, el actor de control, decide qué comandos de motor enviar a las ruedas. La tercera red, el actor de perturbación, aprende a predecir los peores errores que el entorno podría lanzar al robot. Al entrenar estas redes juntas utilizando datos recopilados de los movimientos del robot, el sistema aprende una estrategia robusta que equilibra el movimiento suave con la capacidad de resistir perturbaciones.

Los investigadores probaron su nuevo controlador en dos escenarios distintos utilizando simulaciones por computadora. En el primer escenario, simularon un robot con un desfase de peso fijo e inalterable, similar a un robot que transporta una caja pesada que nunca se mueve. En este entorno estable, el nuevo controlador funcionó tan bien como un método de aprendizaje estándar, manteniendo al robot en su trayectoria circular con alta precisión. Los motores del robot produjeron un torque suave y constante, y el sistema aprendió rápidamente sin volverse inestable. Esto confirmó que el nuevo método funciona incluso cuando las propiedades físicas del robot son constantes pero diferentes del diseño ideal.

El segundo escenario fue mucho más exigente. Aquí, los investigadores simularon un robot donde el centro de masa se desplazaba constantemente, como si el robot estuviera cargando un brazo robótico que mueve su propio peso de un lado a otro. También introdujeron un deslizamiento de las ruedas variable en el tiempo y cambios en el peso total del robot, imitando una máquina que recoge y suelta cargas pesadas. En este entorno caótico, el método de aprendizaje estándar comenzó a tener dificultades, mostrando errores mayores en la orientación del robot y un control menos fluido. En contraste, el nuevo controlador fuera de la política mantuvo un control firme sobre la trayectoria deseada. Logró compensar el cambio de peso y el deslizamiento de las ruedas, manteniendo los errores de seguimiento pequeños y los comandos de los motores suaves. La simulación mostró que el nuevo controlador redujo el error en el ángulo de orientación del robot de manera más efectiva que el método estándar, demostrando su capacidad superior para manejar incertidumbres complejas y cambiantes.

El estudio concluye que este nuevo enfoque ofrece una mejora significativa para los robots móviles que operan en entornos impredecibles. Al contabilizar explícitamente las perturbaciones del peor de los casos y aprender de los datos en lugar de depender de modelos perfectos, el sistema logra un nivel de robustez que los métodos tradicionales carecen. Los investigadores verificaron que el sistema permanece estable y que el proceso de aprendizaje no conduce a un comportamiento errático, incluso bajo una incertidumbre severa. Aunque los resultados hasta ahora se basan en simulaciones por computadora, proporcionan una base sólida para trabajos futuros. El siguiente paso será probar este controlador en un robot físico, pasando de la seguridad de una simulación digital a la realidad desordenada e impredecible de un suelo de fábrica. Si tiene éxito, esta tecnología podría permitir que los robots Mecanum operen de manera más autónoma y confiable en entornos dinámicos, desde almacenes automatizados hasta entornos de servicio donde las condiciones cambian constantemente.