Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

Imagina un mundo donde los robots son los ayudantes definitivos, capaces de soldar piezas de automóviles, rescatar personas de entre escombros o apilar cajas en un almacén. Pero para que un robot sea verdaderamente útil, necesita saber exactamente cómo mover sus brazos. Este es el trabajo de un "controlador", el cerebro que le dice a las articulaciones del robot hacia dónde ir. Por lo general, estos robots cargan cosas: herramientas, cajas pesadas o incluso extintores que se vuelven más ligeros a medida que rocían. El problema es que, cuando el peso en la mano de un robot cambia, la forma en que su brazo se mueve también cambia. Es como intentar montar una bicicleta a la que de repente le han puesto una mochila pesada atada; tienes que pedalear más fuerte y dirigirla de manera diferente para mantenerte en el camino.

Durante años, los científicos han intentado enseñar a los robots a manejar estos cambios de peso utilizando trucos matemáticos de la vieja escuela. Estos métodos son como darle al robot un conjunto de reglas rígidas: "Si se vuelve pesado, empuja más fuerte". Pero estas reglas suelen fallar cuando el peso cambia de forma repentina o drástica, haciendo que el robot se tambalee, sobrepase su objetivo o incluso se desmorone por la vibración. Entra aquí una idea más nueva y llamativa: el Aprendizaje por Refuerzo Profundo (DRL, por sus siglas en inglés). Piensa en esto como enseñar a un robot no mediante un libro de reglas, sino dejándolo jugar un videojuego una y otra vez. El robot intenta moverse, recibe una "puntuación" por hacerlo bien y aprende de sus errores hasta que se convierte en un maestro del juego. Este artículo profundiza en si este enfoque de "juego" puede enseñar a un robot a seguir un objetivo móvil perfectamente, incluso cuando el peso en su mano cambia constantemente, se reduce o salta de forma errática.

Los investigadores detrás de este estudio decidieron poner a prueba esta idea en un popular robot de seis ejes llamado UR5e. Querían ver si podían entrenar a este robot utilizando un tipo específico de algoritmo de juego llamado Soft Actor-Critic (SAC). El gran desafío era que el robot tenía que seguir una trayectoria rápida y sinuosa mientras cargaba pesos que variaban desde nada (0 kg) hasta una carga pesada de 5 kg, y a veces el peso cambiaba en medio del movimiento.

Para hacer al robot lo suficientemente inteligente como para manejar cualquier peso, el equipo no solo lo entrenó con una carga específica. En su lugar, utilizaron un truco llamado "randomización de dominio". Imagina un videojuego donde el diseñador del nivel cambia aleatoriamente la gravedad, la fricción o el peso del personaje cada vez que comienzas un nuevo juego. Al entrenar al robot en este entorno caótico y siempre cambiante, el robot aprendió una estrategia flexible que funcionaba para cualquier peso, en lugar de memorizar una solución única para una carga específica. También le dieron al robot una "memoria" especial al alimentarlo no solo con dónde está en este momento, sino también con dónde estaba un momento antes y hacia dónde debe ir después. Esto ayudó al robot a anticipar los cambios en la física de su brazo, de forma muy similar a un surfista que mira hacia la siguiente ola en lugar de simplemente mirar el agua debajo de sus pies.

Los resultados de sus simulaciones fueron bastante impresionosos. Cuando probaron su nuevo controlador entrenado por DRL contra un controlador tradicional (un controlador PID estándar, que es como el enfoque del libro de reglas de la vieja escuela), la diferencia fue abismal. El controlador tradicional luchaba con dificultad cuando el peso cambiaba. Si el robot estaba cargando un peso pesado y este de repente disminuía, o si empezaba sin peso y de repente se volvía pesado, el viejo controlador se confundía. Se pasaba de largo, se sacudía violentamente y producía enormes errores de seguimiento. En la prueba más difícil, donde la carga cambiaba de formas complejas (permaneciendo estática, luego cambiando lentamente y luego saltando repentinamente), el error promedio del viejo controlador era un desastroso 19.41 grados, y utilizaba una energía errática e ineficiente.

En contraste, el nuevo controlador DRL era un operador fluido. Mantuvo al robot en el camino con un error promedio de solo 1.41 grados. Esta es una mejora masiva de aproximadamente un 92.72%. No solo fue más preciso, sino que también fue mucho más suave. El torque (la fuerza que aplicaba a las articulaciones) del viejo controlador variaba salvajemente, saltando un promedio de 5.26 Nm, mientras que el nuevo controlador mantuvo esos saltos en solo 1.72 Nm. Esto significa que el robot se movió con gracia, usando menos energía y ejerciendo menos estrés en sus motores.

El estudio también demostró que este "entrenamiento aleatorio" era el ingrediente secreto. Cuando intentaron entrenar al robot con un solo peso fijo y luego lo probaron con un peso diferente, falló estrepitosamente, con los errores disparándose. Pero debido a que lo entrenaron con una mezcla salvaje de pesos, aprendió una habilidad general que funcionaba en todas partes. Los investigadores descubrieron que la forma en que diseñaron la "tarjeta de puntuación" del robot (la función de recompensa) también era crucial. Tuvieron que equilibrar el dar puntos por alcanzar el objetivo, puntos por moverse con suavidad y puntos por no desperdiciar energía. Si solo les importaba alcanzar el objetivo, el robot se destrozaría por las vibraciones; si solo les importaba la suavidad, sería menos capaz de corregir su trayectoria. La mezcla perfecta de estas recompensas enseñó al robot a ser tanto preciso como gentil.

Por supuesto, todo esto está ocurriendo actualmente en una simulación por computadora. Los autores advierten cuidadosamente que, aunque el robot aprendió a ser un campeón en el mundo virtual, todavía existen obstáculos antes de que pueda ser un campeón en el mundo real. Por un lado, el robot a veces tenía "malos días" durante el entrenamiento donde cometía un error repentino y extraño, y sospechan que darle una mejor memoria (como una red de memoria a largo plazo) podría ayudar. También advierten que dejar que un robot explore aleatoriamente en el mundo real podría ser peligroso, por lo que necesitan descubrir cómo transferir estas habilidades virtuales a una máquina física de forma segura.

En resumen, este artículo sugiere que, al enseñar a los robots a jugar un juego donde las reglas (el peso) cambian constantemente, podemos crear controladores que sean mucho más adaptables y precisos que los métodos antiguos. Es un paso prometedor hacia robots que puedan manejar la realidad caótica e impredecible del mundo real sin necesidad de que un humano ajuste constantemente sus configuraciones.