Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

Imagine um mundo onde os robôs são os ajudantes definitivos, capazes de soldar peças de carros, resgatar pessoas de escombros ou empilhar caixas em um armazém. Mas para um robô ser verdadeiramente útil, ele precisa saber exatamente como mover seus braços. Este é o trabalho de um "controlador", o cérebro que diz às juntas do robô para onde ir. Normalmente, esses robôs carregam coisas — ferramentas, caixas pesadas ou até extintores de incêndio que ficam mais leves à medida que pulverizam. O problema é que, quando o peso na mão de um robô muda, a maneira como seu braço se move também muda. É como tentar andar de bicicleta quando de repente uma mochila pesada é presa a ela; você tem que pedalar com mais força e esterçar de forma diferente para permanecer no caminho.

Por anos, cientistas tentaram ensinar robôs a lidar com essas mudanças de peso usando truques matemáticos da velha guarda. Esses métodos são como dar ao robô um conjunto de regras rígidas: "Se ficar pesado, empurre com mais força". Mas essas regras costumam falhar quando o peso muda subitamente ou drasticamente, fazendo o robô oscilar, ultrapassar o alvo ou até mesmo se despedaçar por causa da vibração. Entre, então, uma ideia mais nova e chamativa: Aprendizado por Reforço Profundo (Deep Reinforcement Learning - DRL). Pense nisso como ensinar um robô não dando a ele um livro de regras, mas deixando-o jogar um videogame repetidamente. O robô tenta se mover, recebe uma "pontuação" por fazer um bom trabalho e aprende com seus erros até se tornar um mestre do jogo. Este artigo investiga se essa abordagem de "jogar videogame" pode ensinar um robô a seguir um alvo móvel perfeitamente, mesmo quando o peso em sua mão está constantemente mudando, diminuindo ou saltando de forma errática.

Os pesquisadores por trás deste estudo decidiram colocar essa ideia à prova em um robô de seis eixos muito popular chamado UR5e. Eles queriam ver se poderiam treinar este robô usando um tipo específico de algoritmo de jogo chamado Soft Actor-Critic (SAC). O grande desafio era que o robô tinha que seguir um caminho rápido e sinuoso enquanto carregava cargas que variavam de nada (0 kg) até um peso pesado de 5 kg, e às vezes o peso mudaria no meio do movimento.

Para tornar o robô inteligente o suficiente para lidar com qualquer peso, a equipe não apenas o treinou com uma carga específica. Em vez disso, eles usaram um truque chamado "randomização de domínio" (domain randomization). Imagine um videogame onde o designer do nível muda aleatoriamente a gravidade, o atrito ou o peso do personagem toda vez que você inicia um novo jogo. Ao treinar o robô nesse ambiente caótico e em constante mudança, o robô aprendeu uma estratégia flexível que funcionava para qualquer peso, em vez de memorizar uma única solução para uma carga específica. Eles também deram ao robô uma "memória" especial, alimentando-o não apenas com onde ele está agora, mas onde ele estava um momento atrás e para onde precisa ir a seguir. Isso ajudou o robost a antecipar as mudanças na física de seu braço, de forma muito semelhante a um surfista que olha para a próxima onda em vez de apenas encarar a água sob seus pés.

Os resultados de suas simulações foram bastante impressionantes. Quando testaram seu novo controlador "treinado por jogo" contra um controlador tradicional (um controlador PID padrão, que é como a abordagem do livro de regras da velha guarda), a diferença foi gritante. O controlador tradicional teve grandes dificuldades quando o peso mudava. Se o robô estivesse carregando uma carga pesada e o peso caísse subitamente, ou se começasse sem peso e de repente ficasse pesado, o velho controlador ficaria confuso. Ele ultrapassaria o alvo, sacudiria violentamente e produziria enormes erros de rastreamento. No teste mais difícil, onde a carga mudava de formas complexas (ficava parada, depois mudava lentamente, depois saltava subitamente), o erro médio do velho controlador era de desastrosos 19,41 graus, e ele utilizava muita energia de forma brusca e ineficiente.

Em contraste, o novo controlador DRL foi um operador suave. Ele manteve o robô no caminho com um erro médio de apenas 1,41 graus. Isso é uma melhoria massiva de cerca de 92,72%. Não apenas foi mais preciso, mas também foi muito mais suave. O torque (a força aplicada às juntas) do antigo controlador variava loucamente, saltando em média 5,26 Nm, enquanto o novo controlador manteve esses saltos em apenas 1,72 Nm. Isso significa que o robô se moveu graciosamente, usando menos energia e colocando menos estresse em seus motores.

O estudo também mostrou que este "treinamento randomizado" era o ingrediente secreto. Quando tentaram treinar o robô com apenas um peso fixo e depois o testaram com um peso diferente, ele falhou miseravelmente, com os erros disparando. Mas porque o treinaram em uma mistura selvagem de pesos, ele aprendeu uma habilidade geral que funcionava em qualquer lugar. Os pesquisadores descobriram que a maneira como projetaram o "placar" do robô (a função de recompensa) também foi crucial. Eles tiveram que equilibrar dar pontos por atingir o alvo, pontos por se mover suavemente e pontos por não desperdiçar energia. Se eles só se importassem em atingir o alvo, o robô se despedaçaria com a vibração; se só se importassem com a suavidade, ele seria menos responsivo para corrigir seu caminho. A mistura perfeita dessas recompensas ensinou o robô a ser ao mesmo tempo preciso e gentil.

É claro que tudo isso está acontecendo em uma simulação de computador neste momento. Os autores observam cuidadosamente que, embora o robô tenha aprendido a ser um campeão no mundo virtual, ainda existem obstáculos antes que ele possa ser um campeão no mundo real. Por um lado, o robô às vezes teve "dias ruins" durante o treinamento, onde cometeu um erro súbito e estranho, e eles suspeitam que dar ao robô uma memória melhor (como uma rede de memória de longo prazo) poderia ajudar. Eles também alertam que deixar um robô explorar aleatoriamente no mundo real pode ser perigoso, portanto, precisam descobrir como transferir essas habilidades virtuais para uma máquina física de forma segura.

Em suma, este artigo sugere que, ao ensinar robôs a jogar um jogo onde as regras (o peso) mudam constantemente, podemos criar controladores que são muito mais adaptáveis e precisos do que os métodos antigos. É um passo promissor em direção a robôs que podem lidar com a realidade caótica e imprevisível do mundo real sem precisar que um humano ajuste constantemente suas configurações.