Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

No mundo da robótica, o movimento é frequentemente uma questão de compensações. Um robô padrão com rodas move-se para frente e gira, mas para se mover lateralmente, deve primeiro girar todo o seu corpo. Essa limitação torna a navegação em espaços apertados, como armazéns lotados ou corredores estreitos de fábricas, um processo lento e desajeitado. Para resolver isso, engenheiros desenvolveram a roda Mecanum. Estas são rodas padrão equipadas com um anel de pequenos roletes angulados. Essa adição simples permite que o robô deslize em qualquer direção — para frente, para trás, lateralmente ou até diagonalmente — sem nunca mudar a direção em que a sua frente está voltada. É uma ferramenta poderosa para a automação, permitindo que as máquinas se desloquem entre obstáculos com a agilidade de uma pessoa caminhando por uma multidão movimentada.

No entanto, fazer esses robôs se moverem com precisão é muito mais difícil do que parece. A física de um robô Mecanum é complicada por dois fatores principais. Primeiro, as próprias rodas são propensas a deslizar; os roletes não agarram o chão perfeitamente, levando a pequenos erros imprevisíveis de movimento. Segundo, e talvez mais crítico, é a questão do equilíbrio. Quando um robô carrega uma carga, como uma caixa ou um braço robótico, o centro do seu peso frequentemente se desloca para longe do seu meio geométrico. Esse deslocamento altera a forma como o robô resiste à curva e como o peso é distribuído entre as suas quatro rodas. Se um sistema de controle não levar em conta esse deslocamento de peso e o deslizamento inevitável das rodas, o robô irá derivar do curso, oscilar ou falhar em seguir o caminho pretendido.

Pesquisadores da Universidade de Energia Elétrica em Hanói, Vietnã, abordaram este problema desenvolvendo uma nova maneira de ensinar esses robôs a manterem-se no trajeto. O trabalho deles foca em um tipo específico de controle inteligente que aprende através da experiência, em vez de depender de um mapa perfeito e pré-calculado da física do robô. Em seu estudo, eles criaram um sistema que permite a um robô Mecanum de quatro rodas rastrear um caminho desejado com alta precisão, mesmo quando a distribuição de peso do robô está mudando constantemente e as rodas estão deslizando. Eles alcançaram isso usando um método chamado aprendizado por reforço off-policy, uma técnica que permite ao robô aprender a melhor maneira de se mover observando dados coletados durante a operação, em vez de precisar conhecer todos os detalhes de sua própria mecânica de antemão.

O desafio central que os pesquisadores abordaram é que os robôs do mundo real são desordenados. Modelos teóricos assumem condições perfeitas, mas na realidade, um robô pode carregar uma carga pesada que se desloca enquanto se move, ou suas rodas podem perder tração em um piso liso. Métodos de controle tradicionais frequentemente lutam contra essas incertezas, exigindo que engenheiros ajustem o sistema de forma conservadora ou tenham conhecimento exato do peso e do atrito do robô o tempo todo. A nova abordagem proposta neste artigo trata o problema de controle como um jogo entre duas forças opostas. De um lado está o controlador do robô, que quer minimizar o esforço necessário para permanecer no caminho. Do outro lado está a perturbação de "pior caso", representando o erro máximo causado pelo deslizamento ou pelo deslocamento de peso. O objetivo é encontrar uma estratégia que funcione melhor mesmo quando o ambiente está tentando empurrar o robô para fora do curso o mais fortemente possível.

Para resolver isso, os pesquisadores usaram uma estrutura matemática conhecida como equação de Hamilton–Jacobi–Isaats. Embora esta equação seja complexa demais para ser resolvida com uma fórmula simples para um robô real, a equipe utilizou um contorno inteligente envolvendo inteligência artificial. Eles empregaram três redes neurais, que são sistemas computacionais modelados conforme o cérebro humano, para aprender a solução. Uma rede atua como um crítico, avaliando o desempenho do robô. Uma segunda rede, o ator de controle, decide quais comandos de motor enviar para as rodas. A terceira rede, o ator de perturbação, aprende a prever os piores erros que o ambiente poderia lançar contra o robô. Ao treinar essas redes juntas usando dados coletados dos movimentos do robô, o sistema aprende uma estratégia robusta que equilibra o movimento suave com a capacidade de resistir a perturbações.

Os pesquisadores testaram seu novo controlador em dois cenários distintos usando simulações de computador. No primeiro cenário, eles simularam um robô com um deslocamento de peso fixo e imutável, semelhante a um robô carregando uma caixa pesada que nunca se move. Neste ambiente estável, o novo controlador desempenhou tão bem quanto um método de aprendizado padrão, mantendo o robô em seu caminho circular com alta precisão. Os motores do robô produziram torque suave e constante, e o sistema aprendeu rapidamente sem se tornar instável. Isso confirmou que o novo método funciona mesmo quando as propriedades físicas do robô são constantes, mas diferentes do design ideal.

O segundo cenário era muito mais exigente. Aqui, os pesquisadores simularam um robô onde o centro de massa estava mudando constantemente, como se o robô estivesse carregando um braço robótico que movia seu próprio peso. Eles também introduziram deslizamento de roda variável no tempo e mudanças no peso total do robô, mimetizando uma máquina pegando e largando cargas pesadas. Neste ambiente caótico, o método de aprendizado padrão começou a enfrentar dificuldades, mostrando erros maiores no curso do robô e um controle menos suave. Em contraste, o novo controlador off-policy manteve um controle firme sobre o caminho desejado. Ele conseguiu compensar o deslocamento de peso e o deslizamento das rodas, mantendo os erros de rastreamento pequenos e os comandos de motor suaves. A simulação mostrou que o novo controlador reduziu o erro no ângulo de curso do robô de forma mais eficaz do que o método padrão, provando sua capacidade superior de lidar com incertezas complexas e variáveis.

O estudo conclui que esta nova abordagem oferece uma melhoria significativa para robôs móveis operando em ambientes imprevisíveis. Ao considerar explicitamente as perturbações de pior caso e aprender a partir de dados em vez de depender de modelos perfeitos, o sistema alcança um nível de robustez que os métodos tradicionais não possuem. Os pesquisadores verificaram que o sistema permanece estável e que o processo de aprendizado não leva a comportamentos erráticos, mesmo sob incerteza severa. Embora os resultados até agora sejam baseados em simulações de computador, eles fornecem uma base sólida para trabalhos futuros. O próximo passo será testar este controlador em um robô físico, passando da segurança de uma simulação digital para a realidade desordenada e imprevisível de um chão de fábrica. Se bem-sucedida, esta tecnologia poderá permitir que os robôs Mecanum operem de forma mais autônoma e confiável em ambientes dinâmicos, desde armazéns automatizados até ambientes de serviço onde as condições mudam constantemente.