DRL-EnSave: energy-aware deep reinforcement learning for variable- payload robotic pick-and-place under tact constraints

No coração pulsante de uma fábrica moderna, braços robóticos movem-se com uma precisão que parece quase sem esforço, levantando, girando e posicionando objetos milhares de vezes por hora. Essas máquinas são a espinha dorsal da montagem automatizada, lidando com tudo, desde minúsculos componentes eletrônicos até caixas pesadas. No entanto, apesar de toda a sua velocidade, elas não são imunes às leis da física ou às exigências da rede elétrica. Cada vez que um robô acelera para agarrar um item e depois freia para depositá-lo, ele consome eletricidade. Esse custo energético não é fixo; ele muda dependendo de quão pesado é o objeto e de quão rapidamente a linha de produção exige que ele seja movido. Se um robô apressa uma caixa leve para um ponto próximo, ele desperdiça energia mecânica em frenagens e reacelerações desnecessárias. Se ele se mover mais lentamente, pode frequentemente economizar uma quantidade significativa de energia. O desafio para os engenheiros tem sido encontrar o equilíbrio perfeito: mover-se rápido o suficiente para manter a linha de produção funcionando, mas devagar o suficiente para conservar energia, tudo isso enquanto o peso dos itens sendo manipulados muda de um ciclo para o outro.

Uma equipe de pesquisadores da Universidade de Tecnologia Industrial de Nanjing e da Nanjing Qishun Technology Co., Ltd. abordou este problema criando uma simulação digital detalhada de um braço robótico de seis eixos, especificamente um modelo conhecido como UR5e. Eles construíram um ambiente virtual onde este robô realiza uma tarefa padrão de coleta e posicionamento (pick-and-place), movendo itens de um ponto de partida para um destino. Em sua simulação, o peso dos itens sendo carregados variou entre 0,5 quilogramas e 3,0 quilogramas, e o tempo permitido para completar cada movimento foi ajustado em nove níveis diferentes, desde prazos muito apertados até cronogramas mais relaxados. Os pesquisadores não apenas adivinharam a melhor maneira de se mover; eles mediram o consumo de energia real do robô em sua simulação para mapear os verdadeiros limites de eficiência. Eles descobriram uma relação clara e previsível: à medida que o tempo permitido para uma tarefa aumenta, a energia necessária para completá-la cai constantemente. Essa relação, que eles chamam de fronteira de energia-tempo, mostra que um robô pode economizar entre 25 e 30 por cento de sua energia em comparação com sua velocidade máxima possível, simplesmente ao desacelerar o suficiente para se ajustar a uma janela de tempo ligeiramente maior.

Para colocar essa descoberta em uso prático, os pesquisadores desenvolveram um sistema simples, baseado em regras, que chamam de escalonador de forma fechada (closed-form scheduler). Diferente de programas de computador complexos que tentam calcular a trajetória perfeita em tempo real, este sistema funciona como um velocímetro inteligente. Ele verifica constantemente quanto tempo resta para terminar o trabalho e quão longe o robô está de seu alvo. Se houver bastante tempo, ele desacelera o robô suavemente para economizar energia. Se o tempo estiver curto, ele acelera o suficiente para terminar dentro do cronograma. A beleza desta abordagem é que ela não precisa saber o peso exato do objeto ou realizar cálculos pesados enquanto o robô se move. Em testes envolvendo centenas de cenários diferentes com vários pesos e limites de tempo, este escalonador simples utilizou consistentemente cerca de 8,8 por cento menos energia do que um robô programado para se mover o mais rápido possível. Mesmo quando testado com pesos que nunca havia visto antes, o sistema permaneceu confiável, economizando cerca de 8,1 por cento de energia sem perder nenhum prazo.

Os pesquisadores também exploraram se a inteligência artificial, especificamente um tipo de aprendizado chamado aprendizado por reforço profundo (deep reinforcement learning), poderia ser melhor. Eles treinaram agentes digitais para aprender a melhor maneira de se mover observando exemplos bem-sucedidos e tentando minimizar o uso de energia. Quando os limites de tempo eram amplos, esses agentes de aprendizado apresentavam um desempenho tão bom quanto o do escalonador simples. No entanto, quando os prazos se tornavam apertados, os agentes de aprendizado começavam a falhar. Eles frequentemente se moviam rápido demais no início, não deixando margem para erro no final, e perdiam o prazo. O estudo atribuiu essa falha não a uma falta de inteligência ou a um modelo ruim do robô, mas a um problema específico chamado erosão de margem. Os agentes de aprendizado não aprenderam a preservar um buffer de segurança de tempo para os momentos finais do movimento. O escalonador simples, por outro lado, guarda explicitamente esse buffer, garantindo que o robô nunca fique sem tempo.

O achado definitivo deste trabalho é que a maneira mais eficiente de controlar esses robôs não é necessariamente através de algoritmos de aprendizado complexos, mas através de uma compreensão clara dos limites físicos da máquina. Os pesquisadores mostraram que uma regra direta, derivada matematicamente, pode acompanhar o limite teórico de eficiência energética quase perfeitamente, permanecendo dentro de 2,5 por cento do melhor desempenho possível. Esta abordagem baseada em regras é robusta, funcionando de forma confiável através de diferentes pesos e restrições de tempo sem a necessidade de ser retreinada. Embora os métodos baseados em aprendizado mostrem potencial, o estudo sugere que eles devem ser cuidadosamente guiados para respeitar os mesmos buffers de tempo que a regra fixa impõe. Ao combinar a adaptabilidade do aprendizado com a segurança de uma regra fixa, os engenheiros podem criar sistemas robóticos que sejam tanto eficientes energeticamente quanto dependentes, garantindo que as fábricas do futuro funcionem não apenas mais rápido, mas de forma mais inteligente e limpa.