Guided Riemannian Optimization (GuRO): Bridging Model Predictive Control and Decision Transformers

Robôs que se movem pelo mundo real enfrentam um constante e difícil equilíbrio. Eles precisam decidir como dar um passo, girar ou escalar em ambientes que são frequentemente irregulares, escorregadios ou imprevisíveis. Para tomar essas decisões, os engenheiros tradicionalmente confiaram em duas abordagens principais. A primeira é como um navegador cuidadoso que verifica constantemente um mapa e recalcula o melhor caminho a seguir com base em um modelo conhecido do mundo. Este método é eficiente e fácil de entender, mas tem dificuldades quando o mapa está errado ou o terreno muda de formas que o mapa não previu. A segunda abordagem é mais parecida com uma criança aprendendo a andar: ela tenta muitas coisas, cai, levanta-se e aprende lentamente o que funciona através de tentativa e erro. Este método pode eventualmente dominar movimentos muito complexos, mas exige uma quantidade enorme de tempo e prática, falhando frequentemente quando a tarefa é difícil demais ou quando os erros são custosos demais.

Durante anos, pesquisadores tentaram combinar o melhor dos dois mundos: o planejamento cuidadoso do navegador e a adaptabilidade do aprendiz. Uma ideia mais recente surgiu, que trata o histórico de movimentos e recompensas de um robô como uma história, usando poderosos modelos computacionais originalmente projetados para ler a linguagem humana para prever a próxima melhor ação. Embora promissora, esses modelos de "leitura de histórias" são notoriamente difíceis de treinar. Eles frequentemente ficam presos em um ciclo de aprendizado lento e instável, incapazes de encontrar o caminho mais eficiente para uma solução. Uma equipe de pesquisadores da Universidade de Manchester desenvolveu agora uma nova maneira de guiar esses modelos, ajudando-os a aprender movimentos robóticos complexos de forma muito mais rápida e confiável do que antes.

Os pesquisadores focaram em ensinar um robô de quatro patas, conhecido como quadrúpede, a navegar em ambientes desafiadores. Eles queriam que o robô caminhasse sobre terrenos acidentados, subisse escadas e ascendesse encostas escorregadias sem cair. Para fazer isso, criaram um sistema híbrido que faz a ponte entre o planejador cuidadoso e o aprendiz de tentativa e erro. Eles utilizaram uma técnica chamada Controle Preditivo de Modelo (Model Predictive Control), que atua como um guia em tempo real. A cada momento, este guia calcula um caminho curto e localmente perfeito para o robô seguir, essencialmente mostrando ao robô o que é um bom movimento naquele instante. Este guia não precisa conhecer todo o futuro; ele só precisa conhecer os próximos passos.

Esses caminhos curtos e de alta qualidade gerados pelo guia foram então alimentados em um Transformer de Decisão (Decision Transformer), o modelo de "leitura de histórias". Em vez de o robô ter que aprender tudo do zero, vagando e cometendo erros, o modelo aprendeu estudando os excelentes exemplos fornecidos pelo guia. Isso removeu a necessidade de quantidades massivas de dados offline ou de horas intermináveis de tentativa e erro no mundo real. O robô pôde aprender com as sugestões do guia, refinando sua própria compreensão de como se mover de forma eficiente. No entanto, treinar esses grandes modelos ainda é um problema matematicamente difícil. O cenário de soluções possíveis é repleto de picos agudos e vales profundos, tornando fácil para os algoritmos de aprendizado padrão ficarem presos ou se moverem muito lentamente.

Para resolver isso, os pesquisadores introduziram uma nova maneira de navegar no próprio processo de aprendizado. Eles trataram o espaço matemático onde o cérebro do robô existe não como uma grade plana e simples, mas como uma superfície curva, muito parecida com a superfície da Terra. Os métodos de aprendizado padrão movem-se em linhas retas, o que pode ser ineficiente em uma superfície curva. O novo método, que os autores chamam de Otimização Riemanniana Guiada, compreende a curvatura desse espaço. Ele ajusta a direção do aprendizado para seguir os contornos naturais do problema, permitindo que o cérebro do robô encontre a melhor solução muito mais rápido. Esta abordagem é como um trilheiro que conhece o relevo do terreno e pega a rota mais direta para subir uma colina, em vez de caminhar em linha reta, o que poderia levá-lo a um beco sem saída ou a um precipício íngreme.

A equipe testou este sistema em um robô Unitree AlienGo, uma máquina de quatro patas, em um ambiente simulado que imita a física do mundo real. Eles estabeleceram três desafios distintos para o robô: caminhar sobre terreno irregular, subir um conjunto de escadas e ascender uma superfície inclinada de baixo atrito. Eles compararam seu novo método com diversas técnicas estabelecidas, incluindo algoritmos de aprendizado por reforço padrão e outras versões do transformer de decisão que não utilizavam a abordagem de aprendizado de superfície curva. Os resultados mostraram uma vantagem clara para o novo sistema. Em todas as tarefas, o robô treinado com o método guiado e consciente da curvatura alcançou um nível de desempenho superior e o fez com menos tentativas do que os outros métodos.

Os dados revelaram que o robô aprendeu a caminhar em terreno acidentado, subir escadas e escalar encostas escorregadias com maior estabilidade e velocidade. O processo de treinamento foi significamente mais eficiente, com a função de perda — uma medida de quão erradas eram as previsões do robô — caindo muito mais rápido do que com os métodos tradicionais. A análise estatística confirmou que essas melhorias não foram fruto do acaso. O novo método superou consistentemente as melhores alternativas existentes, provando que combinar um planejador em tempo real com um modelo de leitura de histórias, e então otimizar o processo de aprendizado com uma compreensão da geometria subjacente, cria uma ferramenta poderosa para o controle robótico.

Este trabalho sugere que o futuro do aprendizado robótico pode não residir em escolher entre o planejamento cuidadoso e a tentativa e erro, mas sim em tecê-los juntos. Ao usar um planejador para fornecer exemplos de alta qualidade e uma abordagem matemática especializada para navegar no processo de aprendizado, os robôs podem dominar tarefas físicas complexas de forma mais rápida e robusta. Os pesquisadores demonstraram que esta abordagem funciona efetivamente em simulação, oferecendo um caminho promissor para a implementação de robôs inteligentes e adaptáveis no mundo real, onde as condições raramente são perfeitas e o custo da falha é alto.