Braços robóticos estão se tornando cada vez mais comuns em fábricas e laboratórios, encarregados de tarefas delicadas como montar eletrônicos ou separar objetos. Para que essas máquinas funcionem bem, elas precisam de um "cérebro" que possa decidir exatamente como mover suas articulações com base no que suas câmeras veem. Esse processo de tomada de decisão acontece em uma fração de segundo, repetidamente, à medida que o robô reage a um mundo em constante mudança. O desafio é que o mundo real é bagunçado e imprevisível. Uma única visão de um bloco sobre uma mesa pode permitir várias formas diferentes e válidas de agarrá-lo, dependendo dos movimentos anteriores do robô ou de leves mudanças na iluminação. Para lidar com essa incerteza, pesquisadores desenvolveram sistemas que não apenas escolhem uma única resposta, mas aprendem uma gama de ações possíveis e boas. Os sistemas mais bem-sucedidos até agora usam um método que funciona como um escultor lento e cuidadoso: eles começam com um palpite aleatório e o refinam gradualmente, passo a passo, até que a ação pareça perfeita. Embora essa abordagem produza movimentos de alta qualidade, ela é lenta. O robô tem que executar seu cérebro computacional muitas vezes para cada movimento que faz, criando um atraso que o torna lento demais para tarefas rápidas em tempo real ou para aprender novas habilidades através de tentativa e erro.

Uma equipe de pesquisadores encontrou agora uma maneira de tornar esses cérebros robóticos inteligentes tão capazes quanto, porém vastamente mais rápidos. Eles desenvolveram um novo sistema que produz os mesmos planos de ação de alta qualidade e múltiplas opções em um único instante, em vez de levar dezenas de etapas para refiná-los. Em seu trabalho, eles mostraram que, ao mudar a forma como o robô aprende durante o treinamento, poderiam ensiná-lo a pular o processo de refinamento lento inteiramente. Em vez de aprender a corrigir seus erros após cometê-los, o robô aprende a acertar de primeira. Ao serem testados em um conjunto de doze tarefas robóticas diferentes, este novo método alcançou uma taxa de sucesso média superior aos sistemas mais antigos e lentos, enquanto reduzia o tempo necessário para tomar uma decisão de cem cálculos computacionais para apenas um. Essa aceleração não é apenas uma melhoria teórica; em um robô de dois braços físico em um laboratório real, o novo sistema completou 82% de suas tarefas, comparado a 59% do melhor método de etapa única anterior, tudo isso reagindo rápido o suficiente para controlar o robô em tempo real.

O cerne dessa descoberta reside em como o robô aprende com exemplos. Métodos tradicionais que produzem ações de alta qualidade geralmente dependem de um processo chamado denoising iterativo (redução de ruído iterativa). Imagine um robô tentando encontrar a melhor maneira de pegar uma xícara. Os sistemas antigos podem começar com uma posição de mão completamente aleatória e então empurrá-la lentamente para mais perto da xícara, verificando seu trabalho, dando outro empurrão, e repetindo esse ciclo muitas vezes até que a mão esteja no lugar perfeito. Isso garante que o robô encontre uma boa solução, mas leva tempo. A nova abordagem, que os pesquisadores chamam de política baseada em drift (deriva), inverte essa lógica. Em vez de refinar a resposta durante o momento real da ação, o robô aprende a internalizar todo o processo de correção enquanto está sendo treinado. Durante o treinamento, o sistema é mostrado muitos exemplos de movimentos bem-sucedidos e é ensinado a prever como um palpite aleatório derivaria em direção a um correto. Ele aprende a absorver essas correções em suas próprias configurações internas para que, quando for finalmente implantado, não precise realizar esses passos incrementais lentos. Ele simplesmente emite a ação final corrigida imediatamente.

Para provar que essa ideia funciona, os pesquisadores testaram seu sistema em uma grande variedade de desafios. Eles começaram com um conjunto padrão de doze tarefas de simulação envolvendo o empurrar de blocos, levantar objetos e manipular ferramentas. Os sistemas mais antigos de múltiplas etapas exigiam que o computador executasse sua rede cem vezes para decidir sobre um único movimento. O novo sistema realizou o mesmo trabalho com uma única execução. O resultado foi um sistema que não foi apenas cem vezes mais rápido, mas também ligeiramente mais bem-sucedido no geral, alcançando uma taxa de sucesso média de 83% em comparação com os 79% dos métodos mais lentos. Isso demonstrou que a velocidade não veio às custas da qualidade; o robô era tão bom na tarefa, mas era muito mais eficiente.

Os pesquisadores então levaram o sistema além para ver se ele poderia lidar com ambientes tridimensionais mais complexos, onde o robô vê o mundo como uma nuvem de pontos em vez de uma imagem plana. Eles o testaram em trinta e sete tarefas diferentes, variando desde a manipulação simples de objetos até tarefas destreza difíceis, como usar um martelo ou girar uma maçaneta. Nesses testes, o novo sistema superou novamente os principais métodos existentes projetados para velocidade de etapa única. Ele alcançou uma taxa de sucesso média de 88,4%, superando o próximo melhor sistema de etapa única por uma margem significativa. Isso mostrou que o método era robusto o suficiente para lidar com a complexidade da visão 3D do mundo real sem precisar do refinamento lento de múltiplas etapas que anteriormente era considerado necessário para trabalhos tão difíceis.

No entanto, um robô que é bom em copiar demonstrações humanas nem sempre é bom em resolver novos problemas ou recuperar-se de erros. Para abordar isso, os pesquisadores adicionaram uma segunda etapa ao seu framework, permitindo que o robô aprenda através de aprendizagem por reforço online. Este é um processo onde o robô tenta melhorar seu desempenho interagindo com o ambiente e recebendo feedback sobre seu sucesso, em vez de apenas copiar vídeos antigos. O desafio aqui era que os algoritmos de aprendizagem padrão geralmente exigem que o sistema calcule a probabilidade de cada ação possível, o que é difícil para esses geradores rápidos de etapa única. A equipe resolveu isso criando uma interface especial que permitia ao robô aprender com suas experiências enquanto mantinha sua natureza rápida de etapa única. Eles descobriram que essa abordagem permitiu ao robista refinar suas habilidades de forma eficaz, melhorando seu desempenho em tarefas nas quais havia sido treinado apenas com demonstrações humanas.

O teste final levou o sistema para fora da simulação de computador e para um robô físico em um laboratório real. Eles montaram o sistema em um robô de braços duplos, com dois braços, semelhante a um humano, e pediram que realizasse tarefas como levantar um bloco, carregar uma lata e mover objetos entre os dois braços. O robô tinha que reagir a informações visuais de câmeras em tempo real, sem intervenção humana. O sistema operou com um atraso médio de apenas 9,5 milissegundos do momento de ver o mundo até o movimento do braço, uma velocidade rápida o suficiente para controle de alta frequência. Em uma série de tentativas, o robô completou com sucesso 123 de 150 tentativas, uma taxa de sucesso de 82%. Em comparação, o melhor sistema de etapa única anterior conseguiu ter sucesso em apenas 89 de 150 tentativas, ou 59%. As falhas que ocorreram foram majoritariamente devido a questões físicas, como o objeto escorregar ou os dois braços colidirem, e não por uma falha do próprio sistema de tomada de decisão.

Este trabalho sugere que o equilíbrio entre velocidade e inteligência no controle robótico não é tão fixo quanto parecia outrora. Ao deslocar o fardo do refinamento do momento da ação para o momento da aprendizagem, é possível criar controladores robóticos que sejam altamente capazes e incrivelmente rápidos. Os pesquisadores mostraram que um robô não precisa gastar tempo pensando em suas opções passo a passo para tomar uma boa decisão; ele pode aprender a tomar a decisão correta instantaneamente. Isso abre as portas para robôs que podem operar na velocidade dos reflexos humanos, aprendendo e adaptando-se em tempo real aos ambientes complexos e imprevisíveis do nosso mundo. O código para este novo sistema foi disponibilizado para outros pesquisadores, permitindo que a comunidade construa sobre esta base de controle generativo rápido.