ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
O ADEPT é um framework de aprendizado por reforço de larga escala que acelera o desenvolvimento de destreza de nível humano em robôs de altos graus de liberdade ao realizar o pré-treinamento em tarefas genéricas e empregar uma receita de pós-treinamento estável para permitir a transferência zero-shot de sim-para-real para resolver tarefas de manipulação complexas e de longo horizonte a partir de percepção visuo-tátil bruta.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os robôs têm sido, há muito tempo, mestres no chão de fábrica, movendo-se com precisão rígida para montar carros ou empilhar caixas. No entanto, quando solicitados a realizar as tarefas fluidas e delicadas do cotidiano — como pegar um ovo frágil, virá-lo e colocá-lo suavemente em uma tigela — a maioria das máquinas falha. Este é o desafio da destreza. Ela exige que um robô coordene dezenas de partes móveis simultaneamente, reagindo ao toque e à visão em tempo real para gerenciar a física caótica de objetos deslizando, rolando ou colidindo. Durante anos, pesquisadores tentaram ensinar essas habilidades aos robôs programando-os com regras rígidas ou mostrando-lhes demonstrações humanas, mas esses métodos frequentemente falham quando o ambiente muda mesmo que ligeiramente. Uma nova abordagem, contudo, sugere que o segredo da destreza robótica não reside em ensinar a um robô cada tarefa específica do zero, mas em dar a ele uma experiência fundamental ampla com o mundo físico primeiro.
Uma equipe de pesquisadores desenvolveu um novo framework chamado ADEPT, que ensina robôs a aprender habilidades de manipulação complexas ao primeiro dominar um jogo genérico de "reposicionamento" de objetos. Imagine uma mão robótica que passa meses em um mundo virtual simplesmente pegando formas aleatórias — cilindros, cubos, esferas — e movendo-as para diferentes pontos em uma mesa. Ela aprende a alcançar, agarrar, levantar e girar esses objetos sem qualquer objetivo específico além de movê-los com sucesso. Esta fase constrói uma compreensão profunda e intuitiva de como os objetos se comportam e de como os próprios dedos do robô devem se mover para controlá-los. Uma vez estabelecida essa base, os pesquisadores introduzem uma nova tarefa específica, como inserir um pino em um furo ou colocar um prato em um suporte de louças. Em vez de começar do zero, o robô utiliza sua experiência prévia como um guia. Os pesquisadores descobriram que este método permite que o robô pule a fase inicial de aprendizado desajeitado e aplique imediatamente suas habilidades gerais ao novo desafio específico.
O poder desta abordagem torna-se claro quando o robô enfrenta uma tarefa que nunca viu antes. Em seus experimentos, os pesquisadores testaram o sistema em dois braços robóticos equipados com mãos multidigitais: um com vinte e três juntas móveis e outro com vinte e nove. Eles treinaram os robôs em uma simulação de alta fidelidade onde podiam executar milhares de tentativas simultaneamente. Os robôs primeiro aprenderam a reposicionar uma variedade de formas simples. Quando os pesquisadores então pediram aos robôs para realizar uma tarefa difícil — inserir um pino em uma placa, um desafio que requer alinhamento preciso e manipulação de forças de contato — os robôs não começaram do zero. Eles reconheceram imediatamente a necessidade de alcançar, agarrar e levantar o pino, habilidades que já haviam dominado. A única parte que precisavam aprender era a inserção final e delicada.
No entanto, simplesmente pegar um robô treinado em uma tarefa e pedir que ele faça outra costuma fazer com que ele esqueça o que aprendeu. Os pesquisadores descobriram que, se tentassem ajustar diretamente o comportamento do robô, as novas instruções sobrescreveriam as habilidades antigas, fazendo com que o robô perdesse a capacidade de agarrar ou levantar adequadamente. Para resolver isso, eles desenvolveram uma receita de treinamento cuidadosa. Primeiro, usaram uma técnica para suavizar o novo comportamento do robô para que se assemelhasse ao comportamento antigo e bem-sucedido, garantindo que as habilidades essenciais permanecessem intactas. Em seguida, ajustaram lentamente a compreensão do robô sobre o que constitui um movimento "bom" para a nova tarefa, permitindo que ele se adaptasse sem perder o equilíbrio. Por fim, treinaram uma segunda versão mais simples do robô que poderia depender apenas do que via através de câmeras e do que sentia através de suas pontas dos dedos, removendo os dados internos que o robô utilizava durante o treinamento. Este robô "estudante" foi então enviado para o mundo real.
Os resultados foram impressionantes. No mundo real, esses robôs conseguiam pegar um pino, reorientá-lo em sua mão e inseri-lo em um furo, tudo isso dependendo apenas de feedback visual e tátil. Eles conseguiam manipular um pino em formato de estrela simétrico e um pino quadrado-e-redondo assimétrico muito mais difícil, que exige uma orientação única e precisa para encaixar. O sistema também aprendeu a agarrar um prato plano, virá-lo e colocá-lo em um suporte de louças, uma sequência de ações que o treinamento inicial nunca havia mostrado explicitamente. Os robôs realizaram essas tarefas em cinco a dez segundos, uma velocidade comparável à de um humano, enquanto métodos anteriores usando garras mais simples e dispositivos externos levavam de vinte a setenta segundos.
Crucialmente, os pesquisadores descobriram que os robôs desenvolveram formas naturais e humanas de segurar objetos. Sem serem instruídos sobre como segurar o pino, os robôs aprenderam a envolver seus dedos ao redor dele em uma pegada estável e de múltiplos pontos, de forma muito semelhante a uma mão humana. Robôs treinados sem a fase inicial de reposicionamento, por outro lado, frequentemente desenvolviam formas de segurar o objeto desajeitadas e instáveis que funcionavam por um momento, mas falhavam sob pressão. O estudo sugere que, ao dar a um robô uma experiência ampla e geral com a física dos objetos primeiro, ele pode aprender novas habilidades específicas de forma muito mais rápida e confiável do que ao tentar aprender tudo de uma só vez. Esta abordagem não torna os robôs apenas mais rápidos; torna-os mais robustos, capazes de lidar com a natureza imprevisível do mundo real com um nível de destreza que anteriormente estava fora de alcance.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.