RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation

Ensinar um robô a usar duas mãos como um humano é um dos desafios mais difíceis da robótica moderna. Para aprender tarefas complexas como dobrar roupas, abrir um pote ou carregar uma caixa pesada, um robô precisa ver milhares de exemplos de como fazê-lo. No mundo real, coletar esses exemplos é lento, caro e, muitas vezes, perigoso. Se um robô deixa cair um copo, ele quebra; se ele derruba uma pilha de pratos, a limpeza é um trabalho árduo. Por causa disso, cientistas recorreram às simulações de computador. Eles constroem mundos virtuais onde os robôs podem praticar milhões de vezes sem quebrar nada. No entanto, um grande problema tem atrasado este campo: a maioria das simulações é como quartos fechados com móveis fixos. Você pode fazer o robô correr pelo quarto o quanto quiser, mas não consegue adicionar facilmente um novo objeto, como uma caneca de café específica que o usuário possui, ou mudar o layout da sala. Para fazer isso, um engenheiro humano geralmente precisa gastar horas reconstruindo manualmente a forma do objeto, definindo o quão pesado ele é e descobrindo exatamente onde os dedos do robô devem tocar nele. Este trabalho manual é tão lento que impede a criação dos conjuntos de dados massivos e diversos necessários para ensinar os robôs a serem verdadeiramente adaptáveis.

Uma equipe de pesquisadores introduziu um novo sistema chamado RoboCousin, que resolve este gargalo transformando a simulação em uma oficina aberta e expansível. Em vez de forçar o robô a aprender apenas a partir de uma lista pré-selecionada de objetos, este sistema permite que um usuário tire uma fotografia simples de qualquer objeto ou uma descrição de uma sala e a transforme instantaneamente em um modelo 3D realista e interativo para o robô praticar. O sistema não cria apenas uma imagem bonita; ele calcula automaticamente as propriedades físicas do objeto, como seu peso e o quão escorregadio é sua superfície, e calcula os melhores lugares para as garras do robô o segurarem. Este processo transforma uma imagem plana em um "primo digital" — uma versão virtual que parece e age como a coisa real, mas é flexível o suficiente para ser misturada com outros objetos e cenários para criar novos cenários de treinamento infinitos.

Os pesquisadores construíram este sistema sobre uma plataforma de simulação existente e adicionaram um pipeline que lida com tudo, desde a foto inicial até o movimento final do robô. Quando um usuário fornece uma imagem de um objeto, o sistema primeiro o isola do fundo e reconstrói sua forma tridimensional. Em seguida, utiliza inteligência artificial para adivinhar os traços físicos do objeto, como sua massa e fricção, garantindo que o robô interaja com ele de forma realista. Crucialmente, o sistema identifica automaticamente os "pontos de contato", que são os pontos específicos no objeto onde uma mão robótica pode agarrá-lo de forma segura e eficaz. Em configurações tradicionais, um humano teria que marcar manualmente esses pontos para cada objeto, um processo tedioso que limita quantos objetos podem ser adicionados. Neste novo sistema, o computador faz isso instantaneamente. O resultado é uma biblioteca de mais de 3.000 instâncias de objetos diferentes e 50 ambientes de fundo, todos prontos para o robô usar.

Para tornar o treinamento ainda mais robusto, o sistema cria "primos digitais". Enquanto um "gêmeo digital" é uma cópia exata e rígida de uma cena do mundo real, um primo digital é uma variação que mantém as relações importantes, mas altera os detalhes. Por exemplo, se um robô precisa aprender a pegar uma garrafa de uma mesa, o sistema pode gerar uma cena onde a garrafa é de uma cor diferente, a mesa é de um material diferente ou o fundo é uma cozinha em vez de uma sala de estar, desde que a garrafa ainda esteja sobre a mesa de uma maneira que faça sentido. Esta abordagem ensina ao robô o conceito central da tarefa, em vez de apenas memorizar uma configuração específica. O sistema também escala para o nível do cômodo. Ele pode planejar um caminho para um robô móvel navegar por uma casa virtual, aproximar-se de uma mesa e então realizar a tarefa de manipulação, tudo dentro de uma única simulação contínua. Isso permite que o robô aprenda não apenas como mover seus braços, mas como mover todo o seu corpo para chegar à tarefa.

A equipe testou se esta abordagem automatizada realmente funciona no mundo real. Eles geraram mais de um milhão de trajetórias de treinamento usando o sistema e, em seguida, treinaram um robô físico com dois braços para realizar tarefas específicas. Os resultados foram impressionantes. Quando o robô foi treinado em objetos que o sistema havia reconstruído automaticamente a partir de imagens, ele teve um desempenho tão bom, e em alguns casos melhor, do que quando foi treinado em objetos que haviam sido cuidadosamente criados por especialistas humanos. Por exemplo, em uma tarefa para pegar uma garrafa, a taxa de sucesso saltou de 40 por cento para 80 por cento ao usar os ativos do novo sistema. Além disso, quando o robô foi treinado em uma variedade de cenas "primo" em vez de uma única cópia exata de uma sala, ele tornou-se muito melhor em lidar com novas situações. Em um teste envolvendo o ato de pegar um estojo de óculos, um robô treinado em uma única cena exata falhou completamente, enquanto o treinado nas variadas cenas primo teve sucesso 55 por cento das vezes.

Os pesquisadores também verificaram se os palpites automáticos do computador sobre onde agarrar um objeto eram precisos. Eles compararam os pontos de agarre sugeridos pelo sistema contra um conjunto de pontos que haviam sido cuidadosamente marcados por humanos. As sugestões do computador foram ligeiramente melhores, alcançando uma taxa de sucesso de 76 por cento na simulação em comparação aos 72 por cento dos pontos marcados por humanos. Isso prova que o sistema pode substituir o processo manual e lento de anotar objetos por um processo automatizado e rápido que é pelo menos tão confiável. Ao conectar a capacidade de transformar observações do mundo real em ativos de simulação com a capacidade de gerar cenários de treinamento diversos, o RoboCousin oferece um caminho prático à frente. Ele sugere que o futuro do aprendizado robótico não requer esperar que engenheiros construam cada novo objeto à mão, mas sim depende de sistemas que possam entender e se adaptar instantaneamente ao mundo confuso e variado em que vivemos.