Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization
O Zero-WAM é um modelo de vídeo-ação causal que alcança generalização entre tarefas em zero shots na manipulação robótica ao aproveitar vídeos humanos em contexto como especificações de tarefa, apoiado por um conjunto de dados sintéticos de 74,2 mil pares humano-robô e um objetivo de predição de fragmento futuro para impor a dependência de prompts visuais.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os robôs há muito lutam com uma limitação fundamental: são excelentes em repetir o que lhes foi explicitamente ensinado, mas falham quando confrontados com uma situação nova que nunca praticaram. Se um robô aprende a empilhar blocos vermelhos, muitas vezes não consegue descobrir como empilhar blocos azuis, ou como abrir um micro-ondas, a menos que um programador humano reescreva o seu código para essa tarefa específica. Esta incapacidade de generalizar é um obstáculo importante para a construção de máquinas que possam ajudar nas nossas casas ou locais de trabalho. Durante anos, os investigadores tentaram resolver isto ensinando os robôs através da linguagem, dando-lhes instruções verbais como "pega na chávena". No entanto, as palavras são frequentemente demasiado vagas para capturar os detalhes físicos complexos de uma tarefa, como exatamente a força necessária para espremer um objeto ou a sequência precisa de movimentos necessária para desatar um nó. Uma forma mais natural de os humanos mostrarem a um robô o que fazer é simplesmente demonstrar-lhe, mas ensinar um robô a aprender diretamente ao observar um vídeo de um humano tem se mostrado difícil porque o robô e o humano movem-se de forma diferente e veem o mundo de ângulos diferentes.
Uma equipa de investigadores desenvolveu uma nova abordagem que permite a um robô aprender tarefas inteiramente novas ao observar um curto vídeo de um humano a realizá-las, sem necessidade de qualquer treino prévio sobre essa tarefa específica ou quaisquer alterações ao software interno do robô. Eles chamam ao seu sistema Zero-WAM. A ideia central é tratar um vídeo humano não apenas como uma referência, mas como uma instrução direta. Quando o robô precisa de realizar um novo trabalho, observa um vídeo de um humano a realizar um trabalho semelhante e utiliza esse guia visual para determinar os seus próprios próximos movimentos. Para fazer isto funcionar, os investigadores tiveram de resolver um problema massivo de dados. Precisavam de milhares de exemplos onde um vídeo humano mostrando uma tarefa estivesse perfeitamente correspondido com os próprios movimentos do robô para essa mesma tarefa. Como recolher tais pares manualmente é lento e caro, construíram um sistema automatizado que utiliza gravações existentes de robôs a trabalhar e utiliza inteligência artificial para gerar vídeos humanos correspondentes. Este processo criou uma biblioteca massiva de 74.200 exemplos emparelhados cobrindo quase 9.000 tarefas diferentes, que variam desde simples ações de pegar e colocar até manipulações complexas de múltiplos passos.
Os investigadores treinaram o seu modelo nesta biblioteca diversificada, ensinando-o a prever o que um robô deve fazer a seguir com base no histórico dos seus próprios movimentos e no vídeo humano que está a observar. Uma parte fundamental do seu método foi garantir que o modelo prestasse realmente atenção ao vídeo humano, em vez de apenas adivinhar com base no que tinha visto antes. Eles adicionaram uma etapa de treino especial onde o modelo tinha de prever não apenas o momento imediatamente seguinte, mas vários passos no futuro. Isto forçou o sistema a compreender o objetivo a longo prazo mostrado no vídeo humano, em vez de apenas reagir ao passado imediato. Quando testaram este sistema num ambiente simulado com sete tarefas completamente novas que o robô nunca tinha visto durante o treino, ele teve sucesso em quase metade das tentativas. Isto foi uma melhoria dramática em relação aos métodos anteriores, que tinham sucesso em menos de um em cada cinco intentos. O sistema conseguiu lidar com desafios difíceis como abrir um micro-ondas, empilhar blocos e mover um grampeador, tudo apenas observando um vídeo de demonstração humana.
O sucesso não parou na simulação. A equipa levou o modelo treinado para um cenário do mundo real com um braço robótico físico e testou-o em tarefas que envolviam colocar objetos em recipientes, mover múltiplos itens numa ordem específica e inserir pernas de mesa em buracos com alta precisão. Nestes testes do mundo real, o robô utilizou novamente instruções de vídeo humano para navegar em configurações não vistas, como usar objetos de cores diferentes ou configurações de mesa diferentes das que tinha visto durante o treino. Embora a taxa de sucesso tenha sido inferior à da simulação devido às dificuldades físicas do mundo real, o robô conseguiu completar tarefas que um sistema padrão baseado em linguagem não conseguiria resolver de todo. Por exemplo, ao ser solicitado para inserir pernas de mesa em buracos específicos com base num guia de vídeo, o robô teve sucesso numa parte significativa dos ensaios, enquanto o sistema apenas de linguagem falhou completamente.
As descobertas sugerem que o estrangulamento para tornar os robôs mais adaptáveis não é necessariamente a capacidade de movimento do robô, mas a forma como lhe damos instruções. Ao mudar de comandos baseados em texto para demonstrações baseadas em vídeo, e ao utilizar um conjunto de dados massivo e gerado automaticamente para ensinar o robô a traduzir ações humanas nos seus próprios movimentos, os investigadores mostraram um caminho viável para máquinas mais flexíveis. O sistema não exige que o robô aprenda uma nova competência para cada novo trabalho; em vez disso, aprende uma capacidade geral de interpretar demonstrações visuais. Isto significa que, no futuro, um robô poderia potencialmente receber um vídeo de um humano a consertar uma torneira com fuga ou a organizar uma prateleira, e seria capaz de tentar a mesma tarefa por conta própria, adaptando os seus movimentos físicos ao seu próprio corpo e aos objetos específicos à sua frente. O trabalho demonstra que, com os dados e os métodos de treino certos, os robôs podem começar a colmatar a lacuna entre a intuição humana e a execução da máquina, aproximando-se do objetivo de assistentes verdadeiramente de uso geral.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.