DIA: Denoising Intermediate Advantage for Diffusion Policy Optimization

Robôs que podem manipular objetos com destreza humana têm sido, há muito tempo, um objetivo da inteligência artificial, mas ensiná-los a fazê-lo é um delicado ato de equilíbrio. Durante anos, o método mais eficaz tem sido o "clonagem de comportamento", onde um robô aprende observando vídeos de humanos realizando tarefas e, em seguida, imitando esses movimentos. Essa abordagem deu origem a uma nova e poderosa classe de controladores de robôs baseada em uma tecnologia chamada difusão. Assim como um escultor pode começar com um bloco bruto de pedra e gradualmente remover material para revelar uma estátua, esses modelos de difusão começam com um ruído aleatório e o refinam lentamente em uma sequência precisa de ações. Embora este método seja excelente em capturar a variedade e a nuance das demonstrações humanas, ele possui uma limitação fundamental: o robô está estritamente limitado pela qualidade e variedade dos dados que lhe foram apresentados. Se os vídeos de treinamento nunca mostraram um robô resolvendo um problema de uma nova maneira, o robô provavelmente falhará quando confrontado com esse problema no mundo real. Para superar isso, pesquisadores começaram a combinar esses modelos de difusão com o aprendizado por reforço, uma técnica onde um agente aprende por tentativa e erro, recebendo recompensas por bons resultados e penalidades por erros. O desafio, entretanto, é que os modelos de difusão não tomam uma decisão de uma só vez; eles geram uma ação através de um processo longo e passo a passo de refinamento. Determinar exatamente qual etapa nessa longa cadeia foi responsável pelo sucesso ou pelo fracasso provou ser um quebra-cabeça difícil para os métodos existentes.

Uma equipe de pesquisadores da Universidade de Toronto e do Vector Institute propôs uma nova solução para este problema chamada Denoising Intermediate Advantage, ou DIA. O trabalho deles aborda uma falha específica na forma como os sistemas atuais atribuem crédito ao processo de aprendizado de um robô. Nos abordagens padrão, quando um robô completa uma tarefa com sucesso após uma longa sequência de etapas de refinamento, o sistema atribui a mesma quantidade de crédito a cada uma das etapas dessa sequência. É como se uma equipe de pintores estivesse trabalhando junta para terminar um mural, e o gerente elogiasse cada pincelada igualmente, independentemente de uma pincelada particular ser um detalhe menor ou a linha crucial que define toda a imagem. Os pesquisadores argumentam que isso é ineficiente porque as etapas intermediárias no processo de geração contêm informações valiosas sobre para onde o robô está indo. Ao tratar toda a cadeia de refinamento como um único bloco, os métodos anteriores perderam a oportunidade de aprender com as decisões específicas feitas em cada estágio do processo.

Para corrigir isso, o método DIA introduz uma maneira de avaliar o progresso do robô em cada etapa do processo de refinamento, não apenas ao final. O sistema aprende a prever o valor da ação que está sendo formada conforme ela toma forma, passo a passo. Isso permite que o robô entenda que algumas decisões intermediárias são mais críticas para o resultado final do que outras. Em vez de esperar até o fim para ver se a tarefa foi concluída, o sistema fornece feedback ao longo do processo de geração, guiando o robô para fazer escolhas melhores mais cedo. Isso cria um sinal de aprendizado mais matizado que ajuda o robô a distinguir entre um sucesso de sorte e uma estratégia bem executada. Os pesquisadores testaram essa abordagem em quatro conjuntos diferentes de tarefas robóticas, variando de manipulação simples de objetos a trabalhos de montagem complexos de múltiplas etapas que exigem que um robô mova seus braços em coordenação ao longo de um longo período.

Os resultados desses testes foram consistentes e significativos. Em um conjunto padrão de benchmarks conhecido como Robomimic, que inclui tarefas como levantar objetos, mover latas e desenhar quadrados, o método DIA superou consistentemente as técnicas existentes. Na tarefa mais difícil, um desafio de transporte bimanual onde um robô deve mover um objeto usando dois braços, o novo método alcançou uma pontuação de recompensa 23 por cento maior do que a melhor abordagem anterior, mantendo a mesma alta taxa de sucesso. Essa melhoria não foi apenas sobre realizar o trabalho com mais frequência; foi sobre realizá-lo melhor. Os robôs treinados com o DIA alcançaram o estado de sucesso mais rapidamente, levando menos passos para completar a tarefa. Em um teste específico, o tempo que o robô levou para ter sucesso foi reduzido em 21 por cento. Isso sugere que o robô não estava meramente tropeçando em uma solução, mas estava aprendendo um caminho mais eficiente para o objetivo.

O poder deste método tornou-se ainda mais evidente quando os pesquisadores o testaram em tarefas onde os dados de treinamento estavam incompletos ou não possuíam a solução completa. Em uma simulação de cozinha onde um robô tinha que realizar uma sequência de subtarefas como ligar um fogão ou abrir um armário, os dados de treinamento padrão frequentemente mostravam apenas partes da sequência completa. Os métodos anteriores tinham dificuldades aqui, muitas vezes ficando presos em loops ou repetindo ações irrelevantes porque eram muito dependentes dos padrões exatos vistos nos vídeos de treinamento. O método DIA, no entanto, foi capaz de recombinar as demonstrações parciais que viu para criar sequências de ações inteiramente novas e bem-sucedidas. Na versão mais desafiadora deste teste, onde nenhuma demonstração individual mostrava a tarefa completa, os métodos de base falharam completamente, alcançando zero por cento de sucesso. O método DIA, por outro outro lado, teve sucesso em 69 por cento das vezes. Ele conseguiu reunir os passos necessários para completar a tarefa, efetivamente aprendendo uma estratégia que não estava explicitamente presente em nenhum dos exemplos originais de treinamento.

Essas descobertas sugerem que, ao prestar atenção às etapas intermediárias da tomada de decisão, os robôs podem se libertar das limitações de seus dados de treinamento. O método permite que eles explorem novas estratégias e descubram maneiras mais eficientes de resolver problemas, em vez de simplesmente copiar o que viram antes. Embora os experimentos tenham sido conduzidos em simulação, os resultados apontam para um futuro onde os robôs podem se adaptar de forma mais flexível a ambientes complexos do mundo real. Os pesquisadores observam que o próximo passo será testar essas ideias em robôs físicos, uma transição que exigirá superar os desafios práticos de coletar dados no mundo real. Por enquanto, o trabalho demonstra que dar crédito aos momentos certos no processo de pensamento de um robô pode levar a máquinas significativamente mais inteligentes e capazes.