Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics

Ensinar um robô a realizar uma tarefa física complexa, como pressionar um botão ou pegar um objeto delicado, é um quebra-cabeça difícil para os engenheiros. No mundo da robótica, a máquina precisa de um conjunto de instruções que lhe diga o que ela está fazendo bem e o que está fazendo mal. Esse conjunto de instruções é chamado de função de recompensa. Se as instruções forem vagas ou incorretas, o robô pode aprender a contornar o sistema, encontrando uma maneira de obter uma pontuação alta sem realmente completar a tarefa, ou pode simplesmente desistir porque não consegue entender o que é esperado. Tradicionalmente, os humanos têm que escrever essas instruções manualmente, adivinhando quais movimentos levarão ao sucesso. Esse processo é lento, caro e frequentemente falha quando o robô encontra uma situação que o humano não antecipou.

Uma abordagem mais nova, conhecida como aprendizado baseado em preferências, tenta resolver isso permitindo que os humanos simplesmente digam qual de dois movimentos robóticos parece melhor, em vez de escrever regras complexas. Embora isso pareça mais simples, cria um novo problema: o robô precisa ver milhares dessas comparações para aprender algo útil. Em um cenário do mundo real, pedir a um humano para observar e julgar um robô tantas vezes é impraticável e dispendioso. O robô aprende muito devagar, e o custo da atenção humana torna-se um gargalo que impede que essas máquinas sejam úteis fora de um laboratório controlado.

Pesquisadores da Universidade de Toronto e da Universidade Tsinghua desenvolveram um método para acelerar significamente esse processo. Eles chamam sua abordagem de Modelo de Recompensa Residual. Em vez de começar do zero e pedir a um humano para ensinar tudo ao robô desde o início, este método permite que o robô comece com um "melhor palpite" sobre como a tarefa deve ser feita. Esse palpite pode vir de uma regra simples escrita por um engenheiro, uma descrição gerada por um grande modelo de linguagem ou até mesmo uma função de recompensa aprendida ao observar um humano realizar a tarefa. O robô então usa esse palpite inicial como base. Quando um humano fornece uma preferência, dizendo "este movimento foi melhor que aquele", o robô não tenta reescrever todo o livro de regras. Em vez disso, ele aprende apenas a pequena diferença, ou o "residual", necessário para corrigir o palpite inicial.

Pense nisso como um aluno que já conhece as regras básicas de um esporte, mas precisa de um treinador para apontar as nuances específicas de sua técnica. O aluno não precisa reaprender a correr ou arremessar; ele só precisa ajustar levemente sua forma para corresponder ao feedback do treinador. Da mesma forma, o robô usa o feedback humano para fazer ajustes pequenos e precisos em sua compreensão pré-existente da tarefa. Essa estrutura mantém o processo de aprendizado estável. Se o palpite inicial for imperfeito, o robô ainda pode aprender porque só precisa corrigir os erros, em vez de descobrir todo o conceito do nada.

Os pesquisadores testaram essa ideia em uma variedade de ambientes simulados, incluindo tarefas onde um braço robótico tinha que pressionar botões, varrer objetos para dentro de um cesto ou abrir portas. Eles também testaram em um robô físico real, um braço Franka Panda, em um ambiente de laboratório. Em todos os casos, o método que utilizou o "melhor palpite" mais as pequenas correções aprendidas foi muito mais rápido do que os métodos que tentaram aprender tudo a partir das preferências humanas sozinhas. Nas simulações, o robô usando este novo método alcançou uma taxa de sucesso perfeita em muitas tarefas, enquanto exigiu muito menos julgamentos humanos. Por exemplo, em uma tarefa onde um robô tinha que pressionar um botão, um método padrão que tentava aprender do zero estagnou em uma taxa de sucesso de vinte por cento, enquanto o novo método atingiu cem por cento.

O estudo também mostrou que esta abordagem é robusta contra erros. Se o "melhor palpite" inicial fosse ligeiramente errado, ou se o feedback humano fosse ocasionalmente ruidoso ou inconsistente, o robô ainda poderia aprender o comportamento correto. O palpite inicial atuou como uma rede de segurança, evitando que o robô vagasse para comportamentos inúteis, enquanto as correções garantiam que ele eventualmente encontrasse o caminho certo. Isso foi particularmente importante quando os pesquisadores testaram o sistema com um feedback humano muito limitado. Mesmo quando o humano era solicitado a fornecer apenas um número ínfimo de julgamentos, o robô usando o método residual continuava a melhorar, enquanto o método padrão falhava em aprender qualquer coisa útil.

Talvez o mais importante, os pesquisadores demonstraram que este aprendizado pode ser transferido diretamente de uma simulação de computador para um robô físico real sem qualquer ajuste adicional. Eles treinaram o robô em um ambiente virtual e depois aplicaram a política aprendida em um braço Franka Panda real para realizar tarefas como alcançar um objeto, empurrar um bloco ou pegar algo e mover. O robô treinado com o método residual teve sucesso nessas tarefas do mundo real muito mais rápido do que o método de linha de base. Em uma tarefa difícil envolvendo o empurrar de um objeto, o método padrão conseguiu sucesso apenas metade das vezes após um treinamento extensivo, enquanto o novo método alcançou uma taxa de sucesso de noventa e cinco por cento com o mesmo tempo de treinamento.

As descobertas sugerem que, ao combinar conhecimento prévio com feedback humano, os robôs podem aprender habilidades físicas complexas com muito menos supervisão humana do que o anteriormente possível. Isso não significa que o robô saiba tudo de antemão, mas sim que ele usa o que sabe como um ponto de partida para tirar o máximo proveito de cada peça de feedback humano que recebe. Essa eficiência pode ser um passo fundamental para tornar os assistentes robóticos práticos para trabalhos do mundo real, onde o tempo e a atenção humana são recursos limitados. O trabalho confirma que dar a um robô uma vantagem inicial, mesmo que rudimentar, permite que ele aprenda com as preferências humanas de uma forma que é tanto mais rápida quanto mais confiável do que começar de uma folha em branco.