Decoupling Policy Extraction for Offline Reinforcement Learning

Imagine um estudante tentando aprender a dirigir um carro, mas em vez de sentar atrás do volante e sentir a estrada, ele é forçado a estudar apenas um vídeo estático de um motorista perfeito. Ele não pode cometer erros, não pode tentar novas curvas e não pode receber feedback do mundo real. Este é o desafio do aprendizado por reforço offline, um campo onde a inteligência artificial aprende a tomar decisões usando apenas uma coleção fixa de dados passados. Neste cenário, o computador deve descobrir como agir melhor do que os exemplos que viu, sem nunca poder testar essas novas ideias na realidade. A forma tradicional de ensinar esses sistemas envolve duas partes trabalhando em um ciclo estreito: uma parte aprende quais ações são boas, e a outra aprende como executá-las. A primeira parte constantemente guia a segunda, dizendo-lhe para tentar ações que pareçam valiosas. No entanto, como os dados estão congelados no tempo, esse direcionamento pode se tornar perigoso. Se a parte do "o que é bom" cometer um erro e superestimar um movimento arriscado, a parte do "como executar" tentará fazê-lo, reforçando o erro e desviando-se ainda mais de um comportamento seguro e comprovado.

Uma equipe de pesquisadores da Simplexity Robotics e do Rensselaer Polytechnic Institute propôs uma maneira diferente de resolver este problema, sugerindo que essas duas partes devem parar de conversar entre si durante a fase de aprendizado. Em sua nova abordagem, eles separam completamente a tarefa de aprender com os dados da tarefa de escolher a melhor ação. Primeiro, eles treinam um modelo exclusivamente para imitar o comportamento encontrado no conjunto de dados, agindo como um copista perfeito que nunca tenta melhorar ou adivinhar novas estratégias. Este modelo gera uma lista de várias ações possíveis que são conhecidas por serem seguras e suportadas pelos dados. Em seguida, um sistema separado, treinado independentemente para julgar o valor, observa esta lista e escolhe a única melhor opção para executar. Ao quebrar o ciclo de feedback que normalmente conecta os dois, os pesquisadores descobriram que poderiam evitar a armadilha de amplificar erros. Seus experimentos em trinta tarefas complexas diferentes, que variaram desde navegar em labirintos virtuais até manipular braços robóticos, mostraram que este método separado superou consistentemente as abordagens tradicionais e fortemente acopladas. Em alguns casos, a taxa de sucesso saltou de menos da metade para quase setenta por cento, provando que, às vezes, a melhor maneira de melhorar é parar de tentar melhorar o aprendiz enquanto ele ainda está estudando.

O cerne do problema que os pesquisadores identificaram reside em como os sistemas de inteligência artificial padrão aprendem a partir de dados fixos. Em uma configuração típica, o sistema possui um "crítico" que estima o valor das ações e um "ator" que aprende a executá-las. O crítico diz ao ator quais movimentos são bons, e o ator tenta realizá-los. Em um cenário do mundo real, onde o robô pode continuar interagindo com o ambiente, isso funciona bem porque, se o crítico cometer um erro, as novas tentativas do ator geram novos dados que corrigem o erro. Mas no aprendizado offline, o conjunto de dados está bloqueado. Se o crítico acreditar erroneamente que uma ação perigosa é valiosa, o ator tentará fazê-la e, como nenhum dado novo chega para corrigir o crítico, o erro piora. O ator desvia-se para regiões do espaço de ação que os dados nunca cobriram, um fenômeno que os pesquisadores chamam de loop de amplificação fora da distribuição. Para evitar isso, os métodos existentes frequentemente tentam forçar o ator a permanecer próximo aos dados originais, mas isso cria um dilema difícil: se você restringir demais o ator, ele não poderá encontrar os melhores movimentos, mesmo dentro dos dados seguros; se você o deixar ir longe demais, ele cairá no loop de erro.

Para resolver isso, os pesquisadores desacoplaram o processo. Eles treinaram o ator para fazer apenas uma coisa: modelar a distribuição de ações encontradas no conjunto de dados. Eles não permitiram que o crítico influenciasse o treinamento do ator de forma alguma. Uma vez que este modelo "propositor" foi treinado, ele foi congelado, o que significa que ele nunca mais mudaria. No momento em que o robô precisava tomar uma decisão, o propositor geraria um pequeno conjunto de ações candidatas, todas fundamentadas nos dados seguros e observados. Um crítico separado, que havia sido treinado independentemente para julgar o valor, olharia então para esta lista específica e escolheria a opção de maior pontuação. Isso deslocou o trabalho de melhoria da fase de treinamento para o momento da decisão. Em vez de tentar ajustar o cérebro do ator para ser melhor, o sistema simplesmente gerava algumas opções seguras e deixava um juiz escolher o vencedor. Esta abordagem significou que o crítico não precisava mais se preocupar com o ator desviando-se para territórios perigosos, porque o ator nunca teve permissão para desviar, em primeiro lugar. O crítico só precisava classificar as opções seguras fornecidas pelo propositor congelado.

Os resultados deste experimento foram impressionantes. Os pesquisadores testaram seu método em trinta tarefas diferentes envolvendo comportamentos orientados a objetivos, como levar uma formiga robô a navegar em um grande labirinto ou um robô humanoide a mover-se através de um ambiente complexo. Eles compararam seu método desacoplado com técnicas padrão que mantêm o ator e o crítico vinculados. Em uma tarefa de navegação chamada AntMaze-Large, o método tradicional usando um tipo específico de aprendiz de valor alcançou uma taxa de sucesso de cerca de trinta e um por cento. Quando os pesquisadores aplicaram sua abordagem desacoplada com o mesmo aprendiz de valor, a taxa de sucesso subiu para quarenta e nove por cento. Em uma tarefa de manipulação envolvendo um cubo, a melhoria foi ainda mais dramática, com o método desacoplado atingindo uma taxa de sucesso de setenta e nove por cento, comparado a vinte e um por cento para a abordagem tradicional. Talvez o mais surpreendente seja que os pesquisadores descobriram que até mesmo um sistema de aprendizado de valor muito simples e básico, que geralmente tem dificuldades em ambientes offline, tornou-se altamente eficaz quando pareado com este processo de seleção desacoplado. Em uma tarefa de resolução de quebra-cabeças, um aprendiz de valor simples combinado com o método deles alcançou uma taxa de sucesso de cem por cento, superando vastamente os sistemas padrão mais complexos.

O estudo também revelou por que essa separação funciona tão bem ao examinar o que acontece quando o sistema é permitido olhar para mais opções. Os pesquisadores descobriram que ter o propositor gerando alguns candidatos, em vez de apenas um, permitiu que o sistema explorasse a região segura dos dados de forma mais minuciosa. No entanto, havia um limite. Se o sistema gerasse muitos candidatos, a chance de incluir uma ação arriscada e fora da distribuição aumentava, e o sistema de julgamento de valor poderia escolhê-la erroneamente. O equilíbrio ideal foi encontrado ajustando o número de candidatos, um parâmetro único que poderia ser ajustado sem o retreinamento de todo o sistema. Esta flexibilidade é uma vantagem significativa sobre os métodos tradicionais, que frequentemente exigem um retreinamento caro para corrigir o equilíbrio entre segurança e desempenho. Os pesquisadores observaram que esta abordagem é particularmente promissora para sistemas robóticos de grande escala, onde o retreinamento de um modelo massivo é computacionalmente caro. Ao manter o modelo principal congelado e usar apenas um sistema de valor leve para fazer a escolha final, o método oferece um caminho computacionalmente eficiente para um melhor desempenho.

Os pesquisadores reconhecem que este método tem um limite: o sistema só pode escolher entre as ações que o propositor congelado pode gerar. Se a melhor ação possível nunca foi vista nos dados originais, o sistema não pode inventá-la. No entanto, dentro dos limites do que é possível, a abordagem desacoplada consistentemente encontrou soluções melhores do que os métodos tradicionais e acoplados. O trabalho sugere que a crença de longa data de que o aprendizado e a melhoria devem ocorrer simultaneamente em um único loop pode não ser necessária, ou mesmo desejável, ao aprender a partir de dados estáticos. Ao separar a geração de opções seguras da seleção da melhor delas, os pesquisadores forneceram um caminho mais claro e estável para a inteligência artificial aprender com o passado sem ser aprisionada por seus próprios erros. As descobertas indicam que, para o aprendizado offline, a estratégia mais eficaz pode ser parar de tentar ensinar o ator a ser esperto durante o treinamento e, em vez disso, deixá-lo simplesmente lembrar o passado, deixando o trabalho de melhoria para um olho crítico e separado no momento da ação.