A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards

No mundo da inteligência artificial, existe um enigma persistente conhecido como o problema da exploração. Imagine ensinar um robô a caminhar através de uma sala. Se o robô simplesmente tentar movimentos aleatórios, ele pode eventualmente encontrar a maneira certa de mover suas pernas, mas isso pode levar milhões de tentativas, ou ele pode nunca descobrir. Isso é especialmente verdadeiro quando o robô recebe uma recompensa apenas depois de ter atravessado toda a sala com sucesso, em vez de receber uma pequena dica para cada passo que dá corretamente. Esse atraso torna incrivelmente difícil para a máquina entender quais ações específicas levaram ao sucesso. Durante anos, pesquisadores tentaram resolver isso dividindo grandes tarefas em objetivos menores e intermediários, uma estratégia chamada aprendizagem hierárquica. No entanto, esses métodos frequentemente exigem que humanos definam manualmente quais devem ser esses objetivos menores, o que limita o quão bem o robô pode se adaptar a novas ou complexas situações.

Uma equipe de pesquisadores da Universidade de Binghamton propôs uma nova maneira de lidar com esse desafio, que permite à máquina descobrir seus próprios objetivos intermediários sem instrução humana. Eles desenvolveram um sistema chamado GANGSTER, que significa Generative Adversarial Network for Goal Oriented Subgoal Training, Exploration, and Rewards (Rede Adversária Generativa para Treinamento de Subobjetivos Orientados a Objetivos, Exploração e Recompensas). A ideia central é usar um tipo de inteligência artificial que aprende ao competir contra si mesma para gerar "pontos de passagem" úteis para o robô mirar. Em vez de adivinhar aleatoriamente, o sistema aprende a propor estados específicos — como uma posição particular das pernas do robô — que têm probabilidade de levar a uma pontuação alta, que são fisicamente possíveis de alcançar a partir de onde o robô está atualmente e que são suficientemente diferentes de tentativas anteriores para manter o processo de aprendizagem atualizado. Os pesquisadores testaram este sistema em ambientes simulados complexos envolvendo criaturas virtuais como guepardos, formigas e caminhantes, descobrindo que isso ajudou as máquinas a aprender mais rápido e de forma mais confiável, particularmente nas tarefas mais difíceis.

Os pesquisadores construíram seu sistema para trabalhar ao lado de algoritmos de aprendizagem poderosos e existentes sem alterar fundamentalmente como esses algoritmos operam. Pense no algoritmo de aprendizagem como um aluno tentando resolver um problema de matemática difícil, e no novo sistema como um tutor que sugere um passo intermediário útil. O aluno ainda faz o trabalho e aprende as regras, mas o tutor aponta para um caminho promissor. Neste caso, o "tutor" é um modelo generativo treinado para criar candidatos a subobjetivos. Quando o robô inicia uma nova tentativa, o modelo gera uma lista de alvos potenciais. Ele então pontua esses alvos com base em três critérios: o quão bom seria o resultado se o robô alcançasse esses alvos, o quão fácil é para o robô chegar lá a partir de sua posição atual e o quão diferente o alvo é de outros para garantir que o robô explore novos territórios. O sistema escolhe o melhor alvo e dá ao robô uma pequena recompensa imediata por se aproximar dele, transformando efetivamente uma jornada longa e confusa em uma série de etapas gerenciáveis.

Para ver se essa abordagem realmente funcionava, a equipe realizou experimentos extensos usando um conjunto de simulações robóticas padrão conhecidas como MuJoCo. Esses ambientes variam de tarefas simples, como equilibrar um pêndulo, a tarefas altamente complexas, como controlar uma formiga virtual com oito pernas que deve coordenar seus movimentos para correr para frente. Os pesquisadores compararam seus robôs aprimorados pelo GANGSTER contra robôs padrão que aprendiam sem esse guia extra. Os resultados mostraram um padrão claro: quanto mais complexo o ambiente, mais o novo sistema ajudava. Nas tarefas mais simples, os robôs padrão se saíam bem e o novo sistema oferecia pouca vantagem. No entanto, nos ambientes de alta complexidade, a diferença foi dramática. Por exemplo, no ambiente Ant-v5, o sistema GANGSTER reduziu o tempo necessário para resolver a tarefa em cerca de 31 por cento e aumentou o desempenho final em 53 por cento em comparação com o método padrão. Em outro teste com um guepardo virtual, o sistema melhorou a consistência da solução para mais de 99 por cento, o que significa que o robô raramente falhava uma vez que havia aprendido a tarefa.

O estudo também revelou que o sucesso do sistema dependia fortemente de como os objetivos intermediários eram escolhidos. Os pesquisadores testaram diferentes maneiras de ponderar os três critérios — bondade (qualidade), alcançabilidade e variedade — e descobriram que priorizar a "bondade" do objetivo era o fator mais crítico. Objetivos que prometiam uma alta recompensa futura foram os mais eficazes para guiar o robô. No entanto, os outros dois fatores eram essenciais para a estabilidade; sem verificar se um objetivo era alcançável, o robô miraria em alvos impossíveis, e sem garantir a variedade, o robô ficaria preso tentando a mesma coisa repetidamente. O sistema provou ser flexível, funcionando bem com dois tipos diferentes de algoritmos de aprendizagem, e os benefícios escalaram conforme as tarefas se tornavam mais difíceis. Isso sugere que, à medida que a inteligência artificial enfrenta desafios do mundo real cada vez mais complexos, ter um mecanismo para gerar e priorizar automaticamente objetivos intermediários úteis pode ser uma chave para desbloquear uma aprendizagem mais eficiente e confiável.

Embora o sistema tenha mostrado grande potencial em simulações, os pesquisadores foram cuidadosos ao notar suas limitações. O processo de gerar e avaliar esses objetivos extras exige poder computacional adicional, tornando o processo de treinamento mais lento do que os métodos padrão. Em ambientes simples onde o robô pode aprender rapidamente por conta própria, esse custo extra não vale o benefício. Além disso, todos os testes atuais foram conduzidos em um mundo digital simulado. Os pesquisadores reconhecem que aplicar isso a robôs do mundo real exigiria abordar questões como ruído de sensores e restrições de segurança que não existem em uma simulação de computador. Apesar dessas ressalvas, o trabalho demonstra um passo significativo no ensino de máquinas para explorar ambientes complexos por conta própria. Ao fornecer uma maneira estruturada de dividir problemas difíceis em etapas alcançáveis, a estrutura GANGSTER oferece um caminho prático para sistemas de inteligência artificial mais capazes, que possam navegar pelos desafios desordenados e de longo horizonte do mundo real.