Better, Faster, Stronger: Programmatic Skill Learning Best Reduces Agent Cost

Imagine que você está ensinando um robô a navegar em um parquinho gigante e bagunçado. No início, o robô é como uma criança curiosa: ele tenta caminhar para frente, bate em uma parede, fica confuso, tenta novamente e talvez aprenda um pouco. É assim que os "agentes" de IA modernos geralmente funcionam. Eles são modelos de linguagem poderosos que conseguem entender instruções e conversar com computadores, mas quando enfrentam uma tarefa nova e complexa, muitas vezes precisam "pensar" em cada passo individualmente do zero. Eles podem tentar abrir uma porta, falhar, tentar um caminho diferente, falhar novamente e continuar em um ciclo até conseguir. Embora isso funcione, é lento e caro. Cada vez que o robô "pensa", custa dinheiro e tempo, assim como pagar por cada minuto que um humano passa resolvendo um quebra-cabeça.

A grande questão que os pesquisadores estão fazendo é: Como podemos ensinar esses robôs a melhorarem sem que eles tenham que reaprender a mesma coisa repetidamente? A resposta geralmente envolve "habilidades". Pense em uma habilidade como um atalho ou uma receita pré-pronta. Em vez de descobrir como fazer um bolo do zero toda vez, você apenas segue uma receita que já escreveu. Por um tempo, os cientistas tentaram escrever essas receitas em inglês comum. Mas os autores deste artigo se perguntaram: e se escrevêssemos as receitas em código? O código é como um manual de instruções superpreciso que um computador pode seguir instantaneamente sem ficar confuso ou desperdiçar tempo. A grande ideia é que, se pudermos transformar as experiências desordenadas de tentativa e erro do robô em um código limpo e reutilizável, o robô poderá se tornar mais rápido, mais barato e muito mais inteligente.

Isso é exatamente o que a equipe por trás do projeto "SpeedRunner" se propôs a testar. Eles queriam ver se um agente de IA poderia aprender a escrever suas próprias habilidades baseadas em código enquanto trabalhava, em vez de apenas ser instruído sobre o que fazer. Eles construíram um sistema onde a IA joga um jogo, comete erros e, depois, um segundo "agente de codificação" especial analisa o histórico do robô. Este agente de codificação atua como um detetive e um programador ao mesmo tempo. Ele examina as tentativas passadas do robô, encontra padrões onde o robô falhou repetidamente ou repetiu a mesma sequência longa de etapas, e então escreve um novo trecho de código para corrigir isso. É como assistir ao vídeo de alguém tentando amarrar os sapatos, perceber que a pessoa fica prendendo os cadarços e, então, escrever um pequeno e perfeito manual de instruções sobre como amarrá-los corretamente para que nunca mais fiquem presos.

Os pesquisadores testaram essa ideia em três mundos virtuais muito diferentes: um laboratório científico onde você precisa misturar produtos químicos, um mundo de grade onde você tem que seguir instruções para pegar objetos e um jogo de sobrevivência onde você precisa coletar recursos e lutar contra zumbis. Em todos esses lugares, o agente "SpeedRunner" aprendeu a escrever suas próprias habilidades de código sobre a marcha. Os resultados foram impressionantes. Enquanto outros métodos ou ficavam presos em ciclos ou continuavam ficando mais caros à medida que aprendiam mais, o SpeedRunner tornou-se, na verdade, mais barato e rápido conforme aprendia mais. Ele transformou sequências longas e complicadas de ações em funções de código curtas e reutilizáveis. Por exemplo, em vez de o robô gastar muito dinheiro pensando em como encontrar uma árvore, ele aprendeu um comando de código simples chamado "encontrar_árvore" que poderia apenas clicar para usar instantaneamente.

O artigo sugere que esta abordagem é um divisor de águas para o custo. Em um dos testes, o agente SpeedRunner usou cerca de um oitavo do dinheiro (em termos de poder de processamento de computador) que o método padrão usou para resolver o mesmo problema. Ele não apenas economizou dinheiro, mas também se tornou melhor nas tarefas. A chave foi que o agente de codificação não apenas memorizou o que aconteceu; ele analisou o porquê das falhas. Se o robô continuasse falhando ao encontrar um recurso porque não conseguia vê-lo, o agente de codificação escrevia uma nova função para "varrer a área" antes de desistir. Isso tornou o agente robusto, o que significa que ele podia lidar com mudanças aleatórias no ambiente, como zumbis aparecendo do nada, sem entrar em pânico.

No entanto, os autores fazem questão de notar que isso não é uma solução mágica para todas as situações. Eles descobriram que, se o robô já for muito bom em uma tarefa, forçá-lo a usar código pode torná-lo um pouco rígido demais, como um robô que segue uma receita tão estritamente que não consegue se adaptar se o forno quebrar. Mas para a maioria das tarefas complexas de longo prazo, transformar experiências desordenadas em código limpo parece ser a melhor maneira de tornar os agentes de IA mais inteligentes e acessíveis. O estudo mostra que, ao permitir que os agentes escrevam seus próprios "atalhos automatizados" enquanto jogam, podemos construir sistemas que aprendem de forma eficiente sem precisar serem treinados do zero toda vez que enfrentam um novo desafio.