Joint Optimization of Tool Creation and Use for Large Language Model Agents

O progresso humano sempre dependeu das ferramentas que construímos. Em vez de resolver cada novo problema do zero, recorremos a instrumentos refinados ao longo de gerações, desde a simples alavanca até o complexo software que gerencia nosso mundo moderno. Os grandes modelos de linguagem, os programas de computador avançados capazes de compreender e gerar a linguagem humana, enfrentam uma limitação semelhante. Embora possuam vastas quantidades de informações armazenadas em sua memória interna, eles têm dificuldade com tarefas que exigem cálculos exatos, acesso a fatos atualizados ou raciocínio lógico confiável. Para superar isso, pesquisadores ensinaram esses modelos a usar ferramentas externas, como calculadoras ou mecanismos de busca, tal como um humano faria ao recorrer a uma calculadora para resolver um problema matemático difícil. No entanto, os sistemas atuais são limitados porque só podem usar ferramentas que os humanos já escreveram e forneceram. Se um humano não construiu uma ferramenta específica para uma nova tarefa, o modelo fica travado.

Essa limitação impulsionou uma mudança em direção a uma abordagem mais dinâmica: ensinar os modelos a criar suas próprias ferramentas sob demanda. A ideia é que um modelo analise um problema, escreva um pequeno trecho de código para resolvê-lo e, em seguida, use esse código para encontrar a resposta. No entanto, os métodos existentes para fazer isso possuem uma falha fundamental. Eles normalmente utilizam um modelo poderoso e caro para escrever a ferramenta e um modelo mais fraco para usá-la. Como o modelo que escreve a ferramenta nunca precisa usá-la ele mesmo, ele não tem incentivo para escrever ferramentas que sejam, de fato, claras, confiáveis ou fáceis de invocar. É como um carpinteiro que constrói um martelo, mas nunca precisa desferir uma martelada; ele pode fazer um cabo que é muito escorregadio ou uma cabeça que é muito pesada, simplesmente porque não sente as consequências de um mau design.

Uma equipe de pesquisadores introduziu um novo framework chamado SMITH para resolver esse descompasso. A inovação central é um método de treinamento que força um único modelo a atuar tanto como o criador quanto como o usuário da ferramenta. Neste sistema, o modelo recebe um conjunto de problemas de exemplo e é solicitado a escrever uma ferramenta, que consiste em um trecho de código e uma descrição clara de como usá-la. Imediatamente depois, o mesmo modelo deve tentar usar essa exata ferramenta para resolver um problema diferente e não visto anteriormente. Se a descrição for confusa ou o código estiver quebrado, o modelo falha em resolver o problema e recebe um sinal claro de que precisa melhorar. Isso cria um ciclo de feedback direto onde o modelo aprende que uma ferramenta é tão boa quanto sua capacidade de ser usada por si mesmo.

Os pesquisadores testaram essa abordagem usando um modelo com quatro bilhões de parâmetros, um tamanho relativamente pequeno comparado aos modelos massivos frequentemente usados nesta área. Eles treinaram o modelo em treze tipos diferentes de tarefas de raciocínio, variando de enigmas aritméticos a jogos lógicos. Os resultados foram impressionantes. O modelo treinado alcançou um alto nível de precisão em problemas que nunca havia visto, superando métodos que dependem de instruções complexas desenhadas por humanos ou até mesmo modelos maiores que são simplesmente instruídos a escrever ferramentas no momento do uso. De fato, o pequeno modelo treinado com este método teve um desempenho melhor do que um modelo não treinado de trinta bilhões de parâmetros quando se tratava de criar ferramentas para novas tarefas. Isso sugere que a habilidade de aprender a construir e usar ferramentas é mais importante do que simplesmente ter uma quantidade maior de memória bruta.

Talvez a descoberta mais surpreendente tenha sido o quão bem essas ferramentas autogeradas foram transferidas para outros modelos. As ferramentas escritas pelo pequeno modelo treinado foram capazes de ajudar um modelo muito menor, de apenas 350 milhões de parâmetros, a performar tão bem quanto um modelo muito maior e não treinado. Por outropondo, quando as ferramentas escritas pelo pequeno modelo foram dadas a um modelo muito grande para uso, o modelo grande performou melhor do que quando tentava escrever suas próprias ferramentas. Isso indica que as ferramentas criadas pelo framework SMITH são genuinamente de alta qualidade e reutilizáveis, não apenas truques que funcionam para um modelo específico. As ferramentas foram tão eficazes que melhoraram o desempenho em tipos inteiramente novos de problemas, como interpretar tabelas complexas ou responder perguntas sobre imagens, embora o modelo nunca tenha sido treinado em dados envolvendo tabelas ou imagens.

O estudo também revelou a importância de como o processo de aprendizagem é estruturado. Os pesquisadores descobriram que simplesmente pedir a um modelo para escrever código não é suficiente; o modelo também deve ser julgado se a descrição da ferramenta corresponde ao código e se a ferramenta realmente funciona quando invocada. Ao separar esses diferentes aspectos de qualidade e recompensar o modelo por acertar cada um deles, o sistema evita armadilhas comuns onde um modelo pode escrever um código que parece bom, mas não pode ser usado, ou escrever uma descrição que é clara, mas não corresponde ao código. Esse equilíbrio cuidadoso permitiu que o modelo aprendesse uma habilidade robusta: a capacidade de criar uma ferramenta que seja tanto correta quanto utilizável.

No fim, este trabalho demonstra que o caminho para uma inteligência artificial mais capaz pode não residir na construção de modelos cada vez maiores, mas em ensinar os modelos a serem melhores em construir e usar suas próprias capacidades. Ao fechar o ciclo entre criação e uso, os pesquisadores mostraram que um modelo pode aprender a projetar ferramentas que sejam confiáveis o suficiente para serem usadas por si mesmo e por outros. Esta abordagem oferece uma maneira escalável de expandir as habilidades da inteligência artificial, permitindo que ela se adapte a novos desafios criando os instrumentos específicos de que necessita, em vez de esperar que os humanos os forneçam. As descobertas sugerem que o futuro da inteligência aumentada por ferramentas não reside em bibliotecas estáticas de ferramentas pré-fabricadas, mas na capacidade dinâmica e de autoaperfeiçoamento dos modelos de moldar suas próprias soluções.