The Bitter Lesson of Tool Calling
Este artigo demonstra empiricamente que a chamada de ferramentas programática, que utiliza stubs de Python tipados para a invocação de ferramentas, é uma alternativa robusta e frequentemente superior à chamada de ferramentas nativa em JSON através de diversos modelos de linguagem e condições desafiadoras, como execução paralela e degradação de contexto.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você tem um assistente robô superinteligente que pode falar com o mundo exterior. Para realizar tarefas, esse robô precisa pedir ajuda a outros programas, como verificar o clima ou calcular um problema matemático. Por muito tempo, a única maneira de o robô pedir ajuda era falando em um formato muito estrito e rígido chamado "JSON". Pense nisso como um robô que só pode enviar solicitações em pequenos cartões postais pré-impressos. Se ele precisar fazer três coisas, terá que escrever três cartões separados, esperar pela resposta do primeiro, depois escrever o segundo, e assim por diante. É ordenado, mas é lento e desajeitado.
No entanto, como este robô também é um programador brilhante, os cientistas se perguntaram: por que não deixar o robô simplesmente escrever um programa de computador para fazer o trabalho? Em vez de cartões postais, o robô poderia escrever um pequeno script — um conjunto de instruções que diz ao computador exatamente o que fazer de uma só vez. Isso é chamado de "chamada de ferramenta programática". É como dar ao robô uma caneta e um caderno em vez de apenas cartões postais. A grande questão era: esta nova maneira flexível é realmente melhor, ou o antigo método rígido do cartão postal ainda é o rei da colina? Este artigo mergulha nessa questão para ver se deixar o robô escrever código o torna um ajudante mais rápido, inteligente e confiável.
Os pesquisadores configuraram um teste massivo usando 14 versões diferentes desses modelos de IA, variando de modelos mais antigos aos mais recentes e poderosos. Eles os colocaram em uma prova de resistência com 309 tarefas diferentes, desde trabalhos simples de etapa única até cenários complexos onde o robô tinha que fazer muitas coisas ao mesmo tempo ou encadear etapas. Eles compararam o antigo método do "cartão postal" (chamada de ferramenta JSON) contra o novo método do "script" (chamada de ferramenta programática).
Os resultados foram um pouco surpreendentes e um pouco uma lição de como a tecnologia evolui. O estudo descobriu que, para a maioria dos modelos mais novos e inteligentes, escrever um script era tão bom quanto, ou até melhor do que, enviar cartões postais. Na verdade, a família mais recente de modelos (a série GPT-5.6) teve um enorme impulso, melhorando sua precisão em cerca de 10,6% quando permitida a escrever código. Foi como dar a um piloto de corrida uma pista melhor; eles não apenas correram mais rápido, eles correram de forma mais inteligente.
Mas aqui está a reviravolta: o artigo sugere que este novo método não é uma varinha mágica para todo robô. Os modelos mais antigos na verdade tiveram dificuldades com a abordagem do script. Três dos modelos mais antigos ficaram confusos quando solicitados a escrever código, produzindo scripts quebrados que travavam porque não consegravam lidar com a formatação corretamente. Parece que a capacidade de usar este novo método flexível depende fortemente de quão "novo" e capaz é o cérebro do modelo. O artigo argumenta que a diferença não é sobre qual empresa fez o robô (como Anthropic vs. OpenAI), mas sim qual é a geração do robô. Os mais novos estão prontos para o script; os mais antigos ainda estão presos nos cartões postais.
Os pesquisadores também testaram como esses métodos se sustentavam sob pressão. Quando o robô tinha que fazer muitas coisas ao mesmo tempo (como enviar 100 solicitações simultaneamente), o antigo método do cartão postal começou a falhar, perdendo chamadas e deixando de realizar tarefas. O método do script, no entanto, continuou trabalhando sem problemas, lidando com a carga de trabalho sem perder o ritmo. Da mesma forma, quando o robô recebeu uma enorme quantidade de informações confusas para filtrar (um teste de "podridão de contexto"), o método do script permaneceu estável, enquanto o antigo método mostrou alguma variação de desempenho.
Então, qual é a conclusão? O artigo sugere que, para os modelos de IA mais recentes e avançados, deixar que escrevam código para chamar ferramentas é uma alternativa viável, robusta e frequentemente superior aos antigos métodos rígidos. Ele lida com cadeias complexas de tarefas de forma mais rápida e não fica sobrecarregado quando a carga de trabalho aumenta. No entanto, isso ainda não é uma solução universal. Se você estiver usando um modelo mais antigo, talvez ainda precise aderir ao antigo estilo de cartão postal, ou o robô pode acabar tropeçando nos próprios pés. A "lição amarga" aqui é que, embora o futuro pareça brilhante para agentes baseados em código, temos que garantir que nossas ferramentas sejam realmente inteligentes o suficiente para suportar o upgrade.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.