MidTool: Mid-training Data Synthesis for Agentic Tool Use

Os modelos de linguagem de grande escala são os motores por trás de uma nova geração de assistentes digitais, capazes de ler, escrever e raciocinar com fluência semelhante à humana. Para que esses sistemas sejam verdadeiramente úteis, eles devem fazer mais do que apenas responder perguntas; eles devem ser capazes de agir. Isso significa saber quando recorrer a uma ferramenta, como uma calculadora, um mecanismo de busca ou uma interface de software, e então usá-la corretamente para resolver um problema. No cenário atual da inteligência artificial, pesquisadores têm tratado amplamente essa habilidade de usar ferramentas como uma etapa final de treinamento. Eles pegam um modelo poderoso, pré-treinado, e então o ensinam especificamente como chamar funções ou interagir com software por meio de um processo de ajuste fino (fine-tuning). No entanto, essa abordagem coloca um fardo pesado nessa etapa final, forçando o modelo a aprender comportamentos complexos, como planejar uma sequência de ações ou recuperar-se de informações ausentes, tudo de uma vez, muitas vezes sem uma base profunda de como essas ferramentas realmente funcionam no mundo real.

Uma equipe de pesquisadores da Universidade de Washington e da Snowflake propôs um caminho diferente. Eles sugerem que a habilidade de usar ferramentas deve ser cultivada mais cedo na vida do modelo, durante um estágio intermediário de treinamento que se situa entre o aprendizado inicial amplo e a instrução especializada final. Eles chamam esse processo de "mid-training" (treinamento intermediário). Para testar essa ideia, construíram um conjunto de dados massivo e personalizado, projetado especificamente para ensinar modelos a interagir com ferramentas. Eles nomearam seu projeto de MidTool. Ao alimentar seus modelos com esses dados especializados antes das etapas finais de treinamento, descobriram que os modelos aprenderam a usar ferramentas de forma mais eficaz, com uma melhor compreensão de como planejar ações e lidar com erros, do que os modelos que receberam apenas o treinamento final padrão.

Os pesquisadores começaram reunindo uma coleção diversificada de materiais que contêm o conhecimento bruto de como as ferramentas funcionam. Eles não buscaram apenas exemplos de ferramentas sendo usadas; eles coletaram os manuais, o código, a documentação e as especificações técnicas que descrevem como essas ferramentas devem funcionar. Isso incluiu milhões de páginas da web, milhares de documentos técnicos em formato PDF, vastos repositórios de código de computador e definições estruturadas de interfaces de programação de aplicações (APIs) do mundo real. Eles trataram essas fontes como os "livros didáticos" para seus alunos de IA. A partir desse material bruto, criaram uma mistura de treinamento contendo 20,3 bilhões de tokens, uma medida da quantidade de texto processado. Essa mistura foi cuidadosamente equilibrada, extraindo aproximadamente 42% de documentos da web, 26% de código, 23% de PDFs e 9% de exemplos diretos e sintetizados de agentes usando ferramentas.

Para transformar essa coleção estática de documentos em uma experiência de aprendizado dinâmica, os pesquisadores utilizaram uma abordagem de duas frentes para gerar exemplos de treinamento. O primeiro método focou no aterramento (grounding). Eles pegaram documentos técnicos e códigos e pediram ao modelo que imaginasse cenários onde um usuário precisaria usar as ferramentas descritas naqueles textos. O modelo teve que aprender a ler um manual desorganizado ou um trecho de código complexo, identificar quais ferramentas estavam disponíveis e descobrir quais informações eram necessárias para usá-las. Isso ensinou o modelo a reconhecer as "afordâncias" de uma ferramenta — o que ela é capaz de fazer — com base no contexto. O segundo método focou na execução. Aqui, os pesquisadores usaram definições reais de ferramentas para gerar histórias passo a passo de um agente resolvendo um problema. Essas histórias incluíam o agente criando um plano, chamando uma ferramenta, recebendo uma resposta e, em seguida, decidindo o que fazer a seguir. Crucialmente, esses exemplos também incluíam cenários onde a informação estava faltando ou a ferramenta falhava, ensinando o modelo como se recuperar e pedir esclarecimentos em vez de desistir ou adivinhar.

A equipe testou essa abordagem usando duas versões de um modelo de linguagem base, um com 4 bilhões de parâmetros e outro com 8 bilhões. Eles treinaram esses modelos em seu novo conjunto de dados MidTool e, em seguida, aplicaram as etapas de treinamento final padrão usadas por outros pesquisadores. Em seguida, colocaram os modelos à prova em três benchmarks diferentes projetados para medir o quão bem uma IA pode usar ferramentas. Esses testes variavam de comandos simples de etapa única a tarefas complexas de múltiplas etapas que exigiam que o modelo interagisse com ambientes de software reais. Os resultados mostraram um padrão claro: os modelos que receberam o treinamento intermediário superaram consistentemente aqueles que não o receberam. A melhoria foi mais perceptível nas tarefas mais difíceis, particularmente naquelas que exigiam múltiplas etapas ou a capacidade de lidar com ferramentas desconhecidas. Por exemplo, em um teste que media a habilidade de usar ferramentas em uma conversa de múltiplos turnos, o modelo de 4 bilhões de parâmetros viu sua pontuação saltar mais de 10 pontos em comparação com um modelo que recebeu apenas o treinamento final.

O estudo também revelou os limites dessa abordagem. Embora os modelos treinados via mid-training tenham se tornado significativamente melhores no uso geral de ferramentas, eles não se tornaram especialistas em todos os tipos de tarefas. Ao serem testados em um benchmark específico envolvendo pesquisa web profunda e iterativa, os modelos não mostraram o mesmo nível de melhoria. Isso sugere que, embora uma base geral ajude no entendimento de como usar ferramentas e seguir instruções, comportamentos altamente especializados, como pesquisa profunda ou exploração complexa, podem exigir seus próprios dados de treinamento dedicados. Os pesquisadores descobriram que o treinamento intermediário forneceu uma base forte e estável que tornou o treinamento final subsequente mais eficiente. Os modelos aprenderam a convergir mais rápido e atingiram níveis mais altos de desempenho, indicando que a etapa de treinamento intermediário ajudou a construir uma compreensão interna melhor de como as ferramentas se conectam.

Este trabalho desafia a suposição predominante de que o uso de ferramentas é simplesmente uma habilidade a ser adicionada ao final do desenvolvimento de um modelo. Em vez disso, sugere que a capacidade de interagir com o mundo através de ferramentas é uma capacidade fundamental que se beneficia de ser tecida no conhecimento central do modelo. Ao expor os modelos à estrutura da documentação de ferramentas e à lógica dos fluxos de trabalho das ferramentas precocemente, os pesquisadores criaram um sistema que é mais robusto e adaptável. As descobertas implicam que, para que a próxima geração de agentes de IA seja verdadeiramente eficaz, seu treinamento deve incluir uma fase dedicada onde aprendam não apenas quais ferramentas existem, mas como reconhecê-las, planejar com elas e recuperar-se quando as coisas dão errado. Esta etapa intermediária de treinamento parece ser a chave para desbloquear uma forma de agência mais natural e confiável na inteligência artificial.