🤖 machine learning

On Effectiveness and Efficiency of Agentic Tool-calling and RL Training

Este artigo investiga a eficácia e a eficiência da chamada de ferramentas agêntica ao revelar como pequenas escolhas de implementação distorcem significativamente os resultados de avaliação e ao introduzir técnicas para acelerar o treinamento de aprendizado por reforço sem comprometer o desempenho.

Autores originais: Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robô muito inteligente (um Grande Modelo de Linguagem) que conhece muitos fatos de seu treinamento. Mas, para realizar tarefas no mundo real, ele precisa usar ferramentas — como chamar uma API de clima, pesquisar na web ou verificar uma agenda. Este artigo trata de duas grandes questões: O quanto sabemos se o robô é realmente bom em usar essas ferramentas? e Como podemos ensiná-lo a usá-las sem desperdiçar uma fortuna em eletricidade e tempo de computação?

Aqui está a divisão usando analogias simples:

Parte 1: O Problema da "Eficácia" (O teste é justo?)

Os autores descobriram que medir o quão bom um robô é ao usar ferramentas é surpreendentemente frágil. É como julgar as habilidades culinárias de um chef, mas a pontuação muda drasticamente dependendo de detalhes minúsculos, muitas vezes não ditos, na cozinha.

A Roleta do "Random Seed" (Semente Aleatória): Imagine jogar uma moeda para decidir a ordem dos ingredientes. O artigo descobriu que, se você mudar esse ponto de partida aleatório (a "semente"), a pontuação do robô pode oscilar significativamente, especialmente em tarefas longas de múltiplas etapas. É como um aluno receber uma nota diferente no mesmo teste só porque sentou em uma cadeira diferente.
O Formato de "Contação de Histórias": Como você conta ao robô sobre o passado importa. O artigo comparou duas formas de mostrar o histórico de conversa ao robô:
- Método A (Nativo): Mostrar o histórico como um bate-papo natural de ida e volta.
- Método B (Contexto): Descarregar todo o histórico em um único bloco gigante de texto.
- O Resultado: O robô teve um desempenho 6 a 8% melhor com o Método A. Acontece que o robô entende muito melhor um fluxo de conversa natural do que um muro gigante de texto, mesmo que a informação seja a mesma.
O Histórico de "Pensamento": O robô deve ver seus próprios pensamentos anteriores (como "Eu preciso verificar a previsão do tempo primeiro")? O artigo descobriu que manter os rastros de pensamento visíveis ajuda o robô a manter o foco, melhorando as pontuações em cerca de 3 a 5%.
A "Nota do Professor" (Prompt de Sistema): Às vezes, apenas adicionar uma frase minúscula às instruções do robô (ex: "Lembre-se de agir como um usuário em chats de múltiplos turnos") aumentou o desempenho tanto quanto meses de treinamento extra. Isso sugere que muitos "melhorias" vistas em outros artigos podem ser apenas porque o professor deu instruções melhores, não porque o aluno aprendeu melhor.

A Grande Conclusão: Se você não padronizar esses pequenos detalhes (como formatar o chat, qual semente aleatória usar, quais instruções dar), comparar diferentes robôs é como comparar maçãs com laranjas. Os rankings das tabelas de classificação podem ser enganosos.

Parte 2: O Problema da "Eficiência" (Pare de desperdiçar tempo)

Uma vez que sabemos como testar de forma justa, os autores observaram como treinamos esses robôs usando Aprendizado por Reforço (RL). Eles descobriram que o processo de treinamento atual é incrivelmente wasteful (desperdiçador), como um aluno estudando para uma prova relendo páginas que ele já conhece perfeitamente.

Eles identificaram duas principais fontes de desperdício:

1. O Problema do "Dever de Casa Chato" (Prompts de Variância Zero)

O Problema: Durante o treinamento, o robô recebe muitos problemas de prática. Em cerca de 80% deles, o robô ou acerta 100% imediatamente ou falha completamente de uma forma que não ensina nada. Estes são prompts de "variância zero" — eles não fornecem sinal de aprendizado. É como um professor fazendo um aluno resolver 1+1=2 mil vezes; isso não ajuda a aprender.
A Solução: Os autores criaram uma "lista de pulos" (skip list). Se o robô acerta um problema específico três vezes seguidas, o sistema para de desperdiçar tempo gerando novas tentativas para ele e passa para um problema mais difícil. Isso economiza uma quantidade massiva de tempo de computação.

2. O Problema do "Superdimensionamento" (Altos Custos de Atualização)

O Problema: Para aprender, o robô geralmente tenta um problema várias vezes (digamos, 8 vezes) para ver qual resposta é a melhor. O computador então gasta uma enorme quantidade de energia atualizando o cérebro do robô com base em todas essas 8 tentativas. O artigo descobriu que a parte de "atualização do cérebro" leva de 3 a 5 vezes mais tempo do que a parte de "tentar" propriamente dita.
A Solução: Em vez de usar todas as 8 tentativas para atualizar o cérebro, o sistema escolhe apenas as mais úteis — especificamente, a melhor resposta e a pior resposta. Isso cria o maior contraste para o aprendizado. Ao ignorar as tentativas do "meio termo", eles cortam o tempo de atualização significativamente sem prejudicar o aprendizado do robô.

O Resultado Final

Ao corrigir o "desperdício" no processo de treinamento, os autores fizeram o robô aprender 1,7 a 2,6 vezes mais rápido (em termos de tempo de relógio real) sem tornar o robô mais burro. Na verdade, o robô ficou melhor em usar ferramentas em conversas de múltiplas etapas, superando vários outros modelos famosos.

Em resumo: O artigo argumenta que precisamos parar de tratar os benchmarks de robôs como um jogo casual e começar a tratá-los como um experimento científico rigoroso (corrigindo a "Eficácia"). Simultaneamente, precisamos parar de treinar robôs como se eles estivessem pagando por cada segundo de seu tempo de pensamento e começar a ser mais inteligentes sobre o que realmente aprendemos (corrigindo a "Eficiência").

Resumo Técnico: Sobre a Eficácia e Eficiência de Chamada de Ferramentas Agêntica e Treinamento por RL

1. Declaração do Problema

O artigo aborda dois desafios críticos e complementares no desenvolvimento de agentes de Grandes Modelos de Linguagem (LLMs) equipados com capacidades de chamada de ferramentas (tool-calling): eficácia de avaliação e eficiência de treinamento.

Eficácia (Fragilidade da Avaliação): Embora a chamada de ferramentas seja central para os agentes modernos, a confiabilidade dos resultados de benchmarks é questionável. Os autores argumentam que o desempenho relatado é frequentemente altamente sensível a escolhas de implementação aparentemente menores e não documentadas (ex: sementes aleatórias, templates de prompt, manipulação de histórico). Essa fragilidade compromete a reprodutibilidade e torna as comparações entre artigos pouco confiáveis, potencialmente fazendo com que o campo busque ganhos superficiais enquanto negligencia métodos robustos.
Eficiência (Desperdício Computacional): O treinamento de agentes de chamada de ferramentas via Aprendizado por Reforço (RL), particularmente usando algoritpos como PPO e GRPO, é computacionalmente caro. Os autores identificam duas fontes específicas de desperdício:
1. Desperdício de Rollout: Uma parte significativa dos prompts (até 80%) produz rollouts de "variância zero", onde todas as trajetórias amostradas recebem recompensas idênticas, não gerando sinal de gradiente para o aprendizado.
2. Custo de Atualização: A etapa de atualização da política na chamada de ferramentas incorre em um custo computacional desproporcionalmente alto em comparação à geração de rollouts, impulsionado por sequências de contexto longas (schemas de ferramentas, histórico de múltiplos turnos, I/O).

2. Metodologia

2.1. Análise da Eficácia da Avaliação

Usando o benchmark BFCL (Berkeley Function Calling Leaderboard) como estudo de caso, os autores variaram sistematicamente componentes específicos do pipeline de avaliação para medir seu impacto no desempenho:

Sementes Aleatórias (Random Seeds): Avaliaram o desempenho através de 10 sementes para cinco modelos (séries Qwen e Llama) para quantificar a variância.
Templates de Multi-turno: Compararam a serialização "nativa" (mensagens de função-conteúdo formatadas pelo chat template) contra a concatenação de "contexto" (injeção de todo o histórico em um único turno de usuário).
Histórico de Pensamento (Thinking History): Analisaram o impacto de reter traços de raciocínio intermediários (Cadeia de Pensamento - CoT) versus a omissão deles em interações de múltiplos turnos.
Prompts de Sistema: Testaram a sensibilidade dos resultados a modificações manuais menores nas instruções de sistema adaptadas para interações de múltiplos turnos.
Formato de Dados de Treinamento: Realizaram experimentos controlados comparando modelos treinados em dados puramente de turno único versus dados puramente de múltiplos turnos para isolar a contribuição do formato de supervisão.

2.2. Técnicas de Eficiência Propostas

Guiados pela identificação de gargalos computacionais, os autores propõem duas técnicas de aceleração leves para o treinamento de chamada de ferramentas baseado em RL:

Filtragem de Pré-rollout Online:
- Mecanismo: Antes de gerar rollouts caros, o sistema verifica um cache leve de sequências de "todos corretos" por prompt. Se um prompt foi resolvido corretamente nas últimas $k$ épocas (tipicamente $k=1$ ou $2$), ele é pulado na época atual.
- Racional: Prompts resolvidos uniformemente tendem a permanecer resolvidos em épocas subsequentes. Esta filtragem dinâmica evita a amostragem redundante de prompts não informativos sem exigir filtragem de pré-treinamento estática.
Subamostragem de Rollout Consciente de Variância:
- Mecanismo: Para cada prompt, o modelo gera $n$ rollouts como de costume. No entanto, durante a etapa de atualização da política, apenas um subconjunto de $m$ rollouts ( $m < n$ ) é retropropagado. O subconjunto é selecionado para maximizar a variância da recompensa (especificamente, selecionando os $m'$ rollouts de menor recompensa e $m-m'$ de maior recompensa).
- Racional: Isso retém os sinais de aprendizado mais contrastivos (alta vs. baixa recompensa) enquanto reduz a carga computacional da etapa de atualização da política, que é o custo dominante em cenários de chamada de ferramentas.

3. Principais Resultados

3.1. Descobertas de Sensibilidade de Avaliação

Variância de Semente: O desempenho de turno único é estável entre as sementes, mas a avaliação de múltiplos turnos mostra variância significativa (desvio de até ~3%) devido ao acúmulo de erros ao longo dos turnos.
Impacto do Template: O uso do template de múltiplos turnos "nativo" produz um ganho de desempenho consistente de 6 a 8% sobre a abordagem de concatenação de "contexto".
Histórico de Pensamento: Reter o histórico de pensamento melhora o desempenho de múltiplos turnos em 2 a 5% para modelos de raciocínio.
Prompts de Sistema: Mudanças menores e direcionadas nos prompts de sistema podem produzir ganhos comparáveis ou maiores do que os atribuídos ao treinamento de RL, destacando o risco de variáveis de confusão.
Formato de Dados: Em configurações controladas, o treinamento em dados puramente de múltiplos turnos não melhorou confiavelmente o desempenho de múltiplos turnos e, às vezes, o degradou em comparação ao treinamento de turno único. Isso sugere que a qualidade da trajetória e o acúmulo de ruído são mais críticos do que a mera presença de supervisão de múltiplos turnos.

3.2. Ganhos de Eficiência e Desempenho

Prevalência de Variância Zero: Aproximadamente 80% dos prompts inicialmente produzem rollouts de variância zero, confirmando o desperdício significativo de rollout.
Aceleração de Treinamento: As técnicas de eficiência propostas alcançam acelerações substanciais de tempo de execução (wall-clock) sem degradar o desempenho final:
- 1.7× de aceleração em configurações de turno único.
- 2.6× de aceleração em configurações de múltiplos turnos.
Desempenho em Benchmarks:
- O modelo treinado por RL (Qwen3-4B) alcançou uma pontuação média de 39.4 no BFCL multi-turn, superando o modelo base e vários baselines de código aberto.
- No ACEBench, o modelo melhorou em 12.1 pontos absolutos de acurácia sobre o modelo base, superando o Nova1-Lite e outros modelos de código aberto.
Generalização: Avaliações downstream (HellaSwag, MMLU, TruthfulQA, Winogrande) mostraram que o treinamento de RL não degradou significativamente as capacidades gerais.

4. Significância e Alegações

O artigo afirma fornecer a primeira análise sistemática da fragilidade dos pipelines de avaliação de chamada de ferramentas, argumentando que a comunidade deve adotar uma padronização mais rigorosa (ex: reportar sementes, padronizar templates e prompts) para garantir comparações significativas.

Em relação à eficiência, os autores demonstram que o treinamento de RL para chamada de ferramentas pode ser tornado significativamente mais rápido ao abordar gargalos computacionais específicos inerentes à tarefa (contextos longos e altas taxas de prompts não informativos). Eles afirmam que suas técnicas oferecem um caminho prático para reduzir a pegada ambiental e financeira do desenvolvimento de agentes capazes sem sacrificar o desempenho.

O trabalho não propõe novos conjuntos de dados de uso de ferramentas ou arquiteturas de agentes, mas foca em melhorar a metodologia de avaliação e a eficiência do processo de treinamento. Os autores observam que, embora o treinamento mais eficiente reduza as barreiras para implantação, isso exige avaliação de segurança e monitoramento responsáveis para evitar possíveis usos indevidos.