Resumo Técnico: AsyncTool

Declaração do Problema

Embora agentes baseados em Modelos de Linguagem de Grande Escala (LLM) tenham demonstrado proficiência ao utilizar ferramentas externas para tarefas complexas e multi-etapa, as atuais avaliações de referência ignoram amplamente a dimensão temporal da invocação de ferramentas. Especificamente, as avaliações atuais tipicamente assumem respostas imediatas das ferramentas e restringem-se a configurações de tarefa única. Em aplicações do mundo real, no entanto, os agentes frequentemente enfrentam latência de resposta das ferramentas e devem gerenciar múltiplas tarefas concorrentes. As referências existentes falham em avaliar a capacidade de um agente de utilizar períodos de espera ociosa para avançar outras tarefas independentes, uma capacidade que os autores denominam chamada assíncrona de ferramentas. Além disso, há uma falta de métricas e protocolos padronizados para avaliar tarefas concorrentes com feedback de ferramentas atrasado e potencialmente fora de ordem.

Metodologia

A Referência AsyncTool

Os autores propõem o AsyncTool, a primeira referência projetada para avaliar agentes baseados em LLM em ambientes interativos de múltiplas tarefas com feedback de ferramentas atrasado. A referência simula condições realistas onde:

1. Execução Concorrente: Os agentes recebem múltiplas tarefas heterogêneas simultaneamente.
2. Feedback Atrasado: As chamadas de ferramentas incorrem em latência; os resultados não são retornados imediatamente.
3. Rastreamento de Dependências: As tarefas contêm dependências intra-etapa, exigindo que os agentes rastreiem o estado e alternem entre tarefas de forma apropriada, em vez de esperar ociosamente ou alucinar resultados.

Construção de Dados

O conjunto de dados é construído por meio de um pipeline de quatro estágios para garantir alta qualidade e diversidade:

1. Coleta de Dados: Dados brutos são extraídos das referências existentes NESTFUL e BFCLv3, resultando em 12 ferramentas e 358 instâncias de tarefa única.
2. Reconstrução Grossa: O Gemini 2.5 Pro é utilizado para reconstruir descrições de tarefas e gerar trajetórias de chamada de função estritamente ordenadas alinhadas com as ferramentas.
3. Anotação Detalhada: Anotadores humanos verificam as trajetórias quanto à validade de execução, conformidade de dependência e correção de argumentos. Erros, como condições iniciais mal interpretadas ou formatos de função inválidos, são corrigidos.
4. Composição Multi-Tarefa: Instâncias de tarefa única são combinadas em cenários de múltiplas tarefas (dupla tarefa e tripla tarefa) usando amostragem aleatória ponderada. O conjunto de dados final compreende 712 instâncias cobrindo vários tipos de tarefa (por exemplo, Gerenciamento de Dados, Sistema de Arquivos, Negociação) e estruturas de dependência (combinações SIMILAR e CROSS).

Protocolo de Avaliação

O desempenho é avaliado em três níveis distintos:

• Nível de Etapa: Avalia a capacidade fundamental de chamada de ferramenta (formato, seleção de ferramenta, correção de parâmetros) usando pontuações F1 para correspondência de função e parâmetro.
• Nível de Sub-tarefa: Mede a conclusão da trajetória e a consistência do ambiente (correspondência de estados ocultos) para sub-tarefas individuais.
• Nível de Tarefa: Avalia o sucesso ponta a ponta, exigindo que todas as sub-tarefas dentro de uma tarefa sejam concluídas corretamente.

Além disso, os autores introduzem métricas orientadas à eficiência, especificamente o Racha de Mesma Tarefa (Same-task Streak), para medir com que frequência um agente alterna entre tarefas. Um racha menor indica melhor capacidade de intercalação (utilizando tempo ocioso), enquanto um racha maior sugere que o agente pode estar preso aguardando ou falhando em alternar o contexto.

Principais Resultados

Os autores avaliaram 19 modelos (incluindo modelos de código fechado como GPT-4.1, GPT-4o, Gemini 2.5 Pro e vários modelos de código aberto) no AsyncTool.

• Degradação de Desempenho: A execução assíncrona leva a uma clara degradação de desempenho em comparação com configurações síncronas. O feedback atrasado impõe desafios substanciais, particularmente na manutenção de estados de tarefa e dependências.
• Comparação de Modelos: O GPT-4.1 alcançou a pontuação geral mais alta (38,06), seguido de perto pelo DeepSeek-V3.1-Terminus (28,93) entre os modelos de código aberto. Modelos de código fechado geralmente superaram seus equivalentes de código aberto, especialmente nas métricas de Nível de Tarefa.
• Compromisso entre Precisão e Eficiência: A análise revela um compromisso entre a precisão da tarefa e a eficiência do agendamento.
  • Modelos de alto desempenho (por exemplo, GPT-4.1) equilibram alta precisão com alternância de tarefas compacta (baixo Racha de Mesma Tarefa), usando efetivamente o tempo ocioso.
  • Alguns modelos exibem alternância frequente, mas baixa precisão devido a violações de dependência ou confusão de ferramentas.
  • Outros mostram alta precisão, mas má intercalação (alto Racha de Mesma Tarefa), indicando que lutam para utilizar períodos de espera.
• Modos de Falha: Erros comuns incluem:
  • Falta de Raciocínio Temporal: Executar prematuramente a próxima etapa de uma tarefa antes que o resultado atual da ferramenta retorne, frequentemente levando a parâmetros alucinados.
  • Negligência de Tarefa: Focar na tarefa apresentada mais recentemente enquanto ignora as anteriores.
  • Confusão de Ferramentas: Aplicar ferramentas destinadas a uma tarefa em outra.
  • Violação de Dependências: Pular etapas pré-requisito ou gerenciar mal o estado.

Significado e Contribuições

O artigo reivindica as seguintes contribuições:

1. Referência AsyncTool: Uma referência inovadora que considera conjuntamente feedback atrasado de ferramentas, execução concorrente de múltiplas tarefas, chamada de função multi-etapa e coordenação consciente de dependências.
2. Conjunto de Dados Diverso: Um conjunto de dados de múltiplas tarefas assíncronas de alta qualidade construído por meio de uma estratégia híbrida de evolução de dados, cobrindo variados cenários e estruturas de dependência.
3. Avaliação Multi-Nível: Um protocolo abrangente que avalia o desempenho nos níveis de etapa, sub-tarefa e tarefa, acoplado a métricas de eficiência para analisar a intercalação de tarefas.
4. Insights Empíricos: Experimentos extensivos identificando que os agentes atuais lutam com a coordenação temporal. As descobertas destacam que o uso eficaz de ferramentas assíncronas requer não apenas alternância frequente, mas a capacidade de coordenar a alternância com o rastreamento de dependências e a manutenção de estado.

Os autores concluem que a coordenação temporal é uma capacidade crítica para futuros agentes que utilizam ferramentas e que o AsyncTool fornece um campo de testes necessário para desenvolver sistemas com raciocínio temporal e eficiência mais fortes.

Limitações

O artigo reconhece duas limitações primárias:

1. Escopo do Conjunto de Dados: O conjunto de dados é reconstruído a partir de NESTFUL e BFCLv3, o que significa que o leque de ferramentas e cenários é inerentemente limitado por essas fontes.
2. Custo de Construção: A dependência de modelos de alto desempenho (Gemini 2.5 Pro) para reconstrução de dados e a necessidade de verificação humana extensa tornam o processo de construção do conjunto de dados custoso e potencialmente introduzem erros de geração que exigem correção manual.