Resumo Técnico: Uma Questão de GOSTO: Melhorando a Cobertura e a Dificuldade de Benchmarks de Agentes

Declaração do Problema

À medida que as capacidades de agentes que utilizam ferramentas avançam, os benchmarks existentes (como o $\tau^2$-Bench) estão ficando cada vez mais saturados, com modelos líderes atingindo desempenho próximo ao teto. No entanto, a construção de novas tarefas de benchmark mais desafiadoras permanece um processo complexo, custoso e intensivo em mão de obra, dependente de autoria manual. Além disso, a abordagem padrão de construção — onde os autores primeiro escrevem cenários em linguagem natural e depois derivam sequências de ferramentas — falha em explorar explicitamente o espaço de combinações válidas de ferramentas. Consequentemente, os benchmarks atuais frequentemente capturam apenas um subconjunto estreito de padrões de uso de ferramentas, levando a uma "saturação" onde altas pontuações refletem a falta de desafios diversos, e não capacidades robustas de resolução de tarefas. Há uma necessidade urgente de métodos de geração automática de benchmarks que garantam Validade (tarefas são solucionáveis e verificáveis), Dificuldade (tarefas diferenciam significativamente as capacidades dos agentes) e Cobertura (tarefas abrangem padrões estruturalmente diversos de uso de ferramentas).

Metodologia: TASTE

Os autores propõem o TASTE (Síntese de Tarefas a partir da Evolução de Sequências de Ferramentas), um método automático para gerar tarefas desafiadoras de benchmark de agentes, invertendo o processo tradicional de construção. Em vez de começar com cenários, o TASTE começa com sequências de ferramentas e sintetiza tarefas completas ao seu redor. O método opera em três etapas:

Etapa 1: Amostragem de Sequências de Ferramentas

Para abordar a Cobertura e a Validade, o TASTE emprega um Modelo de n-gramas Contrastivo Adaptativo treinado no espaço de sequências de ferramentas.

• Arquitetura do Modelo: O modelo mantém tabelas de contagem separadas ($C^+$ e $C^-$) para n-gramas observados em sequências "plausivelmente válidas" e "implausivelmente válidas", respectivamente.
• Treinamento: Utiliza um loop iterativo de gerar e validar. Sequências são amostradas autoregressivamente e julgadas por um Modelo de Linguagem de Grande Escala (LLM) quanto à plausibilidade. Sequências válidas atualizam $C^+$, enquanto as inválidas atualizam $C^-$.
• Amostragem Contrastiva: A probabilidade de amostragem para a próxima ferramenta é derivada da razão entre as pontuações positiva e negativa, penalizando n-gramas associados a sequências inválidas. Isso permite que o modelo explore o espaço de combinações de ferramentas, concentrando a massa de probabilidade em sequências válidas.

Etapa 2: Agrupamento e Seleção

Para garantir que o benchmark represente padrões diversos sem redundância, o TASTE seleciona um subconjunto representativo de sequências do pool amostrado.

• Agrupamento: Os autores utilizam agrupamento K-medoids para particionar o pool de milhares de sequências candidatas em $K$ clusters (onde $K$ é o tamanho alvo do benchmark).
• Métrica de Distância: Uma distância de Levenshtein ponderada é usada em vez da distância de edição padrão. Os custos de substituição são menores para ferramentas com funções ou tipos similares (por exemplo, duas ferramentas de pesquisa) e maiores para ferramentas de tipos diferentes (leitura vs. escrita). Isso garante que os clusters sejam semanticamente coerentes.
• Seleção: O medoide (sequência central) de cada cluster é selecionado como representante. Medioides inválidos são substituídos pelo próximo membro válido mais próximo do cluster.

Etapa 3: Geração e Evolução de Tarefas

Cada sequência de ferramentas selecionada é instanciada em uma tarefa completa de benchmark e depois evoluída para aumentar a Dificuldade.

• Geração de Tarefa Base: Um LLM constrói um cenário coerente do mundo real (instrução do usuário $u$) e inicializa o estado do banco de dados ($s_0$) para suportar a sequência de ferramentas específica.
• Verificação de Validade: As tarefas passam por verificações baseadas em regras e uma simulação de agente verificador assistido por dicas. O verificador tenta resolver a tarefa usando uma versão embaralhada e parcialmente mascarada da sequência de ferramentas de ouro. O sucesso confirma que a tarefa é solucionável.
• Evolução da Dificuldade: Para simular condições realistas e adversárias, a tarefa base é evoluída através de três passos:
  1. Análise de Estratégia: Identificação de oportunidades para confusão (por exemplo, violações de política, solicitações ambíguas).
  2. Perturbação do Ambiente: Adição de registros "decoy" no banco de dados (por exemplo, um voo totalmente reservado em uma rota desejada) que parecem semelhantes ao alvo, mas são inválidos.
  3. Reescrita do Cenário: Reescrita da instrução do usuário para ser menos cooperativa, ambígua ou adversária, forçando o agente a navegar pela confusão enquanto adere à política.

Contribuições Principais

1. Desejáveis para Benchmarks: O artigo articula e operacionaliza três propriedades críticas para benchmarks de agentes que utilizam ferramentas: Validade, Dificuldade e Cobertura. Crucialmente, define Cobertura em termos da diversidade de sequências de ferramentas de ouro, e não de variação linguística superficial.
2. Framework TASTE: A proposta do TASTE, um pipeline totalmente automatizado que explora o espaço de sequências de ferramentas diretamente para gerar tarefas que satisfazem os três desejáveis sem curadoria manual.
3. $\tau^c$-Bench: A construção do $\tau^c$-Bench, uma extensão desafiadora do $\tau^2$-Bench em três domínios (Aéreo, Varejo, Telecomunicações). Este conjunto de dados apresenta dificuldade significativamente maior e cobertura mais ampla do que seu predecessor.

Resultados

Os autores avaliaram 11 pares agente/LLM de usuário no $\tau^c$-Bench e os compararam com o desempenho no $\tau^2$-Bench original (versão verificada, $\tau_{BV}$).

• Queda de Desempenho: Modelos que quase saturaram o $\tau_{BV}$ sofreram quedas severas de desempenho no $\tau^c$-Bench. Por exemplo, o Gemini-3-Flash caiu de uma pontuação de 0,82–0,94 no $\tau_{BV}$ para 0,28–0,61 no $\tau^c$-Bench (uma queda relativa de até 80%).
• Aumento da Dificuldade: As tarefas evoluídas foram significativamente mais difíceis, com taxas de sucesso caindo entre 16% e 55%, dependendo do modelo de evolução utilizado.
• Cobertura Expandida: O $\tau^c$-Bench mais que dobrou o número de combinações únicas de ferramentas que os agentes devem executar.
  • Distância de Edição Ponderada (WED): Aumentou em até 124%.
  • Razão Tipo-Token (TTR): Aumentou em até 111%, indicando uma diversidade muito maior de sequências de n-gramas de ferramentas.
  • Entropia: A entropia da distribuição de frequência de ferramentas aumentou 35%, mostrando um uso menos enviesado e mais diverso de ferramentas.

Significado e Alegações

O artigo alega que altas pontuações em benchmarks existentes frequentemente refletem saturação e não capacidade robusta de resolução de tarefas. Ao demonstrar que modelos de última geração lutam significativamente com as tarefas geradas pelo TASTE, os autores argumentam que os benchmarks atuais falham em capturar a complexidade total dos padrões de uso de ferramentas.

O significado do TASTE reside em sua capacidade de automatizar a geração de benchmarks difíceis e de alta cobertura, permitindo avaliação contínua e escalável de agentes futuros. Ao inverter o processo de construção para priorizar sequências de ferramentas, o TASTE garante que os benchmarks explorem a diversidade estrutural dos comportamentos dos agentes, em vez de depender de escolhas arbitrárias dos autores. Os autores posicionam este trabalho como um passo necessário para evitar o estagnação da avaliação à medida que as capacidades dos agentes continuam a avançar.