AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?

1. Declaração do Problema

Sistemas agênicos de produção frequentemente realizam numerosas chamadas de modelo por solicitação do usuário. Uma parte significativa dessas chamadas é curta, estruturada e rotineira (por exemplo, consultas, extração de registros, submissões únicas). Atualmente, o padrão da indústria é rotear todas essas chamadas para modelos "fronteira" grandes e caros (por exemplo, GPT-5).

• A Questão Central: As avaliações existentes não respondem diretamente quais partes de um fluxo de trabalho agênico realmente exigem inteligência de fronteira e quais podem ser tratadas por modelos menores de peso aberto.
• A Lacuna: Benchmarks de turno único (por exemplo, BFCL) ignoram dependências sequenciais, enquanto suites complexas de múltiplos passos (por exemplo, SWE-Bench) são confundidas por deriva de API, fundamentação na web e contaminação de dados. Não há um mapa controlado de onde os modelos pequenos correspondem ao desempenho de fronteira e onde eles divergem.

2. Metodologia: O Benchmark AgentFloor

Os autores introduzem o AgentFloor, um benchmark determinístico de 30 tarefas projetado para isolar demandas cognitivas no uso de ferramentas.

• Estrutura: O benchmark é organizado como uma escada de capacidade de seis níveis (A0 a E), onde cada nível introduz exatamente uma nova demanda cognitiva:
  • A0: Seguimento de instruções (sem ferramentas).
  • A: Invocação de ferramenta única.
  • B: Encadeamento sequencial de 2 ferramentas (saída da Ferramenta 1 alimenta a Ferramenta 2).
  • C: Ramificação condicional baseada em resultados intermediários.
  • D: Síntese de múltiplas fontes com recuperação de conflitos.
  • E: Planejamento de longo horizonte sob restrições persistentes (8–12 passos).
• Ambiente: As tarefas são executadas em um ambiente de ferramenta fixo e abstrato com um banco de dados de fixtures na memória. Não há sistemas de arquivos, APIs ao vivo ou estados variáveis no tempo, eliminando ruído ambiental e contaminação de pré-treinamento.
• Modelos Avaliados: 16 modelos de peso aberto variando de 0,27B a 32B parâmetros (incluindo Gemma, Qwen, Mistral, Granite, Ministral) juntamente com o GPT-5.
• Protocolo de Avaliação:
  • Execuções: 16.542 execuções pontuadas.
  • Pontuação: Passa/Falha binária baseada em quatro famílias de verificadores (correspondência da resposta final, validação de submissão, satisfação da trajetória e ausência de comportamentos proibidos, como ferramentas alucinadas).
  • Rigor Estatístico: Utiliza análises bootstrap pareadas (10.000 reamostragens) e o Teste de Um Lado Duplo (TOST) para equivalência em uma margem pré-registrada de ±10 pontos percentuais (pp).
  • Taxonomia de Falhas: As falhas são classificadas em uma cascata estrita (F1: Ferramenta alucinada, F4: Orçamento de passos esgotado, F5: Renúncia antecipada, etc.).

3. Principais Contribuições

1. Benchmark AgentFloor: Uma escada controlada e determinística de 30 tarefas que isola demandas cognitivas específicas no uso de ferramentas agênicas, removendo fatores de confusão como deriva de API.
2. Mapa de Capacidade e Custo: Uma comparação pré-registrada mostrando que o melhor modelo de peso aberto (Gemma 4:26b) alcança paridade agregada com o GPT-5, sendo significativamente mais barato e rápido.
3. Análise de Modo de Falha: Uma análise granular revelando que a "lacuna de longo horizonte" não é universal; diferentes modelos falham por razões diferentes (por exemplo, esgotamento de passos vs. renúncia antecipada), o que significa que as intervenções são específicas do modelo e não universais.

4. Principais Resultados

A. Paridade Agregada e Eficiência de Custo

• Desempenho: Em todas as 30 tarefas, o Gemma 4:26b é estatisticamente equivalente ao GPT-5 (Δ pareado = +0,4 pp, IC 90% [-4,0, +5,1]).
• Custo: Com precisão agregada correspondente (~60% TCR), o Gemma 4:26b é 15× mais barato que o GPT-5 em Macs auto-hospedados e 3× mais barato em GPUs na nuvem.
• Latência: O Gemma 4:26b é 2,5× mais rápido por tarefa aprovada que o GPT-5.
• Fronteira de Pareto: Modelos de peso aberto ocupam toda a fronteira de Pareto de custo por tarefa aprovada em cada ponto de confiabilidade medido.

B. Detalhamento Nível por Nível

• A0 (Instrução): Modelos de peso aberto (por exemplo, Gemma 4:26b) superam estritamente o GPT-5 (100% vs 80%). As falhas do GPT-5 foram frequentemente devidas ao excesso de paráfrase de vocabulário técnico.
• A (Ferramenta Única): Modelos de peso aberto são formalmente equivalentes ao GPT-5.
• B, C, D (Encadeamento, Ramificação, Síntese): As estimativas pontuais estão próximas do GPT-5 (dentro de 9 pp), mas os tamanhos de amostra foram insuficientes para certificar formalmente a equivalência na margem de ±10 pp.
• E (Planejamento de Longo Horizonte): Este é o único nível onde o GPT-5 é estritamente superior (10% de taxa de aprovação vs. 0% para o Gemma 4:26b). No entanto, nenhum dos modelos atinge confiabilidade "relevante para o profissional" (>80%) neste nível.

C. O "Abismo" e Dimensionamento de Modelos

• Modelos Pequenos Suficientes para Trabalho Rotineiro: Para os níveis A0 e A, modelos tão pequenos quanto 0,6B–4B parâmetros são suficientes para atingir metas de confiabilidade de 80–90%.
• A Transição B→C: Há uma queda acentuada no desempenho ao passar do encadeamento sequencial (B) para a ramificação (C). Nenhum modelo de peso aberto zero-shot no corpus superou a barra de confiabilidade de 80% nos níveis C, D ou E.
• Escalonamento Não Monotônico: O desempenho não escala estritamente com a contagem de parâmetros. Por exemplo, um modelo de 4B (Nemotron) superou um modelo de 26B no Nível D, e um modelo de 14B foi superado por seu irmão de 8B na mesma família.

D. Análise de Intervenções (Por que a Lacuna Existe)

Os autores testaram intervenções para fechar a lacuna do Nível E, mas não encontraram nenhuma solução universal:

• Prompt de Submissão Explícita: Elevou o Ministral-3:8b em uma tarefa específica de 0% para 100%, mas teve zero efeito no GPT-5 ou no Gemma 4:26b.
• Duplicação do Orçamento de Passos: Ajudou o GPT-5 em uma tarefa específica (E1), mas foi nulo em outras.
• Modo de Raciocínio: Desativar o raciocínio ajudou o modelo Qwen de 32B no Nível B, mas prejudicou as versões de 8B e 14B.
• Prompts Estruturados (Planejar/Executar/Submeter): Esta alavanca "óbvia" e universal degradou o desempenho em todos os modelos testados, fazendo com que planejassem, mas falhassem em executar.
• Assinaturas de Falha:
  • GPT-5 falha principalmente via F5 (Renúncia Antecipada): Planeja, mas desiste.
  • Gemma 4:26b falha via F4 (Esgotamento de Passos) e F1 (Ferramentas Alucinadas): Esgota os passos ou inventa ferramentas.
  • Conclusão: Como os mecanismos de falha diferem, uma única intervenção não pode corrigir ambos.

5. Significado e Princípios de Design

O artigo fornece um guia concreto e baseado em dados para o roteamento de sistemas agênicos:

1. Roteie Rotinas para Modelos Pequenos: A vasta maioria das chamadas agênicas (A0, A e provavelmente B) pode ser tratada por modelos pequenos de peso aberto (<5B parâmetros) com nenhuma perda mensurável de precisão e ganhos massivos em custo e latência.
2. Reserve Fronteira para Longo Horizonte: Modelos de fronteira devem ser reservados estritamente para a classe estreita de tarefas que exigem coordenação sustentada e rastreamento de restrições (Nível E), embora mesmo lá a confiabilidade permaneça baixa.
3. Intervenções são Específicas do Modelo: Não há prompt ou ajuste de arquitetura "bala de prata" que corrija universalmente o planejamento de longo horizonte. Estratégias de roteamento devem ser adaptadas aos modos de falha específicos do modelo escolhido.

Conclusão Final: A "escada de uso de ferramentas" tem um limite claro. Modelos pequenos de peso aberto já são suficientes para a base ampla de trabalho agênico estruturado e de curto horizonte, desafiando a estratégia de implantação padrão de rotear tudo para modelos de fronteira.