On Randomness in Agentic Evals

Título: ON RANDOMNESS IN AGENTIC EVALS (Sobre a Aleatoriedade em Avaliações de Agentes)

1. O Problema

O campo de sistemas de IA autônomos (agentes) depende cada vez mais de benchmarks para medir o progresso, como o SWE-Bench-Verified. A prática padrão atual na literatura e em leaderboards é relatar a métrica pass@1 (probabilidade de resolver uma tarefa em uma única tentativa) baseada em apenas uma execução por tarefa.

Os autores argumentam que essa abordagem é metodologicamente falha por três razões principais:

1. Alta Variância: Estimar uma probabilidade de sucesso binária com uma única amostra fornece uma estimativa de alta variância da verdadeira probabilidade.
2. Estocasticidade Intrínseca: Mesmo com temperatura de amostragem maior que zero, a natureza probabilística dos LLMs gera resultados diferentes.
3. Não-Determinismo Oculto: Mesmo em configurações teoricamente determinísticas (temperatura = 0), fatores como precisão de ponto flutuante, paralelização de hardware e otimizações de inferência introduzem variabilidade.

A consequência crítica é que melhorias relatadas de 2-3 pontos percentuais podem ser apenas ruído estatístico (sorte na execução) e não progresso algorítmico real, levando a decisões de engenharia e pesquisa equivocadas.

2. Metodologia

Para quantificar essa aleatoriedade, os autores realizaram um estudo empírico de larga escala:

• Dados: Coletaram 60.000 trajetórias de agentes no benchmark SWE-Bench-Verified.
• Configurações: Testaram 6 configurações de agentes (combinações de 3 modelos e 2 scaffolds de execução), executando 10 corridas independentes para cada configuração em cada tarefa.
  • Modelos: Qwen3-32B, DeepSWE-preview (fine-tuned para agentes) e Devstral-2-123B.
  • Scaffolds: nano-agent (scaffold mínimo desenvolvido pelos autores) e R2E-Gym (scaffold mais rico usado no treinamento do DeepSWE).
• Escala: O estudo gerou 25,58 bilhões de tokens e 1,88 milhão de chamadas de ferramentas.
• Análise:
  • Comparação de taxas de resolução entre corridas individuais.
  • Cálculo de métricas de limites: pass@k (limite otimista: probabilidade de pelo menos uma das k tentativas ter sucesso) e passˆk (limite pessimista: probabilidade de todas as k tentativas terem sucesso).
  • Análise de Divergência: Estudo token a token para identificar quando e como duas trajetórias idênticas começam a divergir.

3. Principais Contribuições

1. Quantificação da Variância: Demonstração empírica de que a estimativa de pass@1 baseada em uma única corrida varia significativamente (entre 2,2 e 6,0 pontos percentuais), mesmo com temperatura 0.
2. Análise de Divergência Precoce: Identificação de que as trajetórias dos agentes divergem muito cedo (geralmente nos primeiros 1% dos tokens) e que pequenas diferenças iniciais se amplificam através do mecanismo de condicionamento autoregressivo, levando a estratégias de solução completamente diferentes.
3. Caracterização de Limites de Desempenho: Uso de pass@k e passˆk para revelar a "envelope" de desempenho, mostrando que a dependência da exploração estocástica é fundamental, com lacunas de até 24,9 pontos percentuais entre os cenários otimista e pessimista.
4. Diretrizes Práticas: Recomendações concretas para tornar a avaliação de agentes cientificamente sólida.

4. Resultados Chave

• Variabilidade Significativa: A variação entre corridas individuais é consistente. Por exemplo, para o modelo DeepSWE-preview com temperatura 1.0, as corridas individuais variaram de 28,8% a 32,4% (uma faixa de 3,6 pontos).
• Ilusão de Determinismo: Mesmo com temperatura = 0.0, a variância não desaparece. Em alguns casos, a variância até aumentou em temperatura zero comparada a temperaturas mais altas, devido a não-determinismos de infraestrutura (hardware, inferência).
• Divergência Precoce: A análise token a token mostrou que a divergência ocorre frequentemente nos primeiros tokens (ex: posição 5 em uma trajetória de 1000 tokens). Um exemplo de caso (Figura 3) mostrou que uma diferença sutil na fraseologia interna do raciocínio (token 94) levou a chamadas de ferramentas diferentes e, finalmente, a um resultado de sucesso vs. falha.
• Impacto de Melhorias Pequenas: Uma melhoria relatada de 3 pontos percentuais (ex: de 31% para 34%) pode estar inteiramente dentro da margem de erro natural da avaliação, não indicando progresso real.
• Cálculo de Potência Estatística: Para detectar uma melhoria real de 2% com 80% de poder estatístico e p < 0,05, são necessárias aproximadamente 9 corridas por agente (assumindo variância mediana). Para detectar 1%, seriam necessárias 36 corridas.

5. Significado e Recomendações

O artigo conclui que a aleatoriedade é um componente fundamental do desempenho de agentes, não apenas um ruído menor. Ignorar isso compromete a credibilidade científica e a tomada de decisões de negócios.

Os autores recomendam três práticas concretas para a comunidade:

1. Múltiplas Corridas: Estimar o pass@1 a partir de múltiplas execuções independentes por tarefa, especialmente ao medir melhorias pequenas.
2. Análise de Potência Estatística: Usar análise de poder para determinar o número necessário de corridas antes de realizar o experimento, baseando-se no tamanho do efeito esperado e na variância observada.
3. Relatar Limites de Desempenho: Além do pass@1, relatar métricas como pass@k (limite otimista) e passˆk (limite pessimista) para caracterizar a robustez e a dependência de exploração estocástica do agente.

Conclusão Final: Embora essas práticas aumentem o custo computacional da avaliação, elas são essenciais para distinguir o progresso científico genuíno do ruído estatístico, garantindo que a evolução dos sistemas de IA seja medida com rigor e confiabilidade.