Rethinking the Evaluation of Harness Evolution for Agents
Este artigo critica os protocolos de avaliação atuais para a evolução automática de harnesses em agentes de LLM ao demonstrar que, quando comparada de forma justa contra o escalonamento simples em tempo de teste sob orçamentos equivalentes e em tarefas não vistas, a evolução de harness não oferece ganhos de desempenho consistentes e exibe generalização limitada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você tem um assistente robô superinteligente (um agente de IA) que precisa resolver quebra-cabeças de computador complicados. Para ajudá-lo, você fornece um "harness" (um arreio ou suporte) — um conjunto sofisticado de instruções, ferramentas e regras que dizem ao robô como falar com o computador, quais botões apertar e como verificar seu trabalho.
Por um tempo, pesquisadores acreditaram que a melhor maneira de tornar esses robôs melhores era construir um "mecânico de robôs" que pudesse automaticamente ajustar e atualizar o harness repetidamente. Esse mecânico observaria o robô falhar, pensaria "Hmm, talvez se eu mudar esta regra", tentaria um novo harness, e repetiria o processo até encontrar a configuração perfeita. Eles chamaram isso de Evolução Automática de Harness.
Mas neste novo artigo, uma equipe de pesquisadores decidiu dar uma segunda olhada para ver se esse "mecânico de robôs" está realmente fazendo algo especial, ou se está apenas nos enganando. Eles organizaram uma corrida justa para ver se o mecânico estava realmente projetando ferramentas melhores, ou se estava apenas tendo sorte ao tentar muitos palpites.
A Grande Corrida: Evolução vs. Apenas Esforço
Os pesquisadores organizaram uma competição em um conjunto de quebra-cabeças famoso chamado Terminal-Bench 2.1, que contém 89 tarefas de terminal diferentes. Eles usaram três dos modelos de IA mais inteligentes disponíveis: Claude Opus 4.6, GPT-5.4 e GPT-5.4 mini.
Eles compararam quatro estratégias diferentes, todas recebendo exatamente a mesma quantidade de "tempo de pensamento" (orçamento de computação):
- Amostragem Paralela: Imagine pedir ao robô para tentar resolver o quebra-cabeça 5 vezes diferentes de uma só vez, e então escolher a melhor resposta. É como jogar um dado 5 vezes esperando tirar um seis.
- Refinamento Sequencial: Imagine o robô tentando uma vez, vendo onde errou, corrigindo seu raciocínio e tentando novamente. É como revisar o rascunho de uma redação.
- Evolução de Harness: Este é o "mecânico de robôs". Ele tenta reescrever o manual de instruções do robô com base em falhas passadas, esperando criar uma ferramenta melhor para todos.
- Escalonamento de Harness: Isso é como o mecânico reescrevendo as instruções apenas para este quebra-cabeça específico enquanto o robô está tentando resolvê-lo.
Os Resultados Chocantes
O artigo descobriu que o "mecânico de robôs" (Evolução de Harness) não venceu consistentemente a corrida. Na verdade, ele frequentemente perdia para os métodos mais simples.
Quando não havia "chaves de resposta" (Testes Unitários):
Se o robô tivesse que adivinhar se estava certo ou errado por conta própria, o "mecânico de robôs" na verdade piorou as coisas.
- O método simples de "tentar 5 vezes" (Amostragem Paralela) aumentou a pontuação média de 68,2 para 72,3.
- O "mecânico de robôs" (Evolução de Harness) conseguiu apenas 67,4, o que foi, na verdade, menor do que apenas usar as instruções originais sem quaisquer mudanças!
- Os autores sugerem que, sem uma "chave de resposta" clara para dizer ao robô o que é o correto, o mecânico começou a fazer mudanças barulhentas e confusas que prejudicaram o desempenho do robô.
Quando havia "chaves de resposta" (Testes Unitários):
Mesmo quando o robô podia verificar seu trabalho contra uma solução perfeita, o mecânico ainda não brilhou.
- O método de "tentar 5 vezes" alcançou uma pontuação média de 86,0.
- O "mecânico de robôs" alcançou apenas 75,8.
- Os autores notaram algo estranho: as melhorias do mecânico só apareceram quando ele tinha permissão para escolher o melhor de 5 tentativas (pass@5). Quando tinham que acertar de primeira (pass@1), o mecânico mal melhorou nada. Isso sugere que o mecânico não estava realmente projetando uma ferramenta melhor; ele estava apenas ajudando o robô a fazer mais palpites.
A Armadilha do "Overfitting" (Sobreajuste)
A maior surpresa veio quando os pesquisadores testaram se o "mecânico de robôs" conseguia aprender uma lição que se aplicasse a novos quebra-cabeças. Eles deixaram o mecânico praticar em 45 tarefas de treinamento e, depois, o testaram em 34 tarefas inéditas que ele nunca tinha visto antes.
O resultado? O mecânico mal moveu o ponteiro.
- Nas novas tarefas, a pontuação subiu apenas 0,6 pontos em média.
- Para um modelo (GPT-5.4), a pontuação não mudou nada (72,1 para 72,1).
O artigo sugulos que o mecânico não estava aprendendo regras gerais para ser um bom robô. Em vez disso, ele estava "memorizando atalhos" para os quebra-cabeças específicos nos quais praticou. Foi como um aluno que memoriza as respostas de um teste prático, mas reprova no exame real porque não aprendeu de fato a matéria.
Então, Qual é o Veredito?
O artigo argumenta que precisamos parar de celebrar a "Evolução Automática de Harness" como uma solução mágica só porque ela obtém pontuações mais altas nos mesmos quebra-cabeças em que praticou.
- O que ele descarta: Ele descarta a ideia de que esses métodos de evolução são atualmente superiores ao simples ato de tentar mais vezes (escalonamento da computação em tempo de teste).
- O que ele sugere: Sugere que os ganhos que vemos podem ser apenas o resultado do robô tentando mais vezes, e não porque o design do harness ficou mais inteligente.
- A Lição: Os autores propõem que, para a evolução de harness ser verdadeiramente útil, precisamos testá-la em quebra-cabezas que sejam difíceis o suficiente para exigir um upgrade real nas ferramentas, e devemos testá-la em novos quebra-cabeças para garantir que não está apenas trapaceando ao memorizar os antigos.
Em resumo, o "mecânico de robôs" ainda é um trabalho em progresso. No momento, parece ser melhor em ajustar instruções para um único quebra-cabeça do que em inventar uma ferramenta universal que funcione para todos. O artigo sugere que precisamos de testes mais justos antes de declarar este método como um vencedor.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.