💬 NLP

VeRO: An Evaluation Harness for Agents to Optimize Agents

O artigo apresenta o VeRO, um conjunto de ferramentas e benchmark projetado para avaliar e padronizar a otimização iterativa de agentes de codificação, permitindo o estudo sistemático de como melhorias em agentes podem ser realizadas de forma reprodutível.

Autores originais: Varun Ursekar, Apaar Shanker, Veronica Chatrath, Yuan, Xue, Sam Denton

Publicado 2026-02-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Varun Ursekar, Apaar Shanker, Veronica Chatrath, Yuan, Xue, Sam Denton

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô cozinheiro (o "Agente") que tenta fazer pratos deliciosos para você. Às vezes, ele queima o bolo ou esquece o sal. O problema é que, até agora, para consertar esse robô, um humano precisava ficar ao lado dele, apontando o erro e dizendo: "Ei, coloque menos sal" ou "Aumente o fogo". Isso é lento, cansativo e não escala.

O artigo que você enviou apresenta uma solução chamada VeRO (que significa "Verificação, Recompensas e Observações"). A ideia central é: e se pudéssemos criar um "Robô Mestre" (um Agente Programador) que conserta o "Robô Cozinheiro" sozinho, escrevendo e testando o código dele?

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: Consertar Robôs é Difícil

Atualmente, quando um agente de IA (um programa que usa linguagem para fazer tarefas) falha, os desenvolvedores humanos têm que analisar o que deu errado e reescrever o código manualmente. É como tentar consertar um carro de corrida olhando apenas pelo retrovisor. Além disso, esses robôs misturam código fixo com "achismos" da IA (que podem variar de uma tentativa para outra), o que torna difícil saber se uma melhoria foi real ou apenas sorte.

2. A Solução: O VeRO (O Laboratório de Testes Perfeito)

Os autores criaram o VeRO, que é como um laboratório de testes supercontrolado para esses robôs. Pense nele como um "simulador de voo" para agentes de IA.

O VeRO garante três coisas essenciais:

Versões (Versioning): É como o "Histórico de Arquivos" do Google Docs, mas para robôs. Se o Robô Mestre tentar uma conserto e piorar a situação, o VeRO permite voltar instantaneamente para a versão anterior que funcionava.
Orçamento (Budget): Imagine que você tem apenas 10 moedas para gastar em testes. O VeRO conta cada tentativa. Isso impede que o robô tente milhões de coisas aleatórias e força-o a ser inteligente e eficiente.
Rastreamento (Observations): O VeRO grava tudo: o que o robô fez, onde errou e qual foi a nota. Ele entrega esse relatório detalhado de volta ao Robô Mestre para que ele aprenda com os erros.

3. O Experimento: Quem Conserta Quem?

Os pesquisadores usaram o VeRO para testar vários "Robôs Mestres" (agências de codificação) tentando consertar "Robôs Alvos" (agências que fazem tarefas como matemática, pesquisa na internet ou responder perguntas).

Eles testaram em diferentes cenários:

O "Peão" (Pawn): Um robô cozinheiro muito simples, com poucas ferramentas e instruções básicas.
O "Cavaleiro" (Knight): Um robô cozinheiro sofisticado, com muitas ferramentas, livros de receitas complexos e inteligência avançada.

4. O Que Eles Descobriram? (As Lições)

O VeRO é essencial: Sem esse laboratório controlado, os robôs mestres frequentemente falhavam, travavam ou criavam resultados que não podiam ser repetidos. Com o VeRO, eles realmente melhoraram o desempenho.
Robôs simples têm mais espaço para crescer: O "Peão" (robô simples) melhorou muito mais do que o "Cavaleiro" (robô complexo). É mais fácil adicionar um novo ingrediente a uma receita básica do que melhorar uma obra-prima culinária já perfeita.
O tipo de instrução importa:
- Para o robô simples, dar um livro de receitas completo (instruções detalhadas) funcionou melhor. Ele precisava de guia.
- Para o robô complexo, menos é mais. Quando eles tiraram as instruções detalhadas e deixaram o robô mais livre para criar, ele funcionou melhor. O robô esperto não gostava de ser microgerenciado.
O "Efeito Colateral": Às vezes, o robô consertava um problema (ex: fazia a matemática melhor) e estragava outro (ex: ficava mais lento ou errava perguntas simples). Isso mostra que otimizar um robô é um equilíbrio delicado.
A Tendência de "Preguiça": Os robôs mestres tendiam a mudar apenas o texto das instruções (o "prompt") em vez de mudar a estrutura do código. Eles preferiam mudar a receita escrita a mudar a panela ou o fogão, mesmo que mudar o fogão fosse a solução real.

5. Por Que Isso é Importante?

Este trabalho é um marco porque cria a primeira régua padronizada para medir se uma IA consegue melhorar outra IA.

Antes disso, era como tentar medir quem é o melhor mecânico sem ter um carro de teste ou ferramentas. Agora, com o VeRO, a comunidade pode:

Comparar diferentes métodos de melhoria.
Entender onde as IAs ainda falham (como em tarefas de raciocínio puro).
Desenvolver sistemas que se auto-otimizam de forma segura e controlada.

Resumo Final:
O VeRO é o ginásio de treinamento onde os "robôs programadores" aprendem a consertar outros robôs. O estudo mostrou que, com o treino certo e as regras do jogo claras, eles conseguem melhorar o desempenho, especialmente em robôs mais simples, mas ainda precisam aprender a fazer mudanças mais profundas e não apenas superficiais. É um passo gigante rumo a sistemas de IA que melhoram a si mesmos automaticamente.

Título: VeRO: Um Ambiente de Avaliação para Agentes Otimizarem Agentes

1. O Problema

O surgimento de agentes de IA baseados em Grandes Modelos de Linguagem (LLMs) criou uma nova aplicação crítica: a otimização de agentes. Este processo envolve a melhoria iterativa de um "agente alvo" através de ciclos de edição, execução e avaliação.

No entanto, a comunidade carece de uma compreensão sistemática sobre o desempenho de agentes de codificação nesta tarefa. Diferente da engenharia de software tradicional, a otimização de agentes lida com sistemas híbridos que combinam código determinístico com conclusões estocásticas de LLMs. Os desafios principais incluem:

Falta de infraestrutura padronizada para capturar tanto o raciocínio intermediário quanto os resultados de execução.
Dificuldade em garantir reprodutibilidade e controle de orçamento (custo computacional) durante os ciclos de otimização.
Ausência de benchmarks que tratem a otimização de agentes como uma tarefa de geração de código aberta, onde um agente (otimizador) tenta melhorar o código de outro agente (alvo).

2. Metodologia: O Framework VeRO

Os autores introduzem o VeRO (Versioning, Rewards, and Observations), um ambiente de avaliação rigoroso projetado para estudar e comparar otimizadores de agentes.

Definição Formal do Problema:

Tarefa Alvo ( $T$ ): Um conjunto de entradas, saídas e uma função de avaliação que pontua o desempenho do agente.
Agente Alvo ( $A$ ): Um programa (geralmente Python) que invoca LLMs e ferramentas.
Tarefa de Otimização ( $P$ ): Encontrar uma implementação de agente $A^*$ que maximize o desempenho esperado em dados de teste, sujeito a um orçamento limitado de chamadas de avaliação ( $B$ ).
Otimizador ( $S$ ): Um agente de codificação que modifica iterativamente o código do agente alvo com base em observações (traces de execução, dados de treino, histórico de versões).

Arquitetura e Componentes do VeRO:
O VeRO fornece uma infraestrutura que garante comparação justa e reprodutível através de seis requisitos fundamentais:

Versionamento: Todas as modificações são capturadas como snapshots (commits Git), permitindo análise de trajetória e rollback.
Controle de Orçamento: O sistema bloqueia execuções que excedam o limite de chamadas de avaliação, impedindo vantagens injustas por meio de mais computação.
Controle de Permissões: Restringe o espaço de busca (ex: impede acesso a dados de teste ou mudanças de modelo).
Execução Reprodutível: Uso de ambientes isolados e travamento de dependências (ex: uv lockfiles) para garantir que a mesma versão do agente produza os mesmos resultados.
Rastreamento Estruturado: Captura detalhada de entradas, saídas, passos intermediários e pontuações para fornecer feedback direcional ao otimizador.
Interface de Observação Padronizada: Garante que todos os otimizadores recebam as mesmas informações sobre o histórico de otimização.

O sistema utiliza worktrees do Git para isolamento, um banco de dados de experimentos para armazenar traces e um avaliador que executa o agente alvo de forma controlada.

3. Principais Contribuições

O Harness VeRO: Um ambiente de avaliação completo que permite a comparação sistemática de otimizadores, eliminando ruídos causados por falta de controle de versão ou orçamento.
Benchmark de Otimização de Agentes: Um conjunto padronizado de tarefas (raciocínio matemático, uso de ferramentas, QA multi-etapa) e agentes alvo, estabelecendo baselines iniciais para a comunidade.
Descobertas Empíricas: Uma análise detalhada de como diferentes configurações de otimizadores (modelos, scaffolds, instruções) afetam a melhoria de agentes.

4. Resultados e Descobertas Chave

Os autores conduziram três estudos: um benchmark comparativo, um estudo de robustez e um estudo de caso com agentes de complexidade variada.

A. Desempenho do Benchmark:

O VeRO é essencial: Otimizadores sem o harness VeRO (apenas com ferramentas nativas) mostraram melhorias limitadas. O uso completo do VeRO resultou em ganhos significativos (até 8% em tarefas de uso de ferramentas).
Dependência da Tarefa: A otimização foi altamente eficaz em tarefas orientadas a ferramentas (GAIA, TAU-Bench, SimpleQA), mas teve pouco impacto em tarefas puramente de raciocínio complexo (GPQA, MATH), sugerindo que a estrutura do agente é mais crítica para tarefas de ferramentas.
Diversidade de Modificações: Os otimizadores atuais tendem a fazer modificações de prompt (mais de 50% das vezes), com pouca diversidade em mudanças estruturais (ferramentas, fluxo de trabalho).

B. Estudo de Robustez:

As melhorias obtidas em um modelo alvo (ex: GPT-4.1 mini) nem sempre se transferem para outros modelos (ex: Gemini, Qwen), especialmente se estiverem em famílias diferentes. A generalização depende tanto do modelo quanto da tarefa.

C. Estudo de Caso (Pawn vs. Knight):

Complexidade vs. Potencial de Melhoria: Agentes mais simples ("Pawn") tiveram maiores ganhos absolutos de desempenho do que agentes sofisticados ("Knight"). Agentes complexos já possuem boas práticas incorporadas, deixando menos espaço para melhoria.
Instruções do Otimizador:
- Para agentes simples, instruções detalhadas com "Cookbooks" (padrões de design) funcionaram melhor.
- Para agentes complexos, instruções mínimas (que dão mais liberdade criativa) foram superiores, sugerindo que diretrizes prescriptivas podem restringir agentes já capazes.
Compromisso Variância-Desempenho: Instruções que geram alta variância nas modificações tendem a atingir picos de desempenho mais altos, mas com menor estabilidade. Instruções conservadoras são mais estáveis, mas com teto de desempenho menor.
Eficiência: Certos templates de instrução produziram agentes que eram significativamente mais rápidos (2x) sem sacrificar a precisão, ao desencorajar a adição de ferramentas complexas desnecessárias.

5. Significado e Conclusão

O trabalho posiciona a otimização de agentes como uma fronteira de capacidade fundamental para agentes de codificação.

Gap Identificado: Atualmente, os otimizadores carecem de diversidade, focando excessivamente em edições de prompt em vez de mudanças estruturais profundas.
Contribuição para a Comunidade: Ao liberar o VeRO, os autores fornecem a infraestrutura necessária para que a comunidade possa medir o progresso real na criação de sistemas auto-otimizáveis.
Implicações Futuras: O estudo destaca a necessidade de desenvolver otimizadores que entendam melhor o espaço de programas, explorem mudanças estruturais e lidem com o trade-off entre estabilidade e inovação. O VeRO serve como um passo crucial para tornar a otimização de agentes uma tarefa escalável e automatizada, reduzindo a dependência de engenharia manual intensiva.

Em resumo, o VeRO não é apenas uma ferramenta de avaliação, mas um catalisador para o desenvolvimento de sistemas de IA que podem iterativamente melhorar seu próprio código e arquitetura de forma segura e mensurável.