🤖 AI

Reward-Free Evolving Agents via Pairwise Validator

Este artigo propõe um framework de agente autoevolutivo de baixo custo que substitui sinais de recompensa escalar caros por um validador de par ordenado baseado em LLM congelado para guiar a melhoria do agente, alcançando desempenho competitivo em múltiplos motores e substratos sem exigir dados rotulados ou treinamento adicional.

Autores originais: Minghao Liu, Yu Wang, Jiayun Wang, Wei Wei

Publicado 2026-07-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Minghao Liu, Yu Wang, Jiayun Wang, Wei Wei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas seguem ordens, mas realmente aprendem a escrever suas próprias instruções. Este é o reino dos Agentes de IA, programas inteligentes que resolvem quebra-cabeças complexos ao decompô-los em etapas, usando ferramentas e pensando através de problemas. Normalmente, para tornar esses agentes melhores, os humanos têm que agir como treinadores rigorosos. Cada vez que o agente tenta uma nova forma de pensar, o treinador tem que avaliá-la com uma pontuação específica, como um professor dando uma nota em uma prova. Mas aqui está o problema: criar esses testes perfeitos e chaves de correção é incrivelmente difícil, caro e exige um profundo conhecimento humano. É como tentar ensinar um robô a cozinhar escrevendo um manual de 100 páginas sobre exatamente como picar uma cebola, apenas para perceber que você precisa de um novo manual para cada vegetal.

Entra o conceito de Agentes Autoevolutivos. Em vez de esperar que um treinador humano avalie cada tentativa, esses agentes tentam melhorar a si mesmos em um ciclo: eles fazem uma pequena mudança, testam e, se parecer melhor, eles a mantêm. A grande questão que os cientistas têm feito é: Podemos pular a cara e cara avaliação humana? E se o agente pudesse apenas olhar para o seu "eu antigo" e o seu "novo eu" e decidir qual deles é melhor, sem precisar de uma pontuação perfeita? Este artigo mergulha exatamente nessa questão, propondo um atalho inteligente que substitui o sistema de avaliação pesado e caro por uma comparação simples e rápida.

O Problema: O "Placar" Caro

Pense em construir um agente de IA superinteligente como treinar um cachorro para fazer truques. No método antigo, toda vez que o cachorro tenta um novo movimento, um treinador humano tem que intervir, observar atentamente e dar uma pontuação precisa: "Isso foi um 7,5 de 10". Para obter uma pontuação confiável, o treinador precisa de uma biblioteca massiva de exemplos perfeitos para comparar. Para a IA, esse "placar" é chamado de recompensa escalar. É um único número que diz ao agente o quão bem ele se saiu.

O problema é que criar esse placar é um pesadelo. Requer contratar especialistas, rotular milhares de exemplos e custa uma fortuna. Às vezes, a tarefa é tão estranha ou complexa que os humanos nem conseguem concordar sobre o que uma "boa" pontuação parece. É como tentar dar uma nota a uma pintura de um sonho: não há resposta certa, então dar um número é impossível.

A Solução: O Jogo do "Quem é Melhor?"

Os autores deste artigo, Minghao Liu e sua equipe, fizeram uma pergunta simples: E se pararmos de perguntar "Quão bom é isso?" e começarmos a perguntar "Qual é melhor?"

Em vez de um humano (ou um computador complexo) tentar atribuir um número difícil a uma única tentativa, eles introduziram um Validador de Pares (Pairwise Validator). Imagine dois competidores em um ringue de boxe: o "Pai" (a versão atual do agente) e o "Filho" (a nova versão, com ajustes). Um Grande Modelo de Linguagem (LLM) pré-treinado e congelado atua como o árbitro. Ele não precisa saber a pontuação exata; ele apenas olha para ambos e diz: "Eu acho que o Filho é melhor" ou "O Pai venceu".

Isso é muito mais fácil para o árbitro de IA. É como perguntar a um amigo: "Você prefere chocolate ou baunilha?" em vez de pedir para ele avaliar ambos os sabores em uma escala de 1 a 100 com precisão perfeita. O artigo mostra que este jogo do "Quem é Melhor?" é muito mais estável e não requer treinamento extra para o árbitro.

Os Dois Novos Manuais de Instruções

A equipe testou essa ideia de duas maneiras diferentes, criando dois novos "manuais de instruções" para os agentes:

Foco Adaptativo: Este é a abordagem do "Treinador Inteligente". O agente ainda usa um pequeno conjunto de exemplos avaliados por humanos para escolher qual versão manter como o "pai" para a próxima rodada. No entanto, no momento de decidir se aceita uma nova mudança, ele pula o placar caro e usa apenas o árbitro "Quem é Melhor?". É um híbrido que economiza dinheiro nas decisões diárias, mas mantém a rede de segurança humana para o planejamento de longo prazo.
Soft Elo: Esta é a abordagem do "Torneio Puro". Aqui, o agente descarta totalmente o placar humano. Ele usa os vereditos de "Quem é Melhor?" do árbitro para executar um sistema de classificação (semelhante ao ranking de jogadores de xadrez). Se o Filho vence o Pai, o Filho recebe um aumento de classificação. Com o tempo, o agente evolui puramente com base nessas batalhas diretas, sem nunca precisar que um humano atribua um número.

Os Resultados: Isso Funciona?

A equipe colocou esses métodos à prova em uma grande variedade de desafios, desde responder perguntas de conhecimentos gerais difíceis e resolver problemas matemáticos até escrever códigos que organizam dados. Eles compararam seus novos métodos de "Pares" contra os antigos métodos de "Recompensa Total" (a forma cara, com pontuação humana).

As descobertas foram surpreendentemente fortes. Na maioria dos testes, os agentes que usaram o árbitro "Quem é Melhor?" tiveram um desempenho tão bom quanto, ou até melhor do que, os agentes que usaram os caros placares humanos.

Para Conhecimentos Gerais e Instruções: Em tarefas como responder perguntas a partir de um conjunto de documentos, o método "Soft Elo" realmente ajudou o agente a generalizar melhor, o que significa que ele não apenas memorizou as questões de prática, mas aprendeu a lógica real.
Para Matemática: Mesmo em problemas matemáticos difíceis, os novos métodos conseguiram resolver o mesmo número de problemas que os métodos antigos, provando que você não precisa de uma pontuação perfeita para encontrar uma boa solução.
Para Código: Ao evoluir programas de computador, o portão de pares funcionou tão bem quanto a linha de base de recompensa total, guiando com sucesso o código para se tornar mais eficiente.

A Ressalva e o Futuro

O artigo é cuidadoso ao notar que isso não é uma varinha mágica para todas as situações. O método funciona melhor quando ainda há espaço para o agente melhorar. Se o agente já estiver no topo de seu jogo, ou se o árbitro (o LLM) estiver confuso pela tarefa, o sistema pode ficar travado. Além disso, se o "teste" for muito pequeno (como um quiz de matemática com apenas 15 perguntas), os resultados podem parecer um pouco ruidosos, assim como jogar uma moeda algumas vezes não diz se ela é justa.

No entanto, a descoberta central é um divisor de águas: Você não precisa de um placar perfeito e caro para evoluir uma IA inteligente. Ao simplesmente pedir a um árbitro de IA congelado para comparar duas versões e escolher o vencedor, podemos construir agentes autoevolutivos que são tão capazes quanto aqueles que construímos com especialistas humanos, mas sem o custo e o esforço massivos de rotular dados. É uma mudança de "dar nota para cada redação" para "apenas escolher o melhor ensaio", e acontece que isso é o suficiente para ensinar uma máquina a pensar.

Resumo Técnico: Agentes Evolutivos Livres de Recompensa via Validador de Pares

Declaração do Problema

A construção de loops de agentes autoevolutivos — sistemas que refinam iterativamente o prompt, o código ou o fluxo de trabalho de um agente sem retreinar o modelo subjacente — enfrenta um gargalo significativo: o design do sinal de qualidade por iteração (recompensa). Atualmente, esses loops dependem de uma recompensa escalar para aceitar ou rejeitar modificações candidatas. Projetar uma recompensa escalar confiável é frequentemente proibitivamente caro, exigendo conhecimento especializado e grandes conjuntos de exemplos limpos e rotulados que podem custar tanto quanto a própria tarefa principal do agente. Em muitos cenários, definir tal recompensa é difícil ou impossível, criando uma assimetria prática onde coletar alguns exemplos de saídas "boas" vs. "ruins" é fácil, mas coletar dados suficientes para treinar uma função de recompensa robusta não é.

Metodologia

Os autores propõem substituir a recompensa escalar no portão de aceitação/rejeição de um loop de autoevolução por um validador de pares. Este validador é um LLM congelado que, dado um candidato pai e um candidato filho, retorna um veredito binário sobre qual é melhor. Esta abordagem aproveita a descoberta de que o julgamento de pares é geralmente mais estável e mais fácil para LLMs do que a pontuação absoluta, pois evita a necessidade de calibração de escala estrita.

O artigo introduz duas configurações específicas deste método, integradas em motores existentes (GEPA, ADRS, ShinkaEvolve):

Foco Adaptativo (Livre de Treino-Recompensa):
- Mecanismo: Substitui a recompensa escalar no portão de aceitação/rejeição pelo validador de pares.
- Seleção de Pai: Mantém o mecanismo de seleção de pai existente do motor, que depende de recompensas de conjuntos de validação.
- Contexto: O contexto ( $E$ ) do validador pode ser ajustado. A variante "Foco Adaptativo" emprega especificamente um meta-LLM para atualizar periodicamente a rubrica de avaliação (por exemplo, alternando o foco entre precisão, consistência ou qualidade holística) com base na atividade recente do portão.
Soft Elo (Totalmente Livre de Recompensa):
- Mecanismo: Substitui a recompensa escalar no portão pelo validador de pares.
- Seleção de Pai: Remove completamente a dependência de recompensas de conjuntos de validação. Em vez disso, implementa um sistema de classificação Elo impulsionado pelos vereditos do validador.
- Processo: Os candidatos no pool recebem classificações. Em cada iteração, um pai é selecionado via softmax sobre as classificações. O filho é confrontado com o pai e com membros aleatórios do arquivo. O validador julga esses pares, e as classificações Elo são atualizadas com base nos resultados.
- Ponderação de Confiança: O passo de atualização é modulado pela confiança por token ( $c_t$ ) do agente na iteração anterior, tornando o sistema um Elo "Soft". Se as probabilidades por token não estiverem disponíveis, uma variante "Plain Elo" com um passo fixo é utilizada.

Principais Contribuições

Variantes de Validação Livres de Recompensa: O artigo define dois métodos para eliminar a necessidade de recompensas de tarefa por etapa (ambos são livres de treino — o validador é um LLM congelado). O Foco Adaptativo remove a recompensa de treino, mas mantém as recompensas de validação para seleção; o Soft Elo remove ambas, dependendo inteiramente de vereditos de pares tanto para o portão quanto para a seleção de pais.
Superioridade Empírica: Os autores demonstram que seus métodos livres de recompensa igualam ou excedem o desempenho de baselines de recompensa total em múltiplos agentes (Qwen3, Gemma-4, gpt-oss) e tarefas (recuperação, seguimento de instruções, matemática, evolução de código).
Generalização e Robustez: Os ganhos de desempenho persistem mesmo quando o modelo validador é trocado por uma família de modelos diferente (usando Claude Haiku ou Gemma-4 como validador enquanto o agente permanece Qwen3), sugerindo que os benefícios não são artefatos de autoavaliação.
Redução do Gap de Validação-Teste: Em configurações onde os conjuntos de validação são pequenos (regime de baixos dados), o portão de pares demonstra um menor gap entre o desempenho de validação e o de teste em comparação com os baselines de recompensa escalar, sugerindo melhor generalização.

Resultados

A avaliação cobre dez tarefas em três famílias (recuperação/seguimento de instruções, matemática, código) usando três motores.

Evolução de Prompt (GEPA): Em cinco configurações de agente e quatro tarefas de NLP, os métodos propostos (Foco Adaptativo e Soft Elo) igualaram ou superaram o baseline de GEPA de recompensa total na maioria dos casos. Melhorias notáveis incluíram Soft Elo em HoVer (+10.0) e Adaptive Focus em IFBench (+11.6).
Tarefas de Matemática: Em AIME e LiveBench-Math, os métodos alcançaram paridade ou ganhos significativos (ex: +20.0 em AIME para Qwen3-8B thinking), servindo como um teste de robustez apesar dos pequenos tamanhos de conjunto de teste.
Evolução de Código (ADRS, ShinkaEvolve): Em tarefas de código, a variante "Direct + full reward" (portão de pares + recompensa total para seleção) venceu 5 de 10 células, enquanto "Direct + easy reward" venceu 6. O portão de pares manteve paridade ou superioridade onde havia espaço para melhoria, embora não tenha superado o baseline em regimes saturados (ex: processamento de sinais).
Troca de Validador: Quando o validador foi substituído por uma família de modelos diferente (Haiku ou Gemma-4), os métodos livres de recompensa continuaram a igualar ou exceder o baseline, confirmando a validade do método além de configurações de emparelhamento de si mesmo.

Significância e Alegações

O artigo afirma que o validador de pares serve como um substituto direto (drop-in replacement) para o design de recompensa por etapa. Ele alcança uma precisão de tarefa competitiva sem o custo de rotulagem associado ao treinamento de um modelo de recompensa escalar.

Os autores enfatizam que a substituição funciona melhor quando:

O baseline tem espaço para melhorar (regimes não saturados).
O validador consegue distinguir de forma confiável entre o candidato pai e o candidato filho.

Eles reconhecem modestamente as limitações onde o método pode falhar:

Saturação: Quando o baseline já está próximo do teto de desempenho do agente.
Conjuntos de Teste Pequenos (Small-N): Onde exemplos únicos afetam desproporcionalmente as pontuações.
Lacunas de Capacidade: Quando o agente carece fundamentalmente da habilidade para resolver a tarefa.
Descompasso do Validador: Quando o próprio validador tem dificuldade com o tipo específico de tarefa, levando a vereditos ruidosos.

Em última análise, o artigo posiciona o portão de pares não como um substituto universal para todos os cenários de recompensa, mas como uma alternativa altamente eficaz e de baixo custo para o gargalo específico do design de recompensas por etapa em loops de agentes autoevolutivos.