💻 computer science

Beyond the Best Guess: Improving LLM Solution Coverage with Evolution Strategies

Este artigo demonstra que as Estratégias de Evolução (ES) superam o Aprendizado por Reforço (RL) no pós-treinamento de Grandes Modelos de Linguagem para domínios de descoberta ao manter uma cobertura de soluções mais ampla e pontuações pass@k mais altas, evitando assim o colapso da distribuição de saída que limita a eficácia do RL na geração de soluções candidatas diversas.

Autores originais: Conor F. Hayes, Elliot Meyerson, Kajetan Schweighofer, Roberto Dailey, Babak Hodjat, Risto Miikkulainen, Xin Qiu

Publicado 2026-08-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Conor F. Hayes, Elliot Meyerson, Kajetan Schweighofer, Roberto Dailey, Babak Hodjat, Risto Miikkulainen, Xin Qiu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar um tesouro escondido em uma ilha vasta e nebulosa. No mundo da Inteligência Artificial, os Grandes Modelos de Linguagem (LLMs) são como exploradores incrivelmente inteligentes que conseguem ler mapas e adivinhar onde o tesouro pode estar. Por muito tempo, a melhor maneira de treinar esses exploradores era mostrar-lhes um problema, deixá-los adivinhar e recompensá-los apenas se sua única melhor tentativa fosse perfeita. Esse método, conhecido como Aprendizado por Reforço (RL), é como um treinador rigoroso que grita "Errado!" a cada erro e "Perfeito!" para a única resposta certa. O problema é que esse treinador fica tão obcecado em encontrar essa única resposta perfeita que o explorador para de procurar em qualquer outro lugar. Eles param de explorar as bordas nebulosas da ilha onde outros tesouros podem estar escondidos, focando apenas no único lugar que acham estar correto.

Mas e se o tesouro não for apenas uma coisa? E se houver muitas maneiras diferentes de resolver um problema matemático ou descobrir um novo fato científico? Nesses domínios de "descoberta", não basta ter um palpite perfeito; você precisa de uma rede ampla para capturar qualquer solução correta. É aqui que entra uma nova ideia chamada "escalonamento em tempo de teste" (test-time scaling). Em vez de apenas pedir ao modelo uma resposta, pedimos que ele gere dezenas ou até centenas de tentativas diferentes e vemos se alguma delas está correta. O artigo que você está prestes a ler investiga se o nosso treinador rigoroso (RL) ou um método diferente de treinamento é melhor em ajudar o explorador a lançar uma rede ampla. Os pesquisadores descobriram que, enquanto o treinador rigoroso torna o explorador muito confiante em um único ponto, um método diferente chamado Estratégias Evolutivas (ES) mantém o explorador curioso e errante, garantindo que, se uma solução existir em qualquer lugar na névoa, o explorador terá muito mais probabilidade de encontrá-la.

O Artigo: Além do Melhor Palpite

Este artigo aborda um problema complexo no treinamento de IA: como garantir que um modelo de IA não apenas se torne muito bom em adivinhar a única resposta certa, mas que também consiga manter suas opções abertas para encontrar qualquer resposta certa? Os autores, pesquisadores do Cognizant AI Lab e da Universidade do Texas em Austin, compararam dois métodos de treinamento: o Aprendizado por Reforço (RL) padrão e uma abordagem mais nova chamada Estratégias Evolutivas (ES).

Pense no Aprendizado por Reforço como um aluno estudando intensamente para uma prova memorizando exatamente o gabarito. Se o aluno acerta uma questão, ele ganha um agrado; se erra, não ganha nada. Com o tempo, o aluno se torna um mestre nessa questão específica, mas deixa de compreender os conceitos subjacentes. No mundo da IA, isso causa algo chamado "colapso de distribuição". O modelo torna-se tão focado em seu "melhor palpite" que para de gerar respostas diversas. É como um músico que só toca uma nota porque é a única que recebe aplausos, esquecendo-se de como tocar uma música inteira.

As Estratégias Evolutivas (ES), por outro lado, funcionam mais como um ecossistema natural. Em vez de treinar um único modelo, a ES cria toda uma "população" de versões ligeiramente diferentes do modelo. Ela altera os "cérebros" (pesos) dessas versões aleatoriamente, como a natureza altera os genes por mutação, e observa quais versões têm o melhor desempenho. Crucialmente, ela não escolhe apenas o vencedor único e descarta o resto; ela aprende com todo o grupo. Isso mantém o "cérebro" da IA flexível e diverso, permitindo que ela explore muitos caminhos diferentes para uma solução.

Os pesquisadores testaram esses métodos em problemas matemáticos, variando de aritmética simples a desafios complexos de nível de Olimpíada, usando modelos de diferentes tamanhos (de 1,5 bilhão a 32 bilhões de parâmetros). Eles mediram o sucesso usando uma métrica chamada pass@k. Imagine pedir à IA para gerar 100 respostas diferentes para um problema. Pass@1 pergunta: "A primeira resposta está correta?". Pass@k pergunta: "Pelo menos uma das 100 respostas está correta?".

Aqui está o que eles descobriram:

1. A Armadilha do "Melhor Palpite"
Quando os pesquisadores observaram o pass@1 (o melhor palpite único), os modelos treinados por RL eram frequentemente muito bons. Eles eram aguçados e confiantes. No entanto, conforme os pesquisadores aumentavam o número de palpites (k) para 2, 8, 16 ou até 128, os modelos de RL atingiam um limite. O desempenho deles parava de melhorar. Na verdade, para alguns problemas difíceis, os modelos de RL tornaram-se piores do que o modelo original, não treinado, quando recebiam muitas chances de tentar. O modelo de RL tornou-se tão estreito em seu pensamento que parou de encontrar respostas corretas que fossem ligeiramente diferentes de sua "favorita".

2. O Poder da Diversidade
Em contraste, os modelos treinados por ES mostraram um padrão diferente. Embora também fossem bons em acertar o primeiro palpite, seu verdadeiro superpoder aparecia conforme o número de palpites aumentava. Conforme os pesquisadores solicitavam mais e mais amostras (até 128), os modelos de ES continuavam encontrando novas soluções corretas. O artigo mostra que a ES alcançou consistentemente pontuações de pass@k mais altas do que o RL em todos os tamanhos de modelos e benchmarks matemáticos testados.

3. Por que Isso Acontece
Os autores investigaram o porquê disso acontecer. Eles descobriram que o treinamento por RL tende a "podar" o conhecimento da IA. Ele deleta os caminhos que levam a respostas corretas, porém menos comuns, tornando alguns problemas impossíveis de resolver mesmo que a IA tente 100 vezes. O método ES, no entanto, preserva a "amplitude" do conhecimento da IA. Ele não aprende apenas a resposta certa; ele aprende a manter muitas portas abertas. Quando os pesquisadores observaram a "entropia" da IA (uma medida de quão diversas são suas respostas), viram que, quando os modelos de RL falhavam, eles eram confiantemente errados (baixa diversidade). Quando os modelos de ES falhavam, eles ainda eram diversos e incertos, o que significa que ainda estavam explorando e tinham uma chance melhor de encontrar a resposta se tivessem mais tempo ou computação.

4. O Impacto no Mundo Real
O artigo sugere que, para problemas onde precisamos descobrir coisas novas — como resolver uma prova matemática difícil, escrever código ou encontrar um novo fato científico — ter um modelo que possa gerar uma grande variedade de soluções corretas é mais valioso do que ter um modelo que seja apenas muito bom em um palpite específico. Ao usar ES, podemos obter melhores resultados nesses domínios de descoberta porque o modelo é menos propenso a ficar preso em uma "armadilha local" e mais propenso a encontrar a solução global.

Em resumo, o artigo argumenta que, se você quer que uma IA seja um grande explorador no desconhecido, não deve apenas treiná-la para ser o melhor adivinhador do dia. Você deve treiná-la para manter suas opções abertas, vagar um pouco e estar pronta para encontrar o tesouro, não importa onde ele esteja escondido. As Estratégias Evolutivas, afinal, são o melhor tipo de treinador para esse tipo de aventura.

Resumo Técnico: Além do Melhor Palpite: Melhorando a Cobertura de Soluções de LLM com Estratégias de Evolução

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios de descoberta, como matemática e ciência, onde o objetivo não é meramente fornecer um único "melhor palpite", mas sim explorar um espaço de soluções para encontrar respostas corretas entre muitos candidatos. O paradigma padrão para melhorar o raciocínio de LLMs envolve o pós-treinamento com Aprendizado por Reforço (RL), especificamente o Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Embora o RL maximize efetivamente a precisão de amostra única (pass@1), este artigo identifica uma limitação crítica: a colapso da distribuição.

As atualizações de RL, tipicamente via métodos de gradiente de política como PPO ou GRPO, afunilam a distribuição de saída do modelo para concentrar a massa de probabilidade em saídas de alta recompensa. Este processo estreita o suporte da distribuição, eliminando efetivamente soluções de baixa probabilidade, mas que são corretas. Consequentemente, à medida que o número de amostras ( $k$ ) aumenta durante o escalonamento em tempo de teste (TTS), a cobertura de soluções (pass@k) de modelos treinados por RL frequentemente estagna ou até degrada, às vezes caindo abaixo do desempenho do modelo base não treinado. Este fenômeno limita a eficácia das estratégias de TTS, como a amostragem de múltiplos candidatos, que dependem de uma distribuição ampla de soluções viáveis.

Metodologia

O artigo propõe Estratégias de Evolução (ES) como uma alternativa livre de gradiente e baseada em população ao RL para o pós-treinamento de LLMs. Diferente do RL, que opera no espaço de ação atualizando os parâmetros de um único modelo com base em gradientes de nível de token, o ES opera diretamente no espaço de pesos.

A Abordagem ES:

Geração de População: Uma população de modelos é gerada aplicando perturbações gaussianas aleatórias ( $\epsilon$ ) aos pesos ( $\theta$ ) do modelo base.
Avaliação: Cada modelo perturbado é avaliado em uma tarefa, e uma recompensa é atribuída com base no desempenho (ex: correção da resposta).
Atualização de Pesos: Os pesos são atualizados agregando as perturbações ponderadas por suas recompensas normalizadas, movendo efetivamente os parâmetros em direção a regiões do espaço de pesos que são robustas a perturbações e abrangem um conjunto mais amplo de soluções.

Configuração Experimental:
O estudo compara empiricamente o ES contra o estado da arte de RL (especificamente GRPO e OatZero) através de múltiplas famílias de modelos e escalas (1.5B a 32B de parâmetros).

Datasets: O treinamento e a avaliação foram conduzidos no GSM8K, MATH (níveis 3-5), MATH500, Olympiad Bench e Minerva.
Métricas: A métrica primária é o pass@k, definido como a probabilidade de que pelo menos uma solução correta exista dentro de $k$ amostras. O estudo também analisa distribuições de precisão, progressões/regressões de modelos e entropia de resposta.
Escalonamento em Tempo de Teste: O artigo avalia o desempenho conforme $k$ aumenta (até 128 ou 256 amostras) e aplica a Autoconsistência (votação) como um método de TTS descendente.

Principais Contribuições

Avaliação Abrangente: O artigo fornece a avaliação mais extensa de ES como uma técnica de pós-treinamento de LLM até o momento, abrangendo tamanhos de modelos de 1.5B a 32B e múltiplas famílias de modelos (Qwen2.5, Qwen3).
Superioridade na Diversidade de Soluções: Estabelece que o ES melhora consistentemente o pass@k sobre os modelos treinados por RL em todas as escalas e benchmarks. Ao contrário do RL, o ES não sofre de colapso de distribuição.
Análise Mecanística: Através de análise sistemática, o artigo identifica as origens do sucesso do ES:
- Progressões vs. Regressões: O ES adiciona novas soluções corretas (progressões) enquanto preserva o conhecimento existente (minimizando regressões), ao passo que o RL frequentemente sobrescreve o conhecimento do modelo base para maximizar a recompensa.
- Preservação de Entropia: Em modos de falha, o ES mantém uma entropia de resposta mais alta (incerteza), enquanto o RL colapsa para respostas incorretas de baixa entropia e alta confiança.
Validação Descendente: O artigo demonstra que as distribuições de saída de alta qualidade do ES levam a um desempenho superior na votação de Autoconsistência, um método de TTS não verificável.

Resultados

Desempenho Pass@k: Em todos os benchmarks (GSM8K, MATH500, Olympiad Bench, Minerva) e tamanhos de modelo, os modelos ES superam consistentemente os modelos RL conforme $k$ aumenta. Enquanto as curvas de RL frequentemente estagnam cedo, as curvas de ES continuam a subir. Notavelmente, para um $k$ suficientemente grande, o modelo base frequentemente supera o modelo treinado por RL, mas o modelo treinado por ES supera consistentemente o modelo base.
Análise de Distribuição:
- Bins de Precisão: O RL aumenta a frequência de prompts onde nenhuma solução é encontrada (bin 0.0) em relação ao modelo base, indicando uma perda de solvabilidade. O ES reduz essa frequência.
  im
- Regressões: O RL exibe taxas significativamente mais altas de "regressões" (problemas que o modelo base resolvia, mas o modelo ajustado falha em resolver) em comparação ao ES. Por exemplo, no Olympiad Bench, o RL teve 49 regressões contra 15 do ES.
- Entropia: Quando os modelos falham, o RL falha com baixa entropia (confiante no erro), enquanto o ES falha com maior entropia (preservando a diversidade), tornando as falhas do ES mais passíveis de correção via aumento de amostragem.
Autoconsistência: Em cenários de votação, as distribuições geradas pelo ES produzem maior precisão do que tanto o RL quanto o modelo base conforme o número de amostras aumenta.

Significância e Alegações

O artigo argumenta que as Estratégias de Evolução fornecem uma base melhor para o pós-treinamento em problemas de descoberta, onde a cobertura diversificada de soluções é crítica. Embora o RL seja eficaz para maximizar a precisão de disparo único (pass@1), ele entra em conflito fundamental com os requisitos de escalonamento em tempo de teste (TTS) ao colapsar o espaço de soluções.

Os autores afirmam que o ES resolve essa tensão ao otimizar para uma distribuição de solução robusta, em vez de um único modo de alta recompensa. Ao preservar o suporte amplo da distribuição de saída do modelo base enquanto simultaneamente melhora o pass@1, o ES permite que os LLMs aproveitem efetivamente o aumento do computo em tempo de teste. O artigo conclui que o ES é a abordagem de estado da arte para o pós-treinamento em domínios como ciência, matemática e codificação, particularmente onde a capacidade de explorar soluções alternativas viáveis é essencial para o desempenho.