🤖 AI

Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

O Hyper-ES é um framework de Estratégia Evolutiva baseado em subespaços que aprimora o raciocínio de LLMs ao otimizar coeficientes de fusão camada a camada de direções de gradiente descendente pré-computadas, alcançando um desempenho superior com menos recursos em comparação com métodos baseados em gradiente como o GRPO-LoRA.

Autores originais: Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

Publicado 2026-08-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a resolver problemas matemáticos difíceis. Normalmente, para ensinar um robô, você precisa mostrar a ele milhares de exemplos e ajustar todo o seu cérebro, neurônio por neurônio, usando um processo chamado "descida de gradiente". É como tentar sintonizar uma orquestra massiva ouvindo cada instrumento ao mesmo tempo e ajustando cada corda simultaneamente. Funciona, mas exige um computador gigante e caro e leva muito tempo.

Recentemente, cientistas descobriram uma maneira diferente de ensinar robôs chamada "Estratégias Evolutivas" (ES). Em vez de ajustar cuidadosamente cada neurônio, você apenas faz milhares de pequenas mudanças aleatórias no cérebro do robô, vê quais delas melhoram a habilidade dele em problemas matemáticos e mantém as vencedoras. É como um jogo de "quente ou frio" onde você embaralha o cérebro do robô aleatoriamente até que ele tenha sorte. O problema é que, quando o cérebro do robô é enorme (com bilhões de partes), o embaralhamento aleatório é quase garantido que falhará. É como tentar encontrar uma agulha específica em um palheiro agarrando punhados de feno aleatoriamente; você acabará apenas com mais feno e nenhuma agulha. Este artigo, HYPER-ES, tenta consertar isso dando ao robô um mapa melhor antes de começar a embaralhar.

O Problema: Perdendo-se no Palheiro

Os autores deste artigo observaram que, embora as Estratégias Evolutivas sejam ótimas para economizar memória e poder de computação, elas são terríveis em encontrar a direção certa em um cérebro massivo de bilhões de parâmetros. Se você apenas jogar ruído aleatório em um modelo gigante, as mudanças são tão caóticas que se cancelam ou empurram o modelo na direção errada. É como tentar pilotar um navio de cruzeiro enorme jogando pedregulhos nele de ângulos aleatórios; o navio não se moverá muito, ou pode até derivar para longe de onde você quer ir. Os pesquisadores chamam isso de problema do "passeio aleatório" (random walk), onde o modelo se perde em um mar de mudanças inúteis.

A Solução: O Atalho da "Direção de Descida"

Para resolver isso, a equipe por trás do HYPER-ES criou um truque inteligente de duas etapas. Em vez de deixar o robô adivinhar a direção certa do zero, eles primeiro pedem que ele faça algumas "rodadas de prática" muito curtas e baratas usando o método tradicional e pesado.

Imagine que você está tentando encontrar a melhor rota para subir uma montanha. Em vez de vagar cegamente no escuro (embaralhamento aleatório), você primeiro envia alguns pequenos drones para subir um pouco e ver para qual lado a trilha inclina. Esses drones não precisam escalar a montanha inteira; eles só precisam descobrir qual direção é "ladeira abaixo" (uma direção útil). O método HYPER-ES faz exatamente isso: ele executa algumas sessões de treinamento rápidas e de baixo custo para encontrar algumas "direções de descida" — basicamente, alguns bons palpites sobre como dar um empurrãozinho no cérebro do robô para torná-lo mais inteligente.

A Fusão Mágica: Misturando os Melhores Palpites

Uma vez que tenham essas poucas direções boas, a verdadeira mágica acontece. Em vez de deixar a Estratégia Evolutiva pesquisar por todo o cérebro de bilhões de parâmetros novamente, ela pesquisa apenas em um espaço pequeno e compacto feito de combinação dessas poucas direções boas.

Pense nisso como um chef que já identificou três ingredientes perfeitos (as direções de descida). Em vez de procurar novos ingredientes em todo o supermercado, o chef usa uma Estratégia Evolutiva para descobrir a receita perfeita para misturar esses três ingredientes. O robô pergunta: "Se eu misturar 30% da direção A, 50% da direção B e 20% da direção C, terei um resolvedor de matemática melhor?".

O artigo utiliza um algoritmo sofisticado chamado CMA-ES para fazer essa mistura. É como um mestre chef provando a sopa e ajustando os temperos camada por camada, mas, em vez de temperos, ele está ajustando quanto de cada "boa direção" é adicionado ao cérebro do robô. Isso transforma uma busca por bilhões de possibilidades em uma busca por apenas algumas centenas de números, tornando o processo incrivelmente rápido e eficiente.

O Que Eles Descobriram

Os pesquisadores testaram este novo método em três grandes modelos de linguagem (especificamente Qwen2.5 e DeepSeek-R1) e os desafiaram com seis diferentes conjuntos de dados de raciocínio matemático, variando de aritmética simples a problemas complexos de nível de competição.

Os resultados foram promissores. O HYPER-ES foi consistentemente melhor do que o método padrão de "embaralhamento aleatório" e até superou ligeiramente o método de treinamento tradicional e pesado (chamado GRPO-LoRA) em termos de precisão. Especificamente, o novo método alcançou cerca de 1% a mais de precisão em média, enquanto utilizou 10% menos atualizações computacionais caras.

Em termos mais simples, o HYPER-ES conseguiu ensinar os robôs a serem melhores em matemática ao tomar alguns atalhos inteligentes e depois misturar cuidadosamente esses atalhos, em vez de usar força bruta para a solução. Isso sugere que você não precisa jogar a cozinha inteira contra um problema; às vezes, encontrar algumas boas direções e misturá-las perfeitamente é a chave para desbloquear as habilidades de raciocínio de um robô. O artigo mostra que essa abordagem é uma maneira estável e eficiente de memória para melhorar como a IA pensa, especialmente quando você não tem um supercomputador à disposição.

Resumo Técnico: HYPER-ES

Declaração do Problema

As Estratégias de Evolução (ES) oferecem uma alternativa promissora e eficiente em termos de memória para o ajuste fino (fine-tuning) baseado em gradiente para Grandes Modelos de Linguagem (LLMs), particularmente em cenários com restrição de recursos onde o backpropagation é proibitivamente caro. No entanto, aplicar diretamente ES a LLMs de bilhões de parâmetros para tarefas de raciocínio é altamente ineficaz. O artigo identifica duas falhas geométricas fundamentais em ES de alta dimensão:

Falha de Descoberta Direcional: Em espaços de alta dimensão, perturbações aleatórias são quase ortogonais às direções úteis de descida. À medida que a dimensão dos parâmetros $d$ cresce, a probabilidade de uma perturbação aleatória se alinhar com o gradiente ideal desaparece, tornando o sinal direcional da população fraco.
Caminhada Aleatória Ortogonal: Mesmo que as atualizações individuais de ES não sejam informativas em relação à redução da perda, atualizações repetidas de ES acumulam-se no espaço de parâmetros. Isso faz com que o modelo se desvie da inicialização pré-treinada (caminhada aleatória) sem fazer progressos significativos, levando a uma otimização instável.

Métodos existentes baseados em gradiente, como o Group Relative Policy Optimization (GRPO), alcançam um forte desempenho de raciocínio, mas sofrem com alto consumo de memória e tempo devido ao backpropagation. Por outro lado, o ES direto evita o backpropagation, mas falha em convergir efetivamente no espaço total de parâmetros.

Metodologia: HYPER-ES

Os autores propõem o HYPER-ES (Hyper-ES), uma estrutura de Estratégia de Evolução baseada em subespaços que desacopla a descoberta de direções de atualização do processo de otimização livre de derivadas. Em vez de buscar no espaço total de parâmetros, o HYPER-ES restringe a busca de ES a um subespaço compacto e alinhado à tarefa, construído a partir de direções de descida.

O método opera em dois estágios:

1. Partida (Start-up): Preparando Direções de Descida

O HYPER-ES começa construindo um conjunto de direções de descida relevantes para a tarefa ( $\Delta\theta$ ) usando um pequeno número de atualizações baseadas em gradiente de baixo custo:

Os dados de treinamento são particionados em $N$ subconjuntos.
Uma atualização curta de GRPO baseada em LoRA de poucos disparos (few-shot), tipicamente de 7 passos, é realizada em cada subconjunto.
Essas execuções curtas não têm o objetivo de produzir modelos de alto desempenho autônomos, mas sim de extrair de forma barata os deltas de LoRA ( $\Delta\theta_i$ ) que contêm sinais específicos da tarefa.
Esses deltas formam um "pool de direções" $P = \{\Delta\theta_i\}$ , que serve como a base para a busca subsequente.

2. Busca Hyper-ES sobre Direções

Uma vez fixado o pool de direções, o HYPER-ES emprega a Estratégia de Adaptação de Matriz de Covariância de Evolução (CMA-ES) para otimizar os coeficientes de mesclagem dessas direções, em vez dos próprios pesos do modelo.

Variável de Busca: A variável de otimização $z$ $z$ consiste em coeficientes por camada que determinam como combinar as direções de LoRA armazenadas em cache. Especificamente, para cada grupo de camadas, $z$ $z$ controla:
- Logits de taxa de queda (Drop-rate logits): Governando a esparsificação DARE (Drop and Add Randomly) para reduzir a interferência.
- Logits de peso de mistura (Mixing-weight logits): Determinando a força de contribuição de cada direção.
Processo de Mesclagem: As variáveis de busca são decodificadas em um modelo mesclado usando um procedimento DARE–TIES (TIES-Merging):
- As direções são esparsificadas com base nas taxas de queda.
- Conflitos de sinal são resolvidos via TIES (eleição de sinal e mesclagem disjunta).
- Uma escala global $\gamma$ é aplicada.
Otimização: O CMA-ES otimiza os coeficientes de mesclagem $z$ para maximizar a acurácia de validação. Isso transforma o problema de otimização de buscar milhões/bilhões de pesos para buscar um espaço de baixa dimensão de tamanho $L \times 2N$ (por exemplo, 960 parâmetros para um modelo de 0.5B).

Principais Contribuições

Estrutura HYPER-ES: Um novo framework de ES que converte a busca de parâmetros totais em uma busca compacta de coeficientes por camada sobre atualizações de LoRA relevantes para a tarefa. Ele muda o papel do ES de descobrir direções para selecionar e mesclar direções de descida pré-identificadas.
Construção de Direção de Poucos Disparos (Few-Shot): O método utiliza atualizações GRPO de poucos disparos para construir direções de descida informativas, permitindo que o ES contorne a exploração aleatória de alta dimensão enquanto mantém sua natureza de baixo consumo de memória e paralelizável.
Validação Empírica: Avaliação extensiva através de três backbones de LLM (Qwen2.5-0.5B, Qwen2.5-1.5B, DeepSeek-R1-Distill-1.5B) e seis benchmarks de raciocínio matemático demonstra que o HYPER-ES melhora consistentemente os baselines de mesclagem de modelos e supera ligeiramente, mas de forma consistente, o GRPO de estágio único.

Resultados

O artigo reporta os seguintes achados principais:

Desempenho: O HYPER-ES alcança um ganho de desempenho de até 1% sobre os baselines de GRPO-LoRA em conjuntos de dados de aritmética e raciocínio matemático difícil (ex: GSM8K, MATH-500, AMC2023), com ganhos frequentemente marginais (ex: 0,58% no Qwen2.5-1.5B).
Eficiência: O método requer 10% menos atualizações de gradiente que consomem espaço em comparação ao GRPO-LoRA padrão.
Memória: Ao evitar o backpropagation total durante o estágio de ES e utilizar a geração de direções de poucos disparos paralelizáveis, o HYPER-ES mantém uma pegada de memória comparável a uma única execução de GRPO, reduzindo significamente o tempo de execução (wall-clock time) (redução de aproximadamente 24% no experimento de 0.5B devido à paralelização).
Ablação: Remover o estágio de CMA-ES ou usar direções aleatórias em vez de direções derivadas de GRPO resulta em quedas significativas de desempenho, confirmando que os ganhos derivam da busca sobre direções de descida significativas em um espaço de baixa dimensão.

Significância e Alegações

O artigo afirma que o HYPER-ES aborda a limitação fundamental do ES direto em LLMs: a incapacidade de encontrar direções úteis em espaços de alta dimensão. Ao alavancar execuções curtas baseadas em gradiente para definir um "variedade (manifold) alinhada à tarefa", o método permite que a otimização livre de derivadas opere em um regime onde é mais eficaz.

Os autores posicionam o HYPER-ES como um método de ajuste fino com recursos limitados que oferece um equilíbrio prático: ele retém a eficiência de memória do ES enquanto alcança um desempenho comparável ou ligeiramente superior aos métodos de RL baseados em gradiente. O trabalho sugere que execuções curtas baseadas em gradiente podem servir a um duplo propósito: não apenas para treinamento direto, mas também para definir subespaços úteis de baixa dimensão para otimização livre de derivadas subsequente.

O artigo permanece modesto quanto ao seu escopo, observando que atualmente foca no GRPO como o provedor de direção e que trabalhos futuros poderiam explorar outros métodos iniciais de gradiente (ex: SFT, OPD) ou aquisição dinâmica de direção online.