🤖 AI

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning

Autores originais: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

Autores originais: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A "Mochila Pesada"

Imagine que você tem um estudante brilhante (um Modelo de Linguagem Grande ou LLM) que é bom em matemática, mas precisa de tutoria extra para ficar realmente excelente na resolução de problemas complexos de palavras.

Geralmente, a melhor maneira de tutelar esse estudante é usando um método chamado Aprendizado por Reforço (RL). Pense no RL como um treinador muito rigoroso e de alta tecnologia que observa cada movimento que o estudante faz, calcula exatamente como melhorar e dá feedback imediato. Funciona muito bem, mas tem uma desvantagem massiva: exige uma mochila gigantesca de memória de computador (memória de GPU) para carregar todos os cálculos.

Para um problema matemático padrão, essa "mochila" pode pesar tanto quanto um carro pequeno (centenas de gigabytes). A maioria das pessoas e laboratórios pequenos não tem um computador do tamanho de um carro para carregar essa carga, então não conseguem usar esse poderoso método de treinamento.

A Solução Antiga: A Equipe "Adivinhe e Verifique"

Para evitar a mochila pesada, os pesquisadores tentaram um método diferente chamado Estratégias Evolutivas (ES).

Como funciona: Em vez de um único treinador rigoroso, imagine uma equipe de 100 exploradores. Todos começam no mesmo lugar, mas cada um segue um caminho ligeiramente diferente e aleatório (uma "perturbação"). Todos tentam resolver o problema matemático. Aqueles que acertam a resposta recebem uma "recompensa". A equipe então olha para os vencedores e diz: "Ok, vamos todos nos mover um pouco na direção para onde os vencedores foram."
O Benefício: Este método é incrivelmente leve. Não precisa da mochila pesada porque não faz cálculos complexos de retrocesso. Apenas precisa de memória suficiente para executar o modelo uma vez (como um usuário padrão).
O Defeito: Embora seja leve, os exploradores frequentemente ficam presos em "vales rasos". Eles encontram uma solução que funciona razoavelmente bem, mas não é muito robusta. Se você der a eles um problema matemático ligeiramente diferente, eles podem ficar confusos. Eles carecem de generalização (a capacidade de aplicar o que aprenderam a novas situações).

A Nova Solução: ESSAM (O "Caminhante Inteligente")

Os autores propõem um novo método chamado ESSAM (Estratégias Evolutivas com Maximização Consciente da Nitidez). Eles queriam manter a mochila leve da equipe "Adivinhe e Verifique", mas adicionar a "inteligência" do treinador rigoroso para melhorar os resultados.

Veja como o ESSAM funciona, usando uma analogia de trilha:

O Problema da "Nitidez": Imagine que os exploradores estão caminhando em direção a um pico (a melhor resposta). Às vezes, eles encontram um pico que parece alto, mas é na verdade uma rocha afiada e irregular. Se o vento soprar (um novo problema matemático), eles caem facilmente. Isso é um "mínimo afiado".
O Truque do ESSAM: Antes da equipe se comprometer a se mover em uma direção específica, o ESSAM envia um batedor para verificar o terreno ao redor dessa direção.
- O batedor pergunta: "Se nos movermos assim, o chão é plano e estável, ou é um penhasco irregular?"
- Se o chão for irregular (afiado), a equipe reverte o curso ligeiramente. Eles procuram uma direção onde o chão é plano e largo (um "mínimo plano").
- Um pico plano é mais seguro. Mesmo que o vento sopre ou o problema mude ligeiramente, a equipe permanece no topo.

Em termos técnicos: O ESSAM pega o método padrão "Adivinhe e Verifique" e adiciona uma "sonda de vizinhança". Ele move temporariamente os parâmetros do modelo para um local próximo, verifica se a recompensa é estável ali e usa essa informação para guiar a atualização principal. Isso força o modelo a encontrar soluções que são robustas, não apenas sortudas.

Os Resultados: Leve como uma Pluma, Forte como um Boi

O artigo testou isso em um conjunto de dados matemáticos popular chamado GSM8K (uma coleção de problemas de palavras de matemática do ensino fundamental).

Desempenho: O ESSAM funcionou tão bem quanto os métodos pesados e famintos por memória de Aprendizado por Reforço (como PPO e GRPO). Na verdade, em alguns modelos, foi até melhor.
Memória: Este é o grande ganho. Enquanto os métodos pesados precisavam de centenas de gigabytes de memória, o ESSAM usou a mesma quantidade minúscula de memória que o método básico "Adivinhe e Verifique".
- A Analogia: Se os métodos antigos precisavam de um caminhão semi-reboque para carregar seu equipamento, o ESSAM cabe em uma bicicleta.
- As Estatísticas: Ele usou 18 vezes menos memória que o método pesado padrão (PPO) e 10 vezes menos que o outro método popular (GRPO).
Generalização: Quando testado em problemas matemáticos que não tinham visto antes (conjuntos de dados diferentes), os modelos treinados com ESSAM foram muito melhores em resolvê-los do que os modelos padrão "Adivinhe e Verifique". Eles tinham aprendido o conceito de matemática, não apenas memorizado as respostas específicas.

A Versão "Turbo" (ESSAM-F)

Os autores também criaram uma versão mais rápida chamada ESSAM-F.

Como funciona: Usa uma equipe menor de batedores para a fase de "verificação".
O Resultado: Funciona duas vezes mais rápido que o ESSAM original, usando a mesma quantidade minúscula de memória e mantendo quase a mesma alta precisão.

Resumo

O artigo apresenta o ESSAM, uma nova maneira de ensinar matemática à IA. Ele combina o baixo custo dos métodos "Adivinhe e Verifique" com uma verificação inteligente de estabilidade (Maximização Consciente da Nitidez).

Antes: Você tinha que escolher entre "Alto Desempenho, mas Pesado/Caro" (RL) ou "Leve/Barato, mas Fraco" (ES Padrão).
Agora: Com o ESSAM, você obtém o Alto Desempenho dos métodos pesados com a pegada Leve/Barata dos métodos simples. Isso permite que laboratórios menores e comunidades de código aberto treinem IA poderosa de raciocínio matemático sem precisar de supercomputadores.

Resumo Técnico: ESSAM – Estratégias Evolutivas com Maximização Consciente da Nitidez

Declaração do Problema
A Aprendizagem por Reforço (RL), particularmente algoritmos como Otimização de Política Próxima (PPO) e Otimização de Política Relativa por Grupo (GRPO), tornou-se uma pedra angular para aprimorar as capacidades de raciocínio matemático de Modelos de Linguagem de Grande Porte (LLMs). No entanto, esses métodos impõem requisitos proibitivos de memória de GPU devido à sua dependência de retropropagação, redes de valor e atualizações de política. Por exemplo, o ajuste fino de um modelo com 8 bilhões de parâmetros com PPO pode exigir mais de 300 GiB de memória de GPU, tornando-o inacessível para comunidades de código aberto com recursos limitados. Embora as Estratégias Evolutivas (ES) ofereçam uma alternativa de ordem zero e eficiente em termos de memória, dependendo exclusivamente da geração direta e da avaliação de recompensas, elas frequentemente sofrem de generalização deficiente. A ES padrão tende a levar os modelos a "mínimos agudos" no espaço de parâmetros, resultando em desempenho subótimo em tarefas de raciocínio convencionais como GSM8K, em comparação com métodos de RL.

Metodologia: ESSAM
Os autores propõem o ESSAM (Estratégias Evolutivas com Maximização Consciente da Nitidez), um framework de ajuste fino de parâmetros completos que integra as capacidades de busca de ordem zero da ES com os princípios de aprimoramento da generalização da Maximização Consciente da Nitidez (SAM).

Mecanismo Central: Diferentemente da ES padrão, que atualiza os parâmetros diretamente com base em direções de ruído ponderadas por recompensa, o ESSAM introduz um processo de atualização em duas etapas:
- Etapa 1 (Sondagem do Vizinho): O algoritmo computa uma agregação ponderada por recompensa das direções de ruído para mover os parâmetros atuais $\theta_t$ na direção oposta ao gradiente de recompensa (em direção a uma região "aguda"). Isso cria um ponto vizinho perturbado $\theta^{SAM}_t$ .
- Etapa 2 (Atualização Reversa): O algoritmo avalia a recompensa neste ponto perturbado $\theta^{SAM}_t$ e utiliza os sinais de recompensa resultantes para atualizar os parâmetros originais $\theta_t$ . Ao efetivamente "olhar adiante" para a região aguda e atualizar com base na paisagem perturbada, o método guia a otimização em direção a mínimos mais planos, que estão associados a melhor generalização e robustez.
Eficiência de Memória: O ESSAM mantém a natureza de ordem zero da ES, não exigindo retropropagação ou armazenamento de gradientes/ativações. Ele utiliza técnicas de economia de memória (como atualizações in-place e replay de sementes) para manter o uso de memória de GPU em escalas de "nível de inferência", significativamente menores que os métodos de RL.
Variante Acelerada (ESSAM-F): Para melhorar a velocidade de treinamento, os autores propõem o ESSAM-F. Esta variante emprega um tamanho de população menor para a etapa inicial de sondagem do vizinho SAM e utiliza normalização da norma de Frobenius para a direção de perturbação. Isso reduz a sobrecarga computacional enquanto mantém a mesma pegada de memória baixa.
Protocolo de Treinamento: Os autores enfatizam um procedimento de treinamento padronizado, incluindo divisões padrão de treinamento/avaliação, embaralhamento de dados e atualizações multi-etapa com pequenos mini-lotes, abordando inconsistências anteriores na literatura de ES.

Principais Contribuições

Framework Inovador: Introdução do ESSAM, o primeiro método de ajuste fino de parâmetros completos de ordem zero a integrar com sucesso mecanismos SAM para LLMs, guiando a otimização para mínimos planos sem computação de gradientes.
Padronização: Extensão do ajuste fino de ordem zero para a tarefa principal de raciocínio matemático GSM8K usando um pipeline de treinamento rigoroso e padrão (embaralhamento, mini-lotes) para garantir estabilidade e reprodutibilidade.
Variante Acelerada: Desenvolvimento do ESSAM-F, que alcança um aumento de velocidade de quase duas vezes sobre o ESSAM, preservando a eficiência de memória e a precisão competitiva.
Eficiência de Recursos: Demonstração de que o ajuste fino de parâmetros completos pode ser alcançado com memória de GPU de nível de inferência, reduzindo drasticamente a barreira de entrada para pesquisas de raciocínio em LLMs.

Resultados Experimentais
Os experimentos foram conduzidos no conjunto de dados GSM8K em várias famílias de modelos (Qwen2.5 e LLaMA3) variando de 0,5 bilhão a 8 bilhões de parâmetros.

Desempenho no GSM8K: O ESSAM alcançou uma precisão média de 78,27% em todos os modelos. Isso supera significativamente a ES padrão (75,97%) e ultrapassa o PPO (77,72%). É comparável ao GRPO (78,34%) e o excede em modelos específicos.
Generalização: Em seis benchmarks fora da distribuição (incluindo SVAMP, MATH e AMC), os modelos ajustados finamente com ESSAM alcançaram o melhor desempenho médio em 5 dos 6 conjuntos de dados, demonstrando transferibilidade superior em comparação com ES, PPO e GRPO.
Uso de Memória: O ESSAM reduz o uso de memória de GPU em aproximadamente 18 vezes em comparação ao PPO e 10 vezes em comparação ao GRPO. Para um modelo de 8 bilhões de parâmetros, o ESSAM usa cerca de 21,45 GiB, enquanto o PPO requer ~314,44 GiB.
Eficiência: A variante acelerada, ESSAM-F, alcançou uma precisão média de 78,02% (superando o PPO) com um aumento de velocidade de quase 2 vezes no tempo de treinamento em comparação ao ESSAM padrão, mantendo o uso de memória idêntico.

Significado e Alegações
O artigo afirma que o ESSAM fornece uma alternativa prática e eficiente em recursos ao RL para o ajuste fino de LLMs em tarefas de raciocínio matemático. Ao combinar a eficiência de memória das Estratégias Evolutivas com os benefícios de generalização da Maximização Consciente da Nitidez, o ESSAM preenche a lacuna de desempenho entre métodos de ordem zero e RL baseado em gradientes. Os autores afirmam que sua abordagem torna viável o ajuste fino de alto desempenho para raciocínio em LLMs em cenários com recursos limitados, oferecendo um caminho viável para a comunidade de código aberto desenvolver modelos de raciocínio robustos sem acesso a clusters computacionais massivos. O trabalho destaca que a eficiência de memória não necessita de um compromisso no desempenho do modelo ou na capacidade de generalização.