🤖 AI

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

O artigo apresenta a Estratégia de Evolução de Subespaço de Parâmetros Cooperativa (CoPES), um método eficiente em memória que decompõe o espaço de parâmetros para permitir o pós-treinamento eficaz de LLMs agentes sob restrição de recursos, alcançando 92% dos ganhos de desempenho do GRPO de parâmetros totais com requisitos de memória GPU significativamente menores.

Autores originais: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas conversam, mas realmente fazem coisas. Eles podem navegar na web, executar código e resolver quebra-cabeças complexos realizando muitas etapas, verificando seu trabalho e tentando novamente. Esta é a emocionante fronteira da IA "agêntica". Mas há um problema: ensinar esses ajudantes digitais a melhorar é incrivelmente caro. A maneira usual de treiná-los é como um videogame de alto risco onde o computador tenta descobrir o movimento perfeito calculando os "gradientes" (a inclinação matemática do sucesso) para cada parte de seu cérebro de uma só vez. Isso exige uma quantidade massiva de memória de computador, como tentar guardar uma biblioteca de livros em sua cabeça enquanto resolve um enigma. Se a tarefa for longa e complicada, a memória necessária explode, tornando impossível para a maioria das pessoas treinar esses agentes sem um supercomputador.

Surge uma abordagem diferente chamada "Estratégias Evolutivas". Em vez de calcular inclinações, este método é mais parecido com um jogo de "Quente ou Frio". Você faz pequenas mudanças aleatórias no cérebro da IA, vê se ela melhora e, se melhorar, você mantém a mudança. É muito mais leve em termos de memória porque você não precisa se lembrar do caminho que percorreu para chegar lá. No entanto, há um novo problema: como você está adivinhando aleatoriamente, precisa tentar muitas vezes para obter bons resultados, o que consome uma enorme quantidade de tempo e poder computacional. É como tentar encontrar uma agulha em um palheiro verificando um fio de palha de cada vez; você eventualmente a encontrará, mas pode passar um século nisso. A grande questão para os cientistas é: Podemos manter a economia de memória do método "Quente ou Frio", mas torná-lo rápido o suficiente para ser útil em apenas alguns computadores comuns?

Este artigo apresenta um novo truque inteligente chamado CoPES (Estratégia de Evolução de Subespaço de Parâmetros Cooperativa) para resolver exatamente esse problema. Os pesquisadores perceberam que tentar mudar todo o cérebro da IA de uma só vez é ineficiente. Então, eles dividiram o cérebro em pedaços menores e gerenciáveis. Imagine que você está tentando ajustar uma grande orquestra para soar perfeita. Em vez de pedir que cada músico mude seu instrumento aleatoriamente ao mesmo tempo (o que cria o caos), você pede que a seção de violinos tente uma nova configuração, depois a seção de metais, depois a percussão, enquanto todos os outros permanecem parados. Ao testar esses grupos menores um por um, mas mantendo toda a orquestra tocando junta, você consegue descobrir o que funciona muito mais rápido.

No artigo, os autores testaram isso em um modelo de IA específico (Qwen3.5-4B) treinado para resolver problemas matemáticos. Eles compararam seu novo método de "ajuste de orquestra" contra o método padrão de "Quente ou Frio" e o método de "alta memória de gradiente". Eles descobriram que o CoPES foi um divisor de águas para configurações de recursos limitados. Enquanto o método aleatório padrão precisou de cerca de 480,60 GPU-horas (uma medida de tempo de computador) para atingir um bom nível de desempenho, o CoPES alcançou resultados quase idênticos em apenas 68,65 GPU-horas. Ainda mais impressionante, sob um limite de tempo rigoroso onde o método de alta memória só pôde treinar por 16 etapas, o CoPES recuperou 92% dos ganhos de desempenho que o método de alta memória alcançou, enquanto o método aleatório padrão conseguiu apenas 67%.

O estudo também mostrou que o CoPES é muito mais prático para o hardware do dia a dia. Enquanto o método de alta memória exigia uma configuração massiva de 8 GPUs de alto desempenho para sequer iniciar o treinamento em tarefas longas, o CoPES pôde rodar com sucesso em uma única GPU padrão de 24GB. Isso significa que, em vez de precisar de um centro de dados, um pesquisador com um único computador potente agora pode treinar agentes de IA avançados. Os autores também testaram o método em tarefas de perguntas e respostas, não apenas matemática, e descobriram que o método funcionou bem lá também, superando consistentemente a abordagem aleatória padrão.

O artigo sugere que, ao dividir o problema em subgrupos cooperativos e combinar cuidadosamente os resultados, podemos obter o melhor dos dois mundos: o baixo custo de memória dos métodos evolutivos e a alta velocidade dos métodos baseados em gradiente. O texto não afirma ser uma solução mágica que resolve tudo instantaneamente, mas demonstra um equilíbrio significativamente melhor entre memória e tempo. Os resultados indicam que, com essa nova estratégia, o treinamento de agentes de IA poderosos torna-se viável para muito mais pessoas, transformando uma tarefa que antes exigia um supercomputador em algo alcançável em uma única estação de trabalho.

Resumo Técnico: Coevolução Cooperativa para Pós-treinamento de LLMs Agênticos com Restrição de Recursos

Declaração do Problema

Agentes de LLM (Large Language Models) que utilizam ferramentas geram trajetórias longas e de múltiplos turnos para resolver tarefas complexas. Embora o pós-treinamento com recompensas verificáveis (ex: via Aprendizado por Reforço) seja um método escalável para melhorar o comportamento do agente, ele enfrenta um gargalo crítico em ambientes com restrição de recursos.

Métodos baseados em gradiente, como o Group Relative Policy Optimization (GRPO), exigem o backpropagation através dessas trajetórias longas. Isso exige o armazenamento de pesos do modelo, gradientes, estados do otimizador e, crucialmente, ativações intermediárias. À medida que o comprimento do contexto aumenta, a memória de ativação torna-se proibitiva, muitas vezes exigindo clusters de GPUs de alto desempenho que não estão disponíveis para muitos pesquisadores. Por outro lado, Estratégias de Evolução (ES) oferecem uma alternativa eficiente em termos de memória ao evitar totalmente o backpropagation, exigindo apenas geração de forward e avaliação de recompensa. No entanto, a ES padrão é computacionalmente cara, tipicamente exigindo significativamente mais horas de GPU do que os métodos baseados em gradiente para alcançar um desempenho comparável. Em configurações de recursos limitados, com contagens de GPU reduzidas, essa alta demanda computacional se traduz em tempos de treinamento (wall-clock time) impraticavelmente longos.

O desafio central abordado é como melhorar a eficiência de otimização da ES sem sacrificar suas vantagens de memória, especificamente para o pós-treinamento de LLMs agênticos de parâmetros completos.

Metodologia: Estratégia de Evolução de Subespaço de Parâmetros Cooperativos (CoPES)

Para enfrentar o gargalo de eficiência, os autores propõem a Cooperative Parameter-subspace Evolution Strategy (CoPES), um método de coevolução cooperativa adaptado para ES de parâmetros completos.

Mecanismo Central

O CoPES decompõe o espaço de parâmetros de alta dimensão ( $\mathbb{R}^d$ ) em $K$ subespaços de menor dimensão e mutuamente disjuntos. Em vez de perturbar todo o espaço de parâmetros simultaneamente para cada avaliação, o CoPES realiza buscas cooperativas dentro desses subespaços:

Particionamento Aleatório: Em cada etapa de treinamento, os índices dos parâmetros são particionados aleatoriamente em $K$ subespaços de tamanho igual ( $S_1, \dots, S_K$ ).
Busca de Subespaço Cooperativa: O orçamento total de perturbação $N$ é distribuído entre os subespaços ( $N_k = N/K$ ). Para cada subespaço $k$ , são gerados $N_k$ modelos perturbados adicionando ruído apenas aos parâmetros em $S_k$ , enquanto todos os outros parâmetros permanecem fixos em seus valores atuais. Isso fornece um contexto de modelo completo compartilhado para avaliar o impacto das mudanças em um subespaço específico.
Escalonamento de Perturbação Consciente da Dimensão: Para garantir que a magnitude das perturbações do subespaço corresponda à norma quadrada esperada de uma perturbação de espaço total, a escala de perturbação $\sigma_k$ é ajustada: $\sigma_k = \sqrt{K}\sigma$ .
Padronização Conjunta de Recompensa: Diferente da ES padrão, que padroniza recompensas dentro de uma única população, o CoPES agrupa as recompensas de todos os $N$ modelos perturbados em todos os $K$ subespaços. Ele calcula uma média global ( $\mu_c$ ) e um desvio padrão ( $s_c$ ) para padronizar todas as recompensas ( $\hat{r}_{k,i}$ ). Isso fornece estatísticas de normalização estáveis e uma escala de recompensa comum para combinar atualizações de subespaço.
Atualização Síncrona: As direções de subespaço são estimadas e compostas em uma atualização de parâmetros completos: $\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$ , onde $g_k$ é a direção de gradiente estimada para o subespaço $k$ .

Detalhes de Implementação

Para manter a eficiência de memória, o CoPES emprega:

Replay de Sementes (Seed Replay): As perturbações são regeneradas a partir de sementes aleatórias em vez de armazenar vetores de perturbação completos.
Backup de Pesos: Os pesos pré-perturbação são salvos na memória CPU para garantir que cada avaliação comece exatamente do mesmo estado do modelo, evitando erros residuais de ponto flutuante.
Processamento em Blocos (Chunked Processing): Os parâmetros são processados em blocos para gerenciar o uso de memória.

Principais Contribuições

Algoritmo Inovador: O CoPES é apresentado como o primeiro método de coevolução cooperativa projetado especificamente para o pós-treinamento de LLMs agênticos de parâmetros completos. Ele combina a decomposição do espaço de parâmetros com a padronização conjunta de recompensa.
Troca Eficiência-Memória: O método melhora a eficiência da otimização de orçamento fixo enquanto preserva a natureza de parâmetros completos e eficiente em memória da ES padrão. Ele evita o overhead de backpropagation dos métodos baseados em gradiente e o alto tempo de execução da ES padrão.
Validação Empírica: Experimentos extensos em tarefas de matemática e de perguntas e respostas (QA) de múltiplos saltos validam o método através de múltiplas métricas, incluindo testes de viabilidade de hardware e ablações controladas.

Resultados Experimentais

Os autores avaliaram o CoPES em um modelo Qwen3.5-4B em cinco benchmarks de matemática (AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test) e três benchmarks de QA (HotpotQA, 2Wiki, MuSiQue).

Desempenho vs. RL Baseado em Gradiente (GRPO)

Eficiência de Memória: A análise teórica mostra que o CoPES requer menos de 1/8 da memória de GPU do GRPO de parâmetros completos. Na prática, o CoPES pode ser treinado em uma única GPU de 24GB, enquanto o GRPO de parâmetros completos exige 8x GPUs de 48GB para contextos de 128K.
Desempenho de Orçamento Fixo: Sob um orçamento de horas de GPU equivalente ao melhor checkpoint de validação do GRPO de parâmetros completos (16 etapas de treinamento):
- O CoPES recuperou 92% do ganho de acurácia de validação alcançado pelo GRPO de parâmetros completos.
- A ES padrão recuperou apenas 67%.
- O CoPES superou consistentemente tanto a ES padrão quanto o GRPO baseado em LoRA em todas as métricas pass@k nos cinco benchmarks de matemática.
Escalabilidade: Nos desafiadores benchmarks AIME 2024 e AIME 2025, o CoPES superou o GRPO de parâmetros completos em valores maiores de $k$ (pass@k), apesar de usar o mesmo orçamento de treinamento fixo.

Desempenho vs. ES Padrão

O CoPES superou significativamente a ES padrão em todas as métricas avaliadas.
Estudos de Ablação:
- Contagem de Subespaços ( $K$ ): O desempenho melhorou conforme $K$ aumentou de 1 para 4, mas caiu drasticamente em $K=8$ devido ao número insuficiente de populações por subespaço ( $N_k=5$ ).
- Padronização Conjunta: O uso de padronização conjunta de recompensa através de todos os subespaços resultou em pontuações pass@1 mais altas em comparação com a padronização independente dentro de cada subespaço.
- Escala de Perturbação: O ganho de desempenho não se deve apenas à maior escala de perturbação por coordenada ( $\sigma_k = \sqrt{K}\sigma$ ); a ES padrão com a mesma escala aumentada teve um desempenho inferior.

QA de Múltiplos Saltos (Multi-Hop QA)

Em tarefas de perguntas e respostas, o CoPES superou a ES padrão em todas as combinações de métricas de benchmark e permaneceu competitivo com o GRPO de parâmetros completos, demonstrando a aplicabilidade do método além do raciocínio matemático.

Significância e Alegações

O artigo afirma que o CoPES oferece uma solução prática para o pós-treinamento de LLMs agênticos sob restrição de recursos. Ao decompor o espaço de busca e padronizar as recompensas conjuntamente, o CoPS alcança um compromisso superior entre requisitos de memória e tempo de treinamento. Ele permite o uso de estratégias de evolução de parâmetros completos em hardware de nível de consumidor ou com GPUs limitadas (ex: uma única GPU de 24GB), onde métodos de gradiente de parâmetros completos são inviáveis devido aos limites de memória, e onde a ES padrão é muito lenta devido aos custos computacionais. Os autores enfatizam que sua abordagem mantém a vantagem de "apenas forward" da ES, mitigando seu principal desvantagem computacional.