💻 computer science

EvoMem: Memory-Augmented Evolution for Code Optimization

EvoMem é uma arquitetura de memória persistente para busca evolutiva de código impulsionada por LLM que captura e reutiliza estratégias de mutação bem-sucedidas como conselhos estruturados e conscientes da tarefa para reduzir a exploração redundante e melhorar a otimização através de diversas tarefas.

Autores originais: Viktor Volkov, Valentin Khrulkov, Andrey V. Galichin, Danil Sivtsov, Nikita Glazkov, Olga Volkova, Konstantin Pchelin, Iaroslav Bespalov, Dmitry V. Dylov, Petr Anokhin, Ivan Oseledets

Publicado 2026-08-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Viktor Volkov, Valentin Khrulkov, Andrey V. Galichin, Danil Sivtsov, Nikita Glazkov, Olga Volkova, Konstantin Pchelin, Iaroslav Bespalov, Dmitry V. Dylov, Petr Anokhin, Ivan Oseledets

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a resolver um labirinto. Você não apenas entrega um mapa; você o deixa vagar, tentar caminhos diferentes e, se ele bater em uma parede, ele tenta novamente. Esta é a ideia básica por trás da busca evolutiva, um método usado por computadores para resolver problemas difíceis ao mimetizar a maneira da natureza de encontrar as melhores soluções. O computador gera milhares de "ideias" aleatórias (como diferentes trechos de código), testa-as, mantém as que funcionam melhor e as mistura para criar ideias ainda melhores para a próxima rodada.

Agora, imagine se toda vez que o robô começasse um novo labirinto, ele esquecesse tudo o que aprendeu no anterior. Ele teria que redescobrir aquele truque de "virar à esquerda na pedra vermelha" toda vez, mesmo que o novo labirinto fosse muito semelhante. Este é o problema que os pesquisadores enfrentam com os sistemas de IA atuais que escrevem código: eles são brilhantes em encontrar soluções, mas frequentemente tratam cada nova tarefa como se fosse o primeiro dia de aula, esquecendo os truques inteligentes que descobriram ontem. O artigo que você está prestes a ler aborda este problema específico: como podemos dar a esses escritores de código de IA uma "memória" para que possam lembrar de seus melhores truques e usá-los para resolver novos quebra-cabeças mais rapidamente?

O Artigo: EvoMem – Dando um Cérebro para as Melhores Ideias da IA

Conheça o EvoMem (Memória Evolutiva). Pense nele como uma "folha de consulta" digital ou um "rolo de destaques" para uma IA que está tentando escrever programas de computador melhores.

Normalmente, quando uma IA executa uma busca evolutiva para otimizar código, ela trabalha como um explorador solitário. Ela tenta uma mutação (uma pequena mudança no código), vê se obtém uma pontuação melhor e, se obtiver, mantém essa nova versão. Mas, assim que essa execução termina, a IA joga fora todas as notas sobre o porquê de aquela mudança ter funcionado. Se você pedir para ela resolver um problema semelhante mais tarde, ela terá que tropeçar novamente naquele mesmo truque inteligente, desperdiçando tempo e energia.

O EvoMem muda o jogo ao agir como um bibliotecário sábio. Ele não armazena apenas o código final; ele armazena a história do sucesso.

Como Funciona: A Dança das Duas Fases

O sistema opera em duas fases distintas, como um chef cozinhando uma refeição e depois escrevendo a receita para a próxima vez.

Fase 1: A Limpeza Pós-Festa (Escrevendo na Memória)
Depois que a IA termina uma rodada de busca e encontra alguns códigos vencedores, o EvoMem entra em ação. Ele observa as mudanças bem-sucedidas e pergunta: "Qual foi o truque real aqui?"

A IA percebeu que fazer o "cache" de um resultado economizou tempo?
Ela descobriu que "simplificar a matemática" a tornou mais rápida?
Ela descobriu uma forma específica de organizar dados?

Ele pega esses insights, remove os detalhes específicos daquela tarefa e os transforma em um "cartão de memória" estruturado. É como pegar um truque de mágica complexo e escrever o movimento secreto em um cartão de notas. Ele também rastreia de onde a ideia veio (proveniência), para que a IA saiba que é um vencedor comprovado, e não apenas um golpe de sorte.

Fase 2: O Alinhamento Pré-Jogo (Lendo a Memória)
Antes de a IA começar uma nova rodada de busca em uma nova tarefa, o EvoMem folheia seus cartões de notas. Ele não despeja toda a biblioteca na IA; isso seria esmagador. Em vez disso, ele escolhe alguns cartões que parecem relevantes para o problema atual.

Se a nova tarefa for sobre empacotar formas, ele pode puxar um cartão sobre "usar forças repulsivas para espalhar as coisas".
Se a nova tarefa for sobre responder perguntas, ele pode puxar um cartão sobre "verificar fatos passo a passo".

A IA então lê esses cartões como conselhos. Não é um comando; a IA ainda pode ignorá-los se não se encaixarem. Mas, frequentemente, essas dicas ajudam a IA a pular a parte entediante de "tentar de tudo" e ir direto para as partes boas.

O Que Eles Descobriram: Mais Rápidos e Inteligentes

Os pesquisadores testaram o EvoMem em uma variedade de desafios, desde o empacotamento de círculos em uma caixa e resolução de quebra-cabeças geométricos até a otimização de código para placas de vídeo (GPUs) e resposta a perguntas complexas de conhecimentos gerais.

Os resultados foram promissores. Em muitos casos, a IA com memória não apenas encontrou soluções melhores; ela as encontrou muito mais rápido.

Velocidade: Para algumas tarefas, como empacotar círculos ou resolver o problema do "Número de Beijo" (um complexo quebra-cabeça de geometria), a IA com memória alcançou a mesma pontuação alta que a IA "esquecida", mas utilizou muito menos tentativas. Em um caso, foi quase 9 vezes mais rápida (um aumento de velocidade de 9,26).
Qualidade: Para outras tarefas, como otimizar código científico ou responder a perguntas do "HotpotQA", a IA com memória de fato encontrou respostas finais melhores. Em média, as execuções com memória mostraram uma melhoria de 6,40% em suas pontuações alvo em comparação com as execuções sem memória.

No entanto, o artigo é cuidadoso ao notar que isso não é uma varinha mágica que funciona perfeitamente sempre. Os resultados variaram. Para algumas tarefas, a memória ajudou muito; para outras, como o problema do "Número de Beijo", ela ajudou apenas com a velocidade, não com a qualidade final. Os autores sugerem que a memória funciona melhor quando a nova tarefa está relacionada à antiga, permitindo que a IA transfira uma "estratégia" em vez de apenas copiar o código.

Por Que Isso Importa

A lição mais importante é que o EvoMem prova que podemos ensinar a IA a aprender com seu passado sem ficar presa nele.

Antes disso, se você quisesse que uma IA melhorasse em um novo trabalho, muitas vezes tinha que começar do zero. O EvoMem sugere que podemos construir sistemas que acumulam "experiência". É a diferença entre um aluno que esquece suas notas de matemática após cada teste e um que mantém um caderno de "o que funcionou da última vez" para gabaritar o próximo exame.

Os pesquisadores descobriram que, ao armazenar essas "estratégias de mutação bem-sucedidas" como conselhos estruturados, eles puderam reduzir a quantidade de exploração redundante. A IA não teve que perder tempo redescobrindo que "virar à esquerda na pedra vermelha" era uma boa ideia; ela simplesmente se lembrou.

Em suma, o EvoMem mostra que dar à IA evolutiva uma memória persistente pode torná-la uma exploradora mais eficiente, ajudando-a a navegar em novos territórios ao lembrar dos caminhos que funcionaram no passado. É um passo em direção a uma IA que não apenas resolve problemas, mas que realmente fica mais inteligente sobre como resolve esses problemas ao longo do tempo.

Resumo Técnico: EvoMem: Memória Aumentada para Evolução de Otimização de Código

Declaração do Problema

A busca evolutiva de código baseada em LLM (ex: AlphaEvolve) automatiza a melhoria de programas através da mutação iterativa de candidatos, avaliação e retenção de variantes bem-sucedidas. Embora eficaz, os frameworks atuais tratam cada execução evolutiva como um processo autossuficiente. Consequentemente, estratégias de mutação bem-sucedidas — como decomposições específicas, truques de estabilização numérica ou regras de poda — descobertas em uma execução são descartadas. Quando o sistema aborda uma tarefa relacionada, ele deve frequentemente redescobrir essas ideias por meio de uma busca ampla e redundante. O reuso de artefatos anteriores sem abstração é insuficiente porque programas específicos estão fortemente acoplados às suas tarefas e métricas originais; simplesmente misturar experimentos pode introduzir contexto irrelevante. Há uma necessidade de um mecanismo que abstraia o conhecimento de mutação útil de execuções passadas, preserve a procedência e recupere apenas conselhos delimitados e relevantes para mutações futuras sem alterar o loop evolutivo central.

Metodologia: Arquitetura EvoMem

O EvoMem é uma arquitetura de memória persistente implementada como uma extensão do GigaEvo, um pipeline estilo AlphaEvolve de código aberto. Ele opera em duas fases distintas: uma fase de escrita offline e uma fase de leitura online.

1. A Fase de Escrita (Análise Pós-Execução)

Após a conclusão de uma execução evolutiva, o EvoMem extrai e processa eventos de mutação bem-sucedidos:

Extração: O sistema analisa programas concluídos para identificar ideias candidatas, filtrando programas raiz e saídas inválidas. Ele normaliza registros contendo fitness, geração, parentesco, contexto da tarefa, estratégia de mutação e descrições de melhoria.
Modos de Análise:
- Modo Padrão: Um LLM compara novas melhorias contra uma coleção funcional de ideias para determinar se são novas, revisões ou reformulações. A procedência é preservada anexando referências de origem e atualizando contagens de geração.
- Analisador Rápido: Para execuções com muitas descrições semelhantes, utiliza-se DBSCAN no espaço de embeddings para agrupar candidatos, seguido de refinamento por LLM de clusters ambíguos.
Promoção e Deduplicação: Nem todas as ideias são promovidas. Uma regra de pontuação conservadora favorece ideias com pontos de introdução identificáveis que melhoram em relação ao seu pai mais forte e raramente produzem descendentes piores.
- Fusão: Cartões de ideias abstratas são fundidos apenas se descreverem o mesmo mecanismo subjacente, não apenas a mesma tarefa.
- Deduplicação: Uma soma ponderada de scores de recuperação através de múltiplas visões textuais (descrição do mecanismo, resumo da tarefa, explicação) identifica duplicatas. Uma política de decisão por LLM então escolhe armazenar, descartar ou fundir novas ideias, priorizando a revocação para evitar a perda de conhecimento útil.
Armazenamento: O banco de memória armazena dois tipos de entradas: cartões de ideias abstratas (com procedência e estatísticas de uso) e exemplares de programas de alto desempenho.

2. A Fase de Leitura (Recuperação e Mutação)

Antes de cada mutação, o EvoMem aumenta o contexto do candidato:

Filtragem de Escopo de Tarefa: Um LLM primeiro seleciona tarefas de origem no banco de memória que são potencialmente relevantes para a tarefa atual, estreitando o escopo de recuperação.
Recuperação: Dentro do escopo selecionado, o sistema classifica os cartões de memória usando similaridade léxica e baseada em embeddings através de descrições de mecanismos, contextos de tarefa e explicações.
Injeção: Um conjunto delimitado de cartões relevantes (padrão $k=3$ ) é inserido no prompt de mutação como uma "seção de memória" dedicada. Crucialmente, isso é apresentado como conselho, não como uma restrição rígida. O agente de mutação pode reutilizar as táticas, mas os operadores evolutivos principais (seleção de pai, validação, pontuação) permanecem inalterados.
Auditabilidade: As identidades dos cartões de memória selecionados são registradas com o candidato resultante, permitindo que o sistema rastreie mudanças de fitness subsequentes até o uso de memória específico na próxima fase de escrita.

Contribuições Principais

Arquitetura EvoMem: Um mecanismo de memória persistente que armazena e reutiliza conhecimento de mutação entre execuções de busca evolutiva de código baseadas em LLM.
Pipeline de Duas Fases: Uma abordagem estruturada que separa a extração offline, filtragem e deduplicação da recuperação online e delimitada durante a mutação.
Implementação e Avaliação: Integração com GigaEvo e avaliação em configurações de transferência incluindo otimização geométrica, questionamento de múltiplos saltos (multi-hop QA), otimização de kernel de GPU e ajuste de código científico.
Evidência Empírica: Demonstração de que o reuso de memória pode acelerar execuções evolutivas e apoiar a transferência entre problemas, resultando em melhorias nos métricas alvo, velocidade de busca ou ambos.

Resultados

Experimentos foram conduzidos em um conjunto de geração de memória (incluindo Circle Packing, Heilbronn, Kissing Number, HotpotQA, HoVer, GSM8K, AlgoTune e KernelBench) e um conjunto de avaliação. Crucialmente, as memórias do benchmark específico sendo testado foram excluídas do banco de memória para garantir a transferência entre tarefas.

Ganhos de Desempenho: Em todos os benchmarks, o EvoMem mostrou melhorias médias positivas.
- Métricas Alvo: Os ganhos relativos médios variaram de 0,00% (Kissing Number) a 16,89% (KernelBench), com uma média geral de 6,40%.
- Velocidade de Busca: Execuções com memória atingiram o melhor score final da linha de base usando menos candidatos na maioria dos casos. O aumento de velocidade médio foi de 5,93x, com picos de 22,00x em Circle Packing (32).
Variabilidade: Os resultados variaram por tarefa. Kissing Number mostrou aceleração sem melhoria de qualidade, enquanto AlgoTune e KernelBench mostraram alta variabilidade nos ganhos.
Qualidade de Recuperação:
- Cobertura: A cobertura do banco de memória variou significamente (3,3% para Kissing Number a 100% para HoVer).
- Taxa de Aceitação: O mecanismo de recuperação baseado em relevância alcançou uma taxa de aceitação de ideia de 4,05% (onde o programa filho incorporou a ideia), comparado a 0,25% para seleção de memória aleatória. Isso indica que a camada de recuperação filtra com sucesso conselhos que têm probabilidade de serem realizados em código.

Significância e Alegações

O artigo afirma que o EvoMem fornece evidências de que a memória persistente pode reduzir a exploração redundante e melhorar o reuso e a adaptação de estratégias bem-sucedidas em buscas evolutivas impulsionadas por LLM.

Generalizabilidade: Os resultados sugerem que o conhecimento de mutação útil é frequentemente mais geral do que o programa específico no qual apareceu. Estratégias descobertas em uma execução podem guiar a exploração em domínios relacionados e, às vezes, substancialmente diferentes.
Design de Sistema: O EvoMem postula que a memória deve ser tratada como um componente de primeira classe de sistemas de codificação evolutiva. Ao capturar decisões de design, heurísticas e padrões de evitar falhas, os sistemas evolutivos podem acumular experiência entre tarefas em vez de reiniciar a otimização do zero.
Modéstia: Os autores reconhecem que os benefícios variam entre as execuções devido à estocasticidade inerente da busca evolutiva e à sensibilidade do pipeline de memória aos hiperparâmetros. Eles observam que o estudo atual utiliza um banco de memória relativamente pequeno e configurações simples, sugerindo que trabalhos futuros devem focar em escala, dependência adaptativa de memória e evolução em escala de repositório.