🤖 machine learning

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

O artigo apresenta o MEMENTO, uma estrutura memética guiada por memória que evolui código executável como políticas para tarefas incorporadas de longo horizonte ao combinar a geração impulsionada por LLM com feedback estruturado de um avaliador evoluído, alcançando desempenho superior e transferência sim-to-real em comparação com as linhas de base existentes.

Autores originais: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Publicado 2026-07-28

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a realizar uma tarefa complexa, como construir uma torre de blocos ou fazer um sanduíche. Isso não é apenas apertar um único botão; é uma longa sequência de passos onde cada movimento depende do anterior. Se o robô pegar o bloco errado ou abrir a porta errada, todo o plano desmorona. Este é o mundo da "IA incorporada" (embodied AI), onde o software encontra o mundo físico e caótico. O grande desafio aqui é o "problema da atribuição de crédito": quando o robô falha ao final de uma tarefa longa, como você sabe qual passo específico deu errado? Foi o primeiro movimento ou o décimo?

Para resolver isso, pesquisadores estão tentando um truque inteligente chamado "código como política" (code-as-policy). Em vez de treinar um robô com instruções vagas ou recompensas por tentativa e erro, eles escrevem o cérebro do robô como um código de computador real. Isso é como dar ao robô um livro de receitas em vez de apenas um sentimento. Se a receita falhar, você pode lê-la, ver exatamente qual instrução foi confusa e reescrevê-la. Mas escrever essas receitas à mão é difícil, e adivinhar o código certo é ainda mais difícil. É aqui que os Grandes Modelos de Linguagem (LLMs) — os mesmos cérebros de IA que escrevem ensaios e conversam conosco — entram em cena. Eles podem gerar código, mas frequentemente precisam de ajuda para entender por que um pedaço de código falhou para que possam corrigi-lo adequadamente.

Esta é a história de um novo método chamado MEMENTO, que atua como um editor superinteligente e guardião de memória para o código do robô. Os pesquisadores queriam ver se poderiam evoluir melhores receitas para robôs permitindo que uma IA as escrevesse, testasse e, em seguida, usasse uma "memória" especial para lembrar o que não funcionou, para que não cometesse o mesmo erro novamente. Eles testaram isso em dois jogos complicados: um onde um braço robótico tem que resolver um quebra-cabeça de Torre de Hanói (movendo blocos sem quebrar as regras) e outro onde um robô precisa navegar por uma casa virtual para preparar um lanche.

Aqui está como o MEMENTO funciona, e o que a equipe descobriu.

O Problema do "Adivinha e Verifica"

Imagine que você está tentando escrever um programa para resolver um quebra-cabeça. Você pede a uma IA para escrever o código. Ela escreve algo, você executa, e falha. Se você apenas pedir à IA para "tentar novamente" com uma nova ideia aleatória, você pode obter uma falha ligeiramente diferente, mas não está realmente aprendendo. É como tentar encontrar uma chave escondida em um campo gigante jogando dardos de olhos vendados.

Métodos anteriores tentavam corrigir isso gerando muitas versões diferentes do código de uma só vez e escolhendendo a melhor. Mas os pesquisadores descobriram que essa abordagem frequentemente errava o alvo. Era como ter cem pessoas sugerindo diferentes maneiras de consertar um cano com vazamento, mas nenhuma delas realmente olhou para o ponto específico onde a água estava pingando. Elas careciam de uma forma de pegar uma única boa ideia, ajustá-la cuidadosamente, lembrar quais ajustes falharam e, então, combinar as melhores partes de diferentes ideias.

Conheça o MEMENTO: O Editor Guardião de Memória

Os autores introduziram o MEMENTO, que significa Memory-Guided Memetic Code-as-Policy Evolution (Evolução de Código como Política Memética Guiada por Memória). O nome parece sofisticado, mas a ideia é surpreendentemente humana. Pense no MEMENTO como um mestre editor trabalhando com um único rascunho "estrela" do cérebro de um robô.

O processo ocorre em dois atos principais:

Ato 1: Construindo o Juiz
Antes mesmo de o robô começar a aprender, o MEMENTO cria um "Juiz" (um avaliador) especial. Este Juiz é um pedaço de código que observa o robô realizar a tarefa e lhe dá uma pontuação. Mas ele não diz apenas "Passou" ou "Falhou". Ele entrega um boletim detalhado: "Você conseguiu a pontuação, mas deixou o bloco cair aqui", ou "Você abriu a porta rápido demais". Os pesquisadores evoluíram este Juiz primeiro, garantindo que ele fosse bom em detectar exatamente o que deu errado no desempenho do robô.

Ato 2: A Busca de Três Ramos
Uma vez que o Juiz está pronto, a verdadeira evolução começa. O MEMENTO não está apenas jogando dardos; ele usa três estratégias específicas para melhorar o código do robô, tudo enquanto mantém uma "memória" de falhas passadas:

O Escalador de Colinas (O Ajustador Cuidadoso): Este ramo pega o atual melhor código e faz mudanças minúsculas e cuidadosas. Se uma mudança torna o robô melhor, ele a mantém. Se uma mudança o torna pior, ele lembra por que aquela mudança específica falhou. Essa "memória de ideias rejeitadas" impede a IA de cometer o mesmo erro duas vezes. É como um trilheiro que tenta um caminho, encontra um beco sem saída, marca-o no mapa e tenta um caminho diferente, garantindo que não entre no mesmo arbusto novamente.
O Mutador de Macros (O Gerador de Grandes Ideias): Às vezes, pequenos ajustes não são suficientes. Este ramo pega o melhor código e faz mudanças grandes e ousadas — como reescrever um parágrafo inteiro da receita. É o momento do "e se tentássemos uma abordagem completamente diferente?".
O Cruzamento (O Misturador): Este é o ingrediente mágico. Ele pega o melhor resultado do Ajustador Cuidadoso e o melhor resultado do Gerador de Grandes Ideias e os mistura. É como pegar os melhores ingredientes de duas receitas diferentes para criar um novo super-prato.

Após tentar esses três caminhos, o MEMENTO escolhe o único melhor resultado para ser o "Elite" para a próxima rodada. Esse ciclo se repete, refinando lentamente o código até que o robô consiga resolver a tarefa.

Os Resultados: Isso Realmente Funciona?

Os pesquisadores testaram o MEMENTO em dois mundos muito diferentes:

Robosuite Tower of Hanoi: Um braço robótico empilhando quatro blocos.
AI2-THOR: Um robô navegando por uma cozinha virtual para colocar uma maçã no micro-ondas e pão na geladeira.

Eles compararam o MEMENTO com outros dois métodos populares (Eureka e REvolve). Os resultados foram claros: o MEMENTO venceu.

Na tarefa de Torre de Hanói, o MEMENTO alcançou uma taxa de sucesso de 0,97 ± 0,06 (significando que resolveu o quebra-cabeça quase todas as vezes), enquanto os outros métodos tiveram dificuldades, com um obtendo apenas 0,53 e o outro falhando completamente (0,00). Na tarefa da cozinha, o MEMENTO atingiu uma taxa de sucesso perfeita de 1,00 ± 0,00, enquanto os outros conseguiram apenas 0,40 e 0,00.

Mas a verdadeira magia não estava apenas na sala de treinamento. Os pesquisadores testaram se o robô conseguiria lidar com novas situações que nunca tinha visto antes.

Novas Formas: Quando mudaram os blocos de cubos para cilindros estranhos ou objetos assimétricos, o MEMENTO ainda resolveu o quebra-cabeça 0,87 das vezes. Os outros métodos caíram para 0,23 ou 0,00.
Novas Salas: Quando moveram o robô da cozinha para o layout de uma casa completamente nova que ele nunca tinha visto, o MEMENTO ainda teve sucesso 0,78 das vezes. Os outros caíram para 0,08.

Isso sugere que o MEMENTO não apenas memorizou os blocos específicos ou a cozinha específica; ele realmente aprendeu a lógica da tarefa.

Os "Momentos Aha!" (Estudos de Ablação)

Para provar que seu design específico era o ingrediente secreto, os pesquisadores tentaram remover partes do MEMENTO para ver o que acontecia.

Sem Memória: Quando removeram a "memória" de ideias rejeitadas, o robô ficou preso cometendo os mesmos erros repetidamente.
Sem Grandes Mudanças: Quando permitiram apenas pequenos ajustes (sem "Mutação de Macro"), o robô não conseguiu escapar de armadilhas locais.
Sem Mistura: Quando pararam de misturar as melhores ideias (sem "Cruzamento"), o robô não conseguiu combinar as estratégias corretas.
Sem Evolução do Juiz: Quando usaram um Juiz simples e não treinado em vez do evoluído, o robô não conseguiu entender como vencer.

Todas as vezes que removeram uma peça, o desempenho caiu significativamente, provando que o sistema completo era necessário.

Da Simulação para a Realidade

A parte mais emocionante? Eles pegaram o melhor código que o MEMENTO evoluiu na simulação de computador e o colocaram em um robô físico real (um braço robótico Franka). Eles não o treinaram novamente nem mudaram o código; apenas o deixaram rodar.

O robô resolveu a Torre de Hanói no mundo real 90% das vezes (9 de 10 tentativas). A única falha não foi porque o código estava errado; foi porque a câmera do robô leu incorretamente a posição de um bloco. Isso provou que a abordagem "código como política" não é apenas um truque de simulação — ela funciona no mundo físico real e caótico.

O Que Isso Significa

O artigo sugere que, para robôs aprenderem tarefas longas e complexas, precisamos de mais do que apenas palpites aleatórios. Precisamos de um sistema que lembre o que não funcionou, faça tanto pequenas quanto grandes mudanças e misture as melhores ideias. O MEMENTO mostra que, ao tratar o código do robô como uma receita que pode ser editada, testada e refinada com uma memória de falhas passadas, podemos ensinar robôs a resolver quebra-cabeças que eram anteriormente difíceis demais para eles.

Os autores ressaltam cautelosamente que isso foi testado em tarefas específicas e que o método depende do modelo de linguagem específico que utilizaram. Eles não alegaram que isso resolve todos os problemas robóticos, mas mostraram um caminho muito promissor para ensinar robôs a pensar em código.

Resumo Técnico: MEMENTO para Evolução de Código-como-Política

Definição do Problema

Tarefas de controle incorporado de longo horizonte apresentam um desafio significativo devido ao "problema de atribuição de crédito de longo horizonte". Nessas tarefas, o sucesso só é observável após uma sequência de muitas ações dependentes, onde ações iniciais determinam o estado encontrado pelas ações posteriores. As abordagens existentes, como o aprendizado baseado em demonstrações ou o aprendizado por reforço com abstração temporal, frequentemente falham em expor a lógica de decisão específica de uma política falha ou identificar quais partes dessa lógica requerem revisão.

Embora representar políticas como programas executáveis ("código-como-política") permita a inspeção direta e a revisão da lógica de decisão, melhorar esses programas via Grandes Modelos de Linguagem (LLMs) é difícil. O sucesso binário da tarefa é muito esparso para guiar o refinamento, e o feedback estruturado é difícil de especificar manualmente. Além disso, os métodos evolutivos atuais impulsionados por LLMs focam primariamente na seleção entre variantes geradas independentemente, carecendo de uma fase de melhoria local sequencial e falhando em reter uma memória das revisões anteriormente falhas.

Metodologia: MEMENTO

Os autores propõem o MEMENTO, um framework memético de elite única guiado por memória, projetado para evoluir programas executáveis de código-como-política. O framework opera em duas etapas distintas:

1. Evolução do Avaliador
Antes de buscar as políticas, o MEMENTO evolui um avaliador especializado ( $E^\star$ ).

Entrada: Uma política inicial ( $p_0$ ) é executada por $N_{roll}$ episódios para criar um conjunto de execução fixo ( $T_0$ ).
Processo: Um pool de candidatos a avaliadores (programas gerados por LLM) é iterativamente refinado. Cada candidato mapeia o conjunto de execução para um score de aptidão escalar ( $F$ ) e métricas de feedback estruturado ( $M$ ).
Seleção: Os candidatos são pontuados com base em sua capacidade de correlacionar-se com o sucesso da tarefa, e o melhor avaliador é selecionado via votação majoritária de LLM.
Saída: Um avaliador fixo e evoluído $E^\star$ que fornece tanto um sinal de aptidão para seleção quanto métricas estruturadas para condicionar futuras revisões de código.

2. Evolução da Política sob Avaliador Fixo
Uma vez que $E^\star$ está fixo, o framework busca pelo programa de política ideal começando de um único candidato elite ( $C_g$ ). Cada geração explora três ramos distintos, sendo que a melhor saída torna-se a elite para a próxima geração:

Subida de Encosta Sequencial (Micro-mutação): Um ramo de busca local que refina iterativamente o candidato aceito atual. Crucialmente, ele mantém uma memória ( $H$ ) de resumos de edição de propostas rejeitadas. Esta memória condiciona o LLM a evitar a repetição de edições falhas, guiando a busca para longe de mínimos locais conhecidos.
Macro-mutação: Edições independentes e de grande escala aplicadas diretamente ao candidato elite da geração para introduzir mudanças estruturais significativas.
Cruzamento (Crossover): Uma recombinação dos melhores candidatos dos ramos de subida de encosta e macro-mutação, permitindo a combinação de estratégias executáveis parciais.

O mecanismo de seleção é elitista: o candidato com o maior score de aptidão ( $F$ ) dos três ramos é selecionado como a próxima elite ( $C_{g+1}$ ).

Principais Contribuições

O artigo identifica quatro contribuições primárias:

Framework Memético de Elite Única: Um método de busca para programas de política executáveis que combina unicamente melhoria local sequencial (com memória de propostas rejeitadas), macro-mutação e cruzamento.
Estágio de Evolução do Avaliador: Uma fase de pré-busca que produz um avaliador fixo capaz de fornecer tanto aptidão escalar para seleção quanto feedback de execução estruturado para condicionar revisões de código.
Avaliação Empírica: Testes abrangentes em dois domínios de longo horizonte (Robosuite e AI2-THOR), incluindo estudos de ablação sobre geração zero-shot, evolução de avaliador e operadores de busca, bem como testes de generalização para geometrias de objetos e cenas não vistas.
Transferência Sim-to-Real: Um implante físico da política Robosuite evoluída em um robô Franka, demonstrando a viabilidade de transferir o código evoluído em simulação para ambientes do mundo real.

Resultados Experimentais

O MEMENTO foi avaliado no Robosuite Franka Tower-of-Hanoi e na interação doméstica AI2-THOR, comparando-o com as bases adaptadas Eureka e REvolve.

Desempenho: O MEMENTO superou significativamente as bases. No Robosuite, alcançou uma taxa de sucesso de 0,97 ± 0,06 comparado a 0,53 ± 0,12 para o REvolve e 0,00 para o Eureka. No AI2-THOR, o MEMENTO alcançou 1,00 ± 0,00 de sucesso, enquanto o REvolve alcançou 0,40 ± 0,10 e o Eureka 0,00.
Generalização: As políticas evoluídas demonstraram forte generalização. No Robosuite, as políticas transferiram de objetos cúbicos para objetos assimétricos e cilíndricos. No AI2-THOR, as políticas treinadas em três cozinhas generalizaram com sucesso para 26 cozinhas não vistas.
Estudos de Ablação:
- A geração zero-shot falhou em resolver ambos os domínios (0% de sucesso), provando a necessidade da busca evolutiva.
- Avaliadores não evoluídos (avaliadores LLM zero-shot) falharam em guiar as políticas para a conclusão da tarefa, destacando a necessidade da evolução do avaliador para alinhar o feedback com o sucesso de longo horizonte.
- Remoção de operadores: A remoção de qualquer um dos ramos de cruzamento ou de macro-mutação resultou na falha em resolver as tarefas, indicando que tanto o refinamento local quanto a variação/recombinação global são necessários.
Sim-to-Real: A melhor política do Robosuite foi implantada em um robô Franka físico, alcançando uma taxa de sucesso de 0,90 em 10 tentativas, com a única falha atribuída a um erro de percepção.

Significância e Alegações

O artigo afirma que o MEMENTO aborda as limitações da evolução de código-como-política existente integrando a busca local guiada por memória com variação evolutiva. Os autores argumentam que:

A memória é crítica: Reter um histórico de edições rejeitadas evita que o LLM cicle através das mesmas modificações falhas, permitindo uma subida de encosta eficaz em espaços de código complexos.
A evolução do avaliador é essencial: Um avaliador fixo e evoluído fornece um sinal mais rico e alinhado do que um avaliador estático ou zero-shot, o que é crucial para guiar a busca em ambientes de recompensa esparsa e longo horizonte.
A busca híbrida é superior: A combinação de micro-mutações (refinamento local), macro-mutações (exploração global) e cruzamento (recombinação) é necessária para resolver tarefas que nem a busca puramente local nem a evolução baseada puramente em população conseguem resolver sozinhas.

O trabalho conclui que a busca memética guiada por memória é um mecanismo viável para melhorar políticas incorporadas executáveis usando feedback de execução esparso, atravessando com sucesso o hiato entre a simulação e a realidade.