MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games

O artigo apresenta o MEMO, um framework de auto-jogo que combina retenção de memória e exploração para otimizar o contexto de inferência em modelos de linguagem, reduzindo a variabilidade e aumentando significativamente as taxas de vitória em jogos multiagente de múltiplas rodadas.

O essencial

Imagine que você está organizando um grande torneio de jogos de tabuleiro ou cartas, mas em vez de jogadores humanos, você está usando Inteligências Artificiais (IAs) para jogar. O problema é que, quando essas IAs jogam várias vezes, os resultados mudam muito de uma partida para outra. Às vezes, a IA ganha porque teve "sorte" no início; outras vezes, ela perde porque fez um pequeno erro logo de cara que se agravou com o tempo. É como tentar medir a habilidade de um jogador de xadrez, mas o resultado muda dependendo de como você escreve as regras no papel.

Os autores deste paper criaram uma solução chamada MEMO. Para explicar de forma simples, vamos usar uma analogia: o "Diário de Bordo" de um Capitão Experiente.

O Problema: O "Amnésico" vs. O "Experiente"

1. O jeito antigo (Sem MEMO): Imagine um capitão de navio que, a cada nova viagem, esquece tudo o que aprendeu na anterior. Ele recebe um manual de instruções (o "prompt") e, se errar, ele apenas recebe um novo manual com uma frase diferente, mas sem lembrar por que ele errou antes. Ele repete os mesmos erros, e o resultado da viagem é imprevisível.
2. O jeito novo (Com MEMO): Agora, imagine um capitão que tem um Diário de Bordo muito bem organizado.
   • Ele joga, ganha ou perde.
   • Ao final, ele não joga o jogo fora. Ele escreve no diário: "Hoje aprendi que, se eu oferecer X no início, o oponente fica bravo. Da próxima vez, vou tentar Y."
   • Ele guarda esse conhecimento em um arquivo (a Memória).
   • Na próxima viagem, ele lê o diário antes de sair do porto. Ele já começa sabendo o que funciona e o que não funciona.

Como o MEMO Funciona (A Receita do Sucesso)

O MEMO combina três coisas principais para transformar uma IA amadora em um mestre do jogo:

1. O Torneio (A Arena de Treino):
   A IA joga contra ela mesma (ou contra outras versões de si mesma) milhares de vezes. É como um campeonato interno. O sistema usa um método inteligente (chamado TrueSkill, parecido com o ranking de jogos online) para ver quem realmente é bom e quem só teve sorte.

2. O Diário de Bordo (A Memória Persistente):
   Aqui está a mágica. Depois de cada rodada de jogos, a IA analisa o que aconteceu. Ela não guarda apenas "eu ganhei". Ela extrai lições estruturadas.

   • Exemplo: Em um jogo de negociação, ela aprende: "Oponentes valorizam recursos diferentes. Não assuma que o que é valioso para mim é valioso para eles."
   • Essas lições são guardadas em uma "Banco de Memória". Se uma lição for contraditória ou errada, ela é apagada ou corrigida. Se for boa, ela é refinada.

3. Revisitar os Momentos Decisivos (O Replay Prioritário):
   Às vezes, o jogo tem um momento crucial (uma carta específica, uma oferta de negociação) que decide quem ganha. O MEMO é esperto: ele guarda esses momentos raros e importantes. Na próxima vez, ele força a IA a praticar especificamente nesses momentos difíceis, em vez de jogar apenas o que é fácil e comum.

Por que isso é incrível?

• Economia de Energia: Para aprender a jogar bem, o MEMO precisa de 19 vezes menos jogos do que os métodos tradicionais de aprendizado de máquina (que tentam "aprender" mudando os "cérebros" da IA internamente). É como aprender a dirigir: o MEMO lê o manual e pratica nos pontos difíceis, enquanto o outro método tenta dirigir por 100 anos até acertar.
• Estabilidade: Com o MEMO, o resultado é consistente. Se você rodar o experimento 10 vezes, a IA ganha quase a mesma quantidade de vezes. Sem o MEMO, o resultado varia muito (às vezes ganha, às vezes perde), o que torna difícil saber quem é realmente o melhor jogador.
• Funciona em Jogos Difíceis: O MEMO brilha especialmente em jogos onde você não vê tudo (como Poker, onde você não sabe as cartas do oponente) ou onde precisa negociar (como trocar recursos). Nesses casos, a "memória" das lições passadas é vital.

Resumo em uma Frase

O MEMO é como dar para a IA um caderno de anotações inteligente onde ela guarda as lições de cada jogo, aprende com os erros raros e usa esse conhecimento acumulado para jogar melhor, mais rápido e de forma mais consistente, sem precisar ser reprogramada do zero.

Em vez de apenas "tentar e errar" repetidamente, a IA agora reflete, aprende e evolui com cada partida, tornando-se uma jogadora muito mais robusta e confiável.

Resumo técnico

Título: MEMO: Otimização de Contexto de Modelo Aumentada por Memória para Jogos Robustos Multi-Turno e Multi-Agente com LLMs

1. O Problema

A avaliação de Grandes Modelos de Linguagem (LLMs) em cenários de jogos multi-turno e multi-agente enfrenta dois desafios fundamentais:

• Instabilidade e Variância: Pequenas desvios iniciais nas respostas dos modelos podem se acumular ao longo das interações, levando a trajetórias divergentes. Em jogos com múltiplos agentes, o acoplamento das interações amplifica esses erros, resultando em estimativas de taxa de vitória (win rate) enviesadas e rankings inconsistentes entre execuções repetidas.
• Sensibilidade ao Prompt: A escolha do prompt (contexto) influencia drasticamente o comportamento efetivo do agente. Métodos de otimização de prompt existentes (como Chain-of-Thought estático ou otimização automática para tarefas estáticas) falham em jogos dinâmicos porque não retêm insights entre rodadas, tratando cada otimização como um processo sem memória, o que gera alta variância e desempenho subótimo.

2. Metodologia: O Framework MEMO

O MEMO (Memory-augmented MOdel context optimization) é um framework de self-play (auto-jogo) que otimiza o contexto de inferência (prompts) sem atualizar os pesos do modelo. Ele combina dois pilares principais: Retenção e Exploração.

A. Retenção (Banco de Memória Persistente)

• Extração de Insights: Após cada geração de self-play, o modelo reflete sobre as trajetórias completas (estados, ações e resultados) para extrair insights estruturados (regras, restrições legais, priores estratégicos).
• Operações CRUD: Um banco de memória persistente ($B_{mem}$) armazena esses insights. Novos insights são reconciliados com o banco existente através de três operações:
  1. Adicionar: Se o insight for novo e único.
  2. Remover: Se houver conflito direto com insights existentes (para evitar contradições).
  3. Editar: Se for similar, funde-se para criar uma instrução mais geral e acionável.
• Injeção de Priors: Em gerações subsequentes, uma fração dos agentes recebe uma amostra desse banco de memória como parte do contexto de inferência, permitindo que aprendizados passados guiem o comportamento atual.

B. Exploração (Otimização de Contexto Baseada em Torneio)

• Seleção via TrueSkill: O MEMO mantém uma população de candidatos de prompts. Eles são avaliados em torneios de self-play. Para lidar com a incerteza em jogos limitados, utiliza-se o sistema TrueSkill (uma classificação de habilidade bayesiana) para selecionar prompts com base em um limite inferior de confiança ($\mu - \kappa\sigma$), penalizando a incerteza e favorecendo a robustez.
• Reprodução Prioritária (Prioritized Replay): Para garantir que estados raros ou decisivos sejam revisitados, o framework mantém um buffer de replay ($B_{rep}$) que armazena prefixos de trajetórias. A amostragem é enviesada para trajetórias menos frequentes (baseado em uma pontuação de frequência inversa), permitindo que o modelo aprenda com situações críticas que ocorreram raramente.
• Evolução de Prompts: Novos candidatos são gerados através de:
  1. Propostas Aleatórias: Variações estilizadas para explorar novos espaços.
  2. Atualizações Aumentadas por Memória: Edições diretas no prompt baseadas nos insights extraídos do banco de memória.

3. Principais Contribuições

1. Sensibilidade ao Contexto em Jogos Multi-Agente: O trabalho demonstra empiricamente que pequenas variações de prompt podem alterar rankings de modelos e políticas efetivas, motivando a necessidade de otimização robusta e relatórios de variação de prompt.
2. Framework Unificado de Reflexão, Memória e Replay: Introduz uma arquitetura que permite aos agentes acumular e reutilizar conhecimento entre gerações, em vez de descartá-lo a cada atualização, transformando a otimização de contexto em um processo de aprendizado cumulativo.
3. Ganhos de Eficiência e Estabilidade: O MEMO melhora significativamente as taxas de vitória com um orçamento de interação muito menor que métodos de RL tradicionais, além de reduzir drasticamente a variância entre execuções (run-to-run variance).

4. Resultados Experimentais

Os experimentos foram realizados em cinco jogos baseados em texto (do TextArena e SPIN-Bench), cobrindo negociação, informação imperfeita e informação perfeita.

• Desempenho Superior:
  • Com GPT-4o-mini, a taxa média de vitória aumentou de 25,1% (baseline) para 49,5%.
  • Com Qwen-2.5-7B-Instruct, a taxa subiu de 20,9% para 44,3%.
• Eficiência de Amostragem: O MEMO alcançou esses resultados usando apenas 2.000 jogos de self-play por tarefa. Isso é 19 vezes menos do que os 38.000 jogos necessários para métodos de Reinforcement Learning (RL) como UnstableBaseline.
• Estabilidade (Redução de Variância): O erro padrão relativo (RSE) caiu de 43,3% (baseline) para 6,4% no GPT-4o-mini, indicando rankings muito mais estáveis e confiáveis.
• Generalização:
  • Entre Jogos: Contextos aprendidos em um jogo (ex: SimpleNegotiation) transferiram-se com sucesso para outros jogos (ex: Kuhn Poker), melhorando o desempenho zero-shot.
  • Entre Modelos: Modelos mais fracos (ex: Grok-4-Fast) beneficiaram-se uniformemente do contexto transferido de modelos mais fortes, enquanto modelos já fortes mostraram ganhos mistos (ganho em jogos fracos, perda em jogos onde já eram dominantes).
• Custo Computacional: O MEMO consumiu significativamente menos tokens de saída (apenas 91k tokens em média) comparado a métodos como MIPRO (354k tokens), mantendo desempenho superior.

5. Significado e Conclusão

O artigo demonstra que a otimização de contexto (prompts e memória) é uma alavanca poderosa e subutilizada para melhorar o desempenho de agentes LLM em ambientes complexos e interativos.

• Conclusão Chave: A memória persistente é o componente mais crítico; a exploração sozinha traz ganhos modestos, mas a combinação de exploração estruturada com retenção de insights transforma a otimização de contexto em um processo de aprendizado cumulativo.
• Impacto: O MEMO oferece uma alternativa viável e eficiente ao Reinforcement Learning (que exige atualização de pesos e grandes orçamentos de dados) para melhorar a robustez e a estratégia de LLMs em jogos e cenários de negociação, sugerindo que há um grande potencial de melhoria na performance multi-agente através da otimização de contexto em vez de apenas ajuste de pesos.