💻 computer science

Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory

Este artigo investiga o desempenho suboptimal de grandes modelos de linguagem em tarefas de tomada de decisão sequencial, como jogos de soma zero, e propõe uma estrutura agêntica com memória de experiência que utiliza reflexão pós-jogo e extração de regras para melhorar o jogo estratégico sem modificar os pesos do modelo.

Autores originais: Jakub Rada (AI Center, Department of Computer Science, Faculty of Electrical Engineering, Czech Technical University in Prague), Viliam Lisý (AI Center, Department of Computer Science, Faculty of Elec

Publicado 2026-08-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jakub Rada (AI Center, Department of Computer Science, Faculty of Electrical Engineering, Czech Technical University in Prague), Viliam Lisý (AI Center, Department of Computer Science, Faculty of Electrical Engineering, Czech Technical University in Prague)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô brilhante e culto a jogar um jogo. Você lhe dá uma biblioteca de todos os livros já escritos, e ele consegue recitar poesia, resolver problemas matemáticos complexos e escrever código. Mas quando você o senta diante de um tabuleiro para um jogo simples como o Jogo da Velha, ele começa a cometer erros bobos. Ele faz um movimento que parece bom na superfície, mas que perde o jogo cinco turnos depois. Este é o mundo dos Modelos de Linguagem de Grande Escala (LLMs): IAs superinteligentes que conseguem conversar e raciocinar, mas que às vezes têm dificuldade quando precisam tomar uma série de decisões onde um único movimento ruim estraga tudo.

A grande questão que os pesquisadores estão fazendo é: Por que isso acontece? O robô é ruim em pensar através dos passos no momento? Ou ele está apenas "alucinando" porque está tentando se lembrar de um jogo que viu em um livro, mas não entende realmente a lógica? Para descobrir, os cientistas usam a tomada de decisão sequencial, que é apenas uma forma sofisticada de dizer "tomar uma cadeia de escolhas onde o resultado de uma escolha altera o tabuleiro para a próxima". Eles testam isso em jogos de soma zero, como xadrez ou damas, onde a vitória de um jogador é a derrota do outro. Esses jogos são perfeitos para testes porque as regras são estritas e podemos usar a matemática para saber exatamente qual é o movimento "perfeito". Se um robô não consegue vencer um programa de computador perfeito no Jogo da Velha, algo está quebrado em seu cérebro.

O Enigma do Gargalo de Raciocínio

Neste estudo, pesquisadores da Universidade Técnica de Tchéquia em Praga decidiram provocar o gigante. Eles pegaram os modelos de IA mais inteligentes disponíveis — variando de modelos menores e eficientes a gigantes de "fronteira" como o GPT-5.4 e o Gemini 3.1 Pro — e os desafiaram a jogar jogos simples: Jogo da Velha, Nim (um jogo com pilhas de pedras) e Lig 4.

Os resultados foram um pouco constrangedores para a IA. Mesmo os modelos mais avançados, que podem resolver problemas matemáticos de nível de competição, jogaram de forma subótima. No Jogo da Velha, onde uma criança humana pode aprender a nunca perder em uma tarde, esses modelos de IA cometeram de quatro a doze erros a cada cem movimentos. No Lig 4, os modelos de "fronteira" perderam quase todos os jogos contra um oponente de computador padrão, muitas vezes colapsando nos primeiros dez movimentos de um jogo que deveria durar quarenta.

Os pesquisadores queriam saber: A IA está apenas esquecendo o jogo? Talvez ela esteja tentando recordar uma estratégia que viu em seus dados de treinamento, mas o jogo parece ligeiramente diferente, então ela fica confusa. Para testar isso, eles aplicaram um truque na IA. Eles mantiveram o jogo exatamente o mesmo por baixo, mas mudaram a "pele" por cima. Transformaram o Jogo da Velha em um "Quadrado Mágico", onde você vence ao escolher três números que somam 15, ou contaram uma "História" sobre atravessar um rio.

Aqui está a reviravolta: A IA não melhorou nem piorou muito. Mesmo quando o jogo era disfarçado como um enigma matemático ou uma história, a IA continuava cometendo o mesmo número de erros. Isso sugere que o problema não é que a IA está esquecendo uma estratégia memorizada ou falhando em entender as regras; é que a IA possui um gargalo de raciocínio no momento. É como um aluno que consegue recitar um livro de história e entende a lógica perfeitamente, mas trava quando é solicitado a resolver um simples enigma de lógica na hora, porque não consegue conectar a situação atual ao próximo passo correto. A lacuna entre o que a IA sabe e o que ela consegue fazer em um ambiente em constante mudança é real e persistente.

A Solução: Um Caderno "Reflexivo"

Como o retreinamento desses modelos de IA massivos é caro e arriscado (pode fazê-los esquecer como escrever código ou falar), os pesquisadores perguntaram: Podemos ajudar a IA sem mudar seu cérebro?

Eles construíram um novo framework chamado REAPER (Reflective Experiential Agent with Periodic Extraction of Rules - Agente Experiencial Reflexivo com Extração Periódica de Regras). Pense no REAPER não como um novo cérebro, mas como um caderno inteligente e um treinador rigoroso sentado ao lado da IA.

Veja como funciona:

O Jogo: A IA joga um jogo contra um oponente.
A Reflexão: Após o fim do jogo, a IA não olha apenas para o placar final (Vitória/Derrota). Em vez disso, o sistema REAPER força a IA a olhar para cada movimento que ela fez. Ela pergunta: "Este movimento foi bom para o tabuleiro naquele momento? Isso me ajudou a vencer ou me prejudicou?"
A Atribuição de Crédito: Esta é a parte mágica. Em um jogo normal, se você perde, pode pensar que todos os movimentos foram ruins. Mas o REAPER diz: "Espere, você fez um ótimo movimento no meio do jogo, embora tenha perdido no final". Ele atribui crédito aos bons movimentos e culpa aos movimentos ruins, mesmo que o resultado final seja uma derrota.
O Livro de Regras: A cada poucos jogos, o REAPER pega todas essas reflexões e as escreve como regras simples em linguagem natural. Em vez de apenas lembrar "O movimento X foi bom neste lugar específico", ela aprende "Se o oponente ameaçar um canto, bloqueie-o".
O Ciclo: A IA joga novamente, mas desta vez ela lê seu próprio caderno de regras e erros passados antes de fazer um movimento.

Os Resultados: Mais Inteligente, Não Mais Forte

Os pesquisadores testaram isso no Jogo da Velha usando um modelo de IA menor e eficiente (GPT-5 nano). Os resultados foram claros:

A Linha de Base: Sem o caderno, a IA jogava mal, cometendo muitos erros.
A Tentativa "Original": Eles tentaram uma versão simples do caderno, mas era muito desorganizada e a IA continuava cometendo erros de formatação.
O Sucesso do REAPER: Com o sistema completo de reflexão e extração de regras, o desempenho da IA saltou. Ela começou a empatar jogos (o melhor resultado possível contra um oponente perfeito) cerca de 86,8% das vezes, comparado a 81,8% da linha de base melhorada.

Crucialmente, a IA não precisou ser retreinada. Ela aprendeu puramente através de sua própria experiência, assim como um jogador humano que estuda seus jogos passados para melhorar. Os pesquisadores descobriram que esse método não apenas fez a IA jogar melhor, mas também a tornou mais eficiente, usando menos palavras (tokens) para tomar suas decisões, pois agora tinha uma estratégia clara para seguir.

O Que Isso Significa

Este artigo sugere que o problema da IA em jogos não é que elas não sejam inteligentes o suficiente para entender as regras; é que elas têm dificuldade em conectar uma longa cadeia de ações a um resultado final. Ao dar a elas uma maneira de refletir sobre seus erros e extrair regras gerais de jogos específicos, podemos transformar um jogador desajeitado em um estrategista sem tocar em uma única linha de seu código.

Os pesquisadores ressaltam cautelosamente que isto é uma simulação em jogos simples. Eles não afirmam que isso resolve todos os problemas de IA ou que funcionará perfeitamente em cenários complexos do mundo real ainda. Mas prova um ponto vital: A memória da experiência e a autorreflexão são ferramentas poderosas. Se pudermos ensinar a IA a olhar para trás para o que fez, aprender com isso e escrever as lições, poderemos construir agentes que não apenas "pensam" no vácuo, mas que realmente aprendem com o mundo ao seu redor.

Resumo Técnico: Rumo à Melhoria da Tomada de Decisão Sequencial em Agentes de LLM via Memória de Experiência

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado melhorias substanciais em tarefas de raciocínio de disparo único (single-shot), seu desempenho em tomada de decisão sequencial permanece pouco compreendido e frequentemente subótimo. Essa lacuna é particularmente evidente em ambientes que são não estacionários, adversariais e que apresentam recompensas atrasadas. Os benchmarks atuais dependem frequentemente de juízes de LLM ou métricas de aproximação que confundem a qualidade do raciocínio com a plausibilidade superficial, tornando difícil medir a verdadeira competência estratégica.

Os autores investigam essa lacuna utilizando jogos determinísticos, de informação perfeita e de dois jogadores com soma zero (Jogo da Velha, Nim e Connect Four). Esses domínios fornecem uma avaliação de verdade fundamental (ground-truth), onde os resultados são determinados por regras e a otimalidade dos movimentos pode ser computada exatamente. O estudo revela que mesmo modelos de fronteira (ex: GPT-5.4, Gemini 3.1 Pro) jogam de forma subótima em jogos simples, perdendo frequentemente para oponentes de Monte Carlo Tree Search (MCTS) moderados. Crucialmente, essa falha persiste mesmo quando as regras do jogo são ofuscadas para preservar a árvore de jogo subjacente enquanto se altera a representação superficial, sugerindo que o problema não é meramente uma falta de estratégias memorizadas, mas um gargalo fundamental de raciocínio no tempo de decisão.

Metodologia

1. Estrutura de Avaliação: PlyBench

Para avaliar rigorosamente um amplo espectro de jogadores, os autores desenvolveram o PlyBench, um framework modular construído sobre o OpenSpiel.

Adaptadores: Utiliza um Adaptador de Interface para traduzir estados/ações do OpenSpiel para uma representação unificada e um Adaptador de LLM para converter isso em prompts baseados em texto.
Oponentes: Os modelos são testados contra três oponentes: Aleatório, MCTS (com orçamentos de simulação limitados) e um oponente Ótimo (Minimax).
Ofuscação: O framework testa a robustez aplicando transformações de regras de nível superficial (ex: mapear o Jogo da Velha para um Quadrado Mágico ou uma história narrativa) que preservam a árvore de jogo, mas alteram a descrição em linguagem natural.

2. Diagnóstico Empírico

O estudo avaliou os modelos através de três níveis de capacidade (Eficiente, Intermediário, Fronteira).

Descobertas: Modelos Eficientes e Intermediários perderam de 4 a 12 movimentos ótimos por cada 100 no Jogo da Velha. Modelos de Fronteira, embora próximos da otimalidade no Jogo da Velha e no Nim, colapsaram em 10 movimentos no Connect Four contra o MCTS.
Resultados de Ofuscação: O desempenho permaneceu amplamente invariante entre as ofuscações. Os modelos frequentemente identificavam o jogo subjacente mesmo com regras disfarçadas, mas ainda assim cometiam erros. Isso indica que as falhas são propriedades estáveis do engajamento do modelo com as posições, e não artefatos de representações específicas ou falhas simples de recuperação de memória.

3. Solução Proposta: REAPER

Motivados pela incapacidade do ajuste fino (fine-tuning) padrão (devido ao custo e ao risco de regressão de capacidade) e pelas limitações dos métodos existentes de raciocínio baseado em casos (projetados para tarefas estacionárias, não para jogo sequencial adversarial), os autores introduzem o REAPER (Reflective Expercial Agent with Periodic Extraction of Rules).

O REAPER é um framework agêntico que mantém o LLM como o raciocinador primário, mas o aumenta com uma memória de experiência externa projetada para configurações sequenciais. Ele aborda dois desafios específicos:

Atribuição de Crédito: Em jogos sequenciais, as recompensas são atrasadas até o fim do episódio. Métodos padrão atribuem uma única recompensa terminal a toda a trajetória. O REAPER introduz um Auto-Refletor que analisa a trajetória completa pós-jogo para atribuir crédito por movimento. Ele pontua os movimentos em dois eixos: qualidade local (o movimento foi sólido dado o estado?) e contribuição para o resultado (ele ajudou ou prejudicou o resultado final?). Isso permite que um movimento localmente sólido em um jogo perdido seja registrado como um exemplo positivo.
Generalização: Para evitar aprender apenas a partir dos estados encontrados, o REAPER inclui um Extrator de Regras. Periodicamente, ele destila os casos refletidos em um conjunto compacto de regras estratégicas em linguagem natural. Essas regras são inseridas no prompt do planejador, permitindo que o agente aplaque princípios aprendidos a estados não vistos.

O framework opera via um loop Planejador-Executor com comunicação estruturada em JSON para garantir o processamento robusto de ações, um recurso ausente em adaptações anteriores do trabalho como o Memento.

Principais Resultados

Experimentos foram conduzidos no Jogo da Velha usando o GPT-5 nano (esforço de raciocínio médio) contra um oponente Ótimo.

Falha da Linha de Base: Uma versão direta do framework Memento (Original) falhou em produzir um agente utilizável devido a erros de processamento e formatação frágil, resultando em uma taxa de empate de 0%.
Linha de Base de Engenharia: Uma versão refinada com saídas estruturadas e deduplicação de memória (Baseline) alcançou uma taxa média de empate de 0,818.
Desempenho do REAPER: O framework completo REAPER, incorporando reflexão e extração de regras, melhorou a taxa média de empate para 0,868. Este ganho foi estatisticamente significativo ( $p=0,018$ ) em comparação com a Baseline.
Ablação de Componentes:
- Adicionar a extração de regras à reflexão pura melhorou a taxa de empate de 0,826 para 0,868 ( $p=0,039$ ).
- A otimalidade por movimento melhorou de 0,959 para 0,970 ( $p=0,027$ ).
Eficiência: Contrariando a intuição de que mais raciocínio requer mais tokens, o REAPER reduziu o uso de tokens de saída por movimento ao longo do treinamento, terminando abaixo tanto da Baseline quanto da referência de chamada única. Isso sugere que a melhoria provém de um contexto de decisão mais útil, e não de rastros de raciocínio mais longos.

Significância e Alegações

O artigo alega que a memória de experiência externa pode melhorar agentes de LLM em tomada de decisão sequencial sem modificar os pesos do modelo.

Diagnóstico: O estudo estabelece que a lacuna no raciocínio sequencial é uma propriedade persistente e invariante de representação dos atuais LLMs, não meramente uma falha de recuperação.
Mecanismo: Demonstra que a reflexão por movimento (resolvendo o problema da atribuição de crédito em configurações de recompensa atrasada) e a extração de regras (generalizando a partir de casos específicos) são mecanismos eficazes para fechar essa lacuna.
Praticidade: A abordagem oferece um caminho viável para implantar agentes autônomos confiáveis em ambientes adversariais sem o custo proibitivo do ajuste fino de modelos de fronteira.

Os autores mantêm a modéstia quanto à escalabilidade, observando que, embora o REAPER tenha sucesso em jogos simples e totalmente observáveis, permanece uma questão aberta como a abordagem escala para jogos maiores, horizontes mais longos e observabilidade parcial. O trabalho posiciona o REAPER como um passo para reduzir a lacuna entre as capacidades de raciocínio de LLMs e as demandas de tomada de decisão sequencial e adversarial.