Resumo Técnico: Mentir Honestamente: Compreendendo a Confabulação de Memória em Agentes Reflexivos

Definição do Problema

Agentes no estilo Reflexion dependem de reflexões em linguagem natural auto-geradas como memória para aprender com falhas em tentativas repetidas. Essa arquitetura assume implicitamente que os agentes podem diagnosticar com precisão suas próprias falhas. Os autores demonstram que essa suposição falha sistematicamente, levando a um modo de falha denominado confabulação de memória.

A confabulação de memória ocorre quando um agente escreve uma interpretação confiante, porém incorreta, de uma tarefa em sua memória reflexiva e, subsequentemente, age com base nessa crença falsa em múltiplas tentativas, mesmo quando o ambiente é redefinido para a descrição correta da tarefa a cada etapa. Diferente da alucinação padrão (um erro de geração única), a confabulação de memória é uma falha multi-tentativa onde conteúdo falso é armazenado, recuperado, acionado e reforçado por reflexões subsequentes. Os autores postulam que esse fenômeno é impulsionado por feedback binário (sinais de aprovação/reprovação), o que impede que o agente realize um diagnóstico causal preciso de trajetórias de múltiplos passos.

Metodologia

O estudo operacionaliza a confabulação de memória e a avalia em dois domínios: ALFWorld (navegação doméstica) e HumanEval (geração de código).

1. Definições Operacionais

• Confabulação de Memória: Uma reflexão é definida como confabulada se falhar em mencionar o objeto-alvo correto da tarefa ($obj(\tau) \notin r_t$), apesar da descrição da tarefa estar disponível no início de cada episódio.
• Taxa de Repetição de Reflexão (RRR): Uma métrica baseada em logs projetada para detectar memória reflexiva "congelada". Ela mede a proporção de reflexões que são quase-duplicatas (similaridade $\ge 0.85$) de reflexões anteriores. Um ambiente é considerado "congelado" se $RRR \ge 0.5$.
• Categorias de Falha: Ambientes congelados são classificados em:
  • Prejudicial à memória: O agente resolve a tarefa mais rápido sem memória, indicando que as reflexões armazenadas estavam ativamente enganando.
  • Tarefa-difícil: O agente falha mesmo sem memória, indicando uma lacuna de capacidade independente da qualidade da memória.

2. Configuração Experimental

Os autores analisaram logs de execução de Reflexion pré-existentes (usando gpt-3.5-turbo) cobrindo 50 ambientes do ALFWorld e 23 problemas do HumanEval. Eles identificaram 16 ambientes "congelados" do ALFWorld e 4 problemas congelados do HumanEval.

Para estabelecer causalidade, os autores conduziram estudos de ablação onde a memória foi completamente apagada antes de cada tentativa. Eles também testaram duas estratégias de mitigação:

1. Reflexão Fundamentada: Um prompt estruturado exigindo que o agente cite etapas específicas falhas antes de propor um plano.
2. Extração Programática de Feedback: Substituir o auto-diagnóstico aberto por um analisador que extrai sinais específicos de falha (por exemplo, respostas "Nada acontece" no ALFWorld ou erros de afirmação específicos no HumanEval) e os injeta diretamente no prompt de reflexão.

Principais Resultados

Evidência de Confabulação

• ALFWorld: Em 16 ambientes congelados, 0 de 121 reflexões mencionaram o objeto-alvo correto. Os agentes fabricaram identidades de tarefa inteiramente novas (por exemplo, procurando um "tomate" em um "micro-ondas" quando a tarefa era colocar uma "Xícara" em uma "Máquina de Café").
• Correlação: Há uma forte correlação positiva ($r = 0.808, p < 0.0001$) entre a RRR e o número de tentativas necessárias para resolver uma tarefa, sugerindo que a memória congelada é um preditor confiável de falha.
• Padrões Transversais: Domínios com feedback binário em nível de resultado (ALFWorld, WebShop, HotpotQA) exibiram taxas de congelamento significativamente mais altas (32%–82%) em comparação com o HumanEval (17%), onde testes unitários fornecem informações específicas de erro em nível de etapa.

Resultados de Mitigação

• Extração Programática de Feedback: Esta abordagem reduziu significativamente a RRR no ALFWorld de 0,64 para 0,10 e aumentou a taxa de menção do objeto correto de 0% para 86%. Crucialmente, resolveu 3 de 16 ambientes congelados (incluindo um que falhou sob todas as outras condições), enquanto o Reflexion padrão resolveu 0.
• Reflexão Fundamentada: Isso preveniu a confabulação em tarefas solucionáveis do tipo "olhe para o obj" (igualando o desempenho da linha de base sem memória), mas não conseguiu melhorar o desempenho em ambientes "tarefa-difícil".
• HumanEval: A extração programática reduziu a RRR de 0,59 para 0,44 e garantiu que 100% das reflexões mencionassem o tipo específico de erro, embora não tenha podido resolver lacunas subjacentes de capacidade algorítmica (por exemplo, erros de implementação de busca binária).

Capacidade do Modelo vs. Confabulação

A replicação do estudo com gpt-4o-mini revelou que modelos mais fortes eliminam a confabulação de identidade da tarefa (100% de menção correta do objeto), mas não necessariamente resolvem a tarefa se uma lacuna de capacidade existir. O gpt-4o-mini resolveu o mesmo número de ambientes congelados que a linha de base sem memória (2/16), confirmando que prevenir crenças falsas e possuir capacidade de execução são eixos de falha independentes. No entanto, modelos mais fortes introduziram novos tipos de confabulação, como gerar texto de planejamento como ações.

Significado e Alegações

O artigo argumenta que a memória reflexiva pode ativamente reforçar crenças falsas em vez de corrigi-las, particularmente quando o sinal de feedback é binário e carece de granularidade em nível de etapa.

• Hipótese da Granularidade do Feedback: Os autores afirmam que a causa raiz da confabulação é a falta de informação no feedback binário. Sem saber qual etapa falhou, o agente gera diagnósticos plausíveis, mas causalmente incorretos. Feedback mais rico, em nível de etapa (como testes unitários), reduz naturalmente a confabulação.
• Validação do Caminho de Escrita: Os autores concluem que, para sistemas de memória de agentes, a validação do caminho de escrita é tão crítica quanto a qualidade da recuperação. Um sistema de memória que armazena crenças confiantes, que soam plausíveis, mas incorretas, é pior do que não ter memória nenhuma para as tarefas afetadas por essas crenças.
• Vulnerabilidade Estrutural: Este modo de falha não é exclusivo do Reflexion, mas é uma vulnerabilidade estrutural de qualquer arquitetura de agente que dependa de reflexões em linguagem natural auto-geradas baseadas em sinais de falha binários. Isso inclui agentes de biblioteca de regras como o ExpeL, onde uma única regra confabulada pode se tornar enraizada e aplicada globalmente.

O trabalho sugere que o futuro design de agentes deve ir além do auto-diagnóstico aberto em direção à extração programática de sinais de falha para prevenir a "mentira honesta" de agentes que lembram confiantemente suas próprias falhas de forma incorreta.