Manufactured Confidence: How Memory Consolidation Turns Hearsay into Confident Facts

Resumo Técnico: Confiança Fabricada

Declaração do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de sistemas de memória comprimida (ex: mem0, LangMem) para carregar conclusões através de etapas e sessões. Esses sistemas extraem "fatos" do histórico de conversação para um repositório recuperável. O artigo identifica um modo de falha crítico onde esse processo de consolidação "fabrica confiança". Especificamente, produtos de memória reescrevem observações casuais e cautelosas (ex: "um usuário mencionou que Alice provavelmente foi promovida") em asserções datadas e confiantes (ex: "Autorização de Alice: ADMIN").

Uma vez que o enquadramento tentativo e a fonte são removidos durante a compressão, as etapas subsequentes do agente tratam essas asserções reescritas como fatos verificados. O agente não consegue re-derivar a conclusão ou se autocorrigir porque a fonte original foi perdida. Isso leva a uma cascata silenciosa onde uma única observação obsoleta ou incorreta propaga decisões errôneas e confiantes através de um loop de múltiplas etapas. O fenômeno ocorre naturalmente quando uma observação outrora verdadeira torna-se obsoleta sem uma correção no contexto, e pode ser instrumentalizado via uma única frase injetada que o sistema de memória "lava" em um registro autoritativo.

Metodologia
Os autores construíram um aparato de avaliação controlado para isolar os mecanismos de consolidação de memória e tomada de decisão do agente.

• Configurações: O estudo utilizou dois agentes de decisão realistas: um agente de aprovação de orçamento e um agente de controle de acesso. Uma terceira configuração envolveu o cálculo de um total acumulado para medir o "raio de explosão" dos erros.
• Modelos: Os experimentos foram conduzidos em cinco modelos de quatro provedores: claude-sonnet-4-6, claude-haiku-4-5, gpt-4o-mini, llama-3.1-70b e qwen-2.5-72b. Todas as execuções usaram temperatura 0 para garantir saídas determinísticas.
• Backends de Memória: O estudo comparou dois produtos de consolidação comercial (mem0, LangMem) contra um controle que armazena os turnos de conversa literalmente (LangChain's VectorStoreRetrieverMemory).
• Enquadramentos: A mesma afirmação falsa ("Alice é admin") foi apresentada sob sete enquadramentos distintos:
  1. Assertivo: Fato direto ("A autorização de Alice é admin").
  2. Atribuído: "Um usuário afirma..."
  3. Autoridade Forjada: "Sistema de registro."
  4. Cautela (Modalidade): "Provavelmente," "pode ser."
  5. Cautela (Hearsay/Evidencial): "Diz-se por aí," "segundo relatos."
  6. Tag Passiva: "Registrado, não verificado."
  7. Desconfiança Ativa: "Não confie nisso."
• Métricas: As métricas primárias foram a taxa de concessão não autorizada (para controle de acesso), a taxa de decisão errada (para orçamento) e a "taxa de lavagem" (com que frequência o repositório reescreve uma injeção cautelosa em um fato confiante).

Resultos Principais

1. Confiança sobre a Fonte: Os agentes obedecem ao status epistêmico do fraseamento, não à fonte. Uma asserção pura, uma afirmação atribuída e até mesmo uma reivindicação forjada de "sistema de registro" resultam em taxas de concessão idênticas (aprox. 0,81 entre os modelos). O agente é cego à proveniência; ele responde à confiança da asserção.
2. O Ponto Cego (Hearsay): Embora as cautelas de modalidade ("provavelmente") e as tags explícitas de não-verificação sejam frequentemente respeitadas, marcadores de evidência como "segundo relatos" ou "diz-se por aí" são tratados como asserções diretas pela maioria dos modelos. Este "ponto cego de hearsay" é consistente entre fornecedores e níveis de capacidade, com apenas os modelos mais fortes (ex: gpt-5.4) mostrando um desconto significativo.
3. Falha de Tags Passivas: Uma tag passiva de "não verificado" anexada a um registro confiante é amplamente ignorada. O agente computa com o valor em vez de abster-se.
4. Falha de Desconfiança Ativa: Uma instrução ativa de "não confiar" nesta memória força o agente a escalar cada decisão, efetivamente abdicando de sua função em vez de discriminar entre memória boa ou má.
5. O Papel da Consolidação: A "fabricação" de confiança é uma propriedade da etapa de extração de fatos da consolidação, não do mecanismo de embedding ou recuperação. Repositórios literais (que preservam o fraseamento cauteloso original) impedem o ataque, enquanto produtos de consolidação (mem0, LangMem) reescrevem entradas cautelosas em fatos confiantes 100% das vezes.
6. Redundância como Única Correção Robusta: Quando uma fonte redundante e autoritativa (ex: uma busca em diretório) é introduzida, o agente pode discriminar e corrigir o erro. Sem uma segunda fonte, nenhuma anotação ou instrução pode restaurar a tomada de decisão correta.

Principais Contribuições

• Diagnóstico de uma Falha Silenciosa: O artigo isola uma falha de implantação onde a compressão de memória remove a incerteza, fazendo com que agentes ajam sobre informações obsoletas ou injetadas com alta confiança.
• Invariância de Fonte: Demonstra que os agentes são indiferentes à fonte de uma memória (forjada ou real) e são movidos apenas pela confiança do fraseamento.
• Limitação das Defesas Atuais: Mostra que estratégias de mitigação padrão (tags passivas, instruções de desconfiança ativa) falham em fornecer confiança seletiva; elas ou falham em interromper a cascata ou forçam a abdicação total.
• A Restrição de "Carga de Trabalho": O artigo estabelece que uma única entrada de memória não pode ser de carga (load-bearing) para decisões consequentes. Uma fonte redundante é necessária para restaurar a discriminação.

Significância e Alegações
O artigo alega que a vulnerabilidade primária não é a injeção de dados falsos, mas a reescrita de dados tentativos em fatos confiantes pelos produtos de memória. Esta "confiança fabricada" transforma boatos em fatos acionáveis.

Os autores posicionam seu trabalho como um diagnóstico e um limite, em vez de uma defesa abrangente. Eles argumentam que:

• A higiene do lado do repositório é necessária, mas insuficiente: Preservar o status epistêmico "conforme declarado" (mantendo cautelas e atribuições) durante a etapa de registro é a correção arquitetônica correta. No entanto, isso não é uma defesa contra um atacante adaptável que pode fornecer confiança diretamente (ex: forjando uma reivindicação de "sistema de registro").
• Restrição Operacional: A lição aplicável é que nenhuma memória única pode ser de carga. Decisões corretas diante da incerteza da memória exigem uma fonte redundante para verificação.
• Escopo: Os achados são específicos para loops de decisão informados por memória. O artigo não pretende resolver a alucinação geral, mas aborda especificamente o efeito cumulativo da consolidação de memória na confiabilidade do agente.

Os autores disponibilizam um aparato e demonstrações para permitir que a comunidade teste essas descobertas, enfatizando que a vulnerabilidade é uma propriedade das arquiteturas de memória atuais, e não uma falha de um fornecedor específico.