When Not to Write Memory: Governing False Promotion from Correlated Agent Traces

Resumo Técnico: Quando Não Escrever na Memória: Governando a Promoção Falsa de Traços de Agentes Correlacionados

Declaração do Problema
À medida que agentes de linguagem de longa duração geram cada vez mais memórias reutilizáveis a partir de seus próprios traços de execução, um modo de falha crítico de segurança emergiu: a promoção falsa. O problema central é que observações repetidas através de múltiplos agentes não são necessariamente evidências independentes. Uma afirmação repetida por cinco agentes pode representar cinco descobertas independentes, ou pode representar uma nota obsoleta, um artefato de prompt compartilhado, uma fonte copiada ou um eco induzido por ferramenta. Promover ingenuamente tais repetições correlacionadas para a memória de longo prazo cria uma camada de persistência para erros correlacionados. O artigo enquadra o desafio não como o que lembrar, mas quando recusar a escrita de memória, abordando especificamente a governança de caminhos de escrita para traços de múltiplos agentes correlacionados.

Metodologia: GovMem
Os autores introduzem o GovMem, uma política de referência diagnóstica conservadora e um auditor de agente lateral projetado para governar caminhos de escrita de memória. Em vez de tratar a escrita de memória como um problema de sumarização, o GovMem a enquadra como uma decisão de governança de evidências. O sistema opera como um auditor independente de tarefas que intercepta memórias candidatas antes que elas alcancem o armazenamento de longo prazo.

O pipeline do GovMem executa quatro etapas:

1. Agregação de Candidatos: Ele agrega observações com textos de afirmação semelhantes, retendo metadados de proveniência (fonte, família de prompts, evento pai, ambiente, confiança).
2. Estimativa de Suporte Consciente de Dependência: Em vez de contar frequências brutas ou fontes únicas, ele agrupa observações por estrutura de dependência. Observações que compartilham prompts, ferramentas, contexto intermediário ou eventos pais são tratadas como não independentes e não contam como votos separados.
3. Recuperação de Contraexemplos e Atribuição de Escopo: Ele recupera potenciais contraevidências e verifica a compatibilidade de escopo do alvo, reconhecendo que o acordo textual por si só é um sinal de confiança não calibrado.
4. Roteamento de Decisão: Com base na verificação consciente de dependência, ele emite uma de três decisões: PROMOVER (PROMOTE), REJEITAR (REJECT) ou NECESSITA-DE-REVISÃO (NEEDS-REVIEW).

Principais Contribuições

1. Identificação do Modo de Falha: O artigo identifica a "promoção falsa" proveniente de observações copiadas, correlacionadas a prompts, obsoletas, adversárias e fora de escopo como um modo de falha de memória distinto e crítico.
2. Formulação de Governança: Ele reformula a escrita de memória como um problema de governança de evidências, roteando candidatos para promover, rejeitar ou revisar com base em proveniência e dependência, em vez de qualidade de sumarização.
3. Implementação do GovMem: Ele instancia isso como uma política de agente lateral conservadora que audita propostas de escrita usando suporte consciente de dependência, contraevidência e verificações de escopo.
4. Avaliação Abrangente: Os autores fornecem experimentos de mecanismo controlado (GovMem-Bench), uma avaliação de traço real humano-padrão ouro interna e testes de estresse externos, incluindo um pacote de alto impacto adjudicado por humanos.

Resultados Experimentais
A avaliação abrange benchmarks sintéticos, traços reais internos e testes de estresse de agentes de codificação externos.

• Testes Sintéticos Controlados (GovMem-Bench): Nas configurações padrão, o GovMem-Verified reduziu a taxa de promoção falsa de 0,597 (baseline de frequência bruta) para 0,040, mantendo um recall de 0,960. Isso ocorreu com um ônus de revisão explícito de 0,151.
• Avaliação de Traço Real Interno: Em um subconjunto rotulado por humanos de 120 candidatos de 79 traços, a promoção consciente de dependência reduziu a promoção falsa de 0,371 (baseline de fonte+escopo) para 0,032. No entanto, esse ganho de segurança exigiu um aumento significativo no ônus de revisão (de 0,042 para 0,692) e uma queda no recall direto (de 0,985 para 0,448).
• Testes de Estresse Externos (V2 High-Impact Packet): Uma adjudicação humana final de 133 candidatos de alto impacto de agentes de codificação externos yielded um resultado severo: zero candidatos foram considerados seguros para promoção automática. Notavelmente, todos os 11 candidatos que passaram por um portão de verificação local foram rejeitados por adjudicadores humanos como boilerplate, artefatos de ferramentas compartilhadas, dumps de arquivos ou traços de depuração não reutilizáveis.
• Comparações de Baseline: Um baseline de "revisar-todos-os-correlacionados" (roteando toda a evidência não independente para humanos) teve um desempenho surpreendentemente bom, quase igualando a segurança do GovMem com melhor recall e menor ônus no cenário interno, sugerindo que o GovMem é um ponto de design específico em um espaço de controle de risco, em vez de uma solução universalmente dominante.

Significância e Alegações
O artigo posiciona-se explicitamente como um artigo de diagnóstico e método, em vez de uma validação de um escritor de memória automática geralmente eficiente.

• Alegação de Segurança Diagnóstica: A principal contribuição é demonstrar que caminhos de escrita governados, que tratam a repetição como evidência correlacionada exigindo verificações de proveniência e escopo, podem reduzir significamente a promoção falsa.
• Limitações na Automação: Os autores alertam que a promoção automática permanece frágil quando a evidência de verificação é extraída de traços de agentes ruidosos. Os resultados externos mostram que pistas de verificação de superfície (ex: saída do pytest, listagens de arquivos) são frequentemente insuficientes para escritas de memória seguras.
• Espaço de Design: O GovMem é apresentado como um ponto em um espaço de design de controle de risco, enfatizando proveniência explícita e decisões conservadoras. O artigo argumenta que os caminhos de escrita de memória de agentes devem ser avaliados como sistemas de governança de evidências controlados por risco.
• Requisitos Futuros: Os autores afirmam que alegações mais fortes sobre a escrita de memória automática requerem cobertura externa rotulada de forma independente mais ampla, evidências de danos a jusante executados e verificação de nível de evento mais forte, nenhum dos quais está totalmente estabelecido neste trabalho.

Em resumo, o artigo argumenta que "repetição não é evidência" para memória de longo prazo e propõe um framework de governança para filtrar erros correlacionados, ao mesmo tempo em que reconhece que os mecanismos atuais de promoção automática ainda não são robustos o suficiente para implantação sem revisão humana significativa ou validação adicional.