Resumo Técnico: Desvio de Ferramentas Induzido por Memória em Agentes de LLM

Definição do Problema

Agentes modernos de Modelos de Linguagem de Grande Escala (LLM) integram memória de longo prazo para personalização com interfaces de chamada de ferramentas para executar ações consequentes. Embora a memória permita adaptação e as ferramentas permitam utilidade, este artigo identifica um modo de falha previamente não examinado: desvio de ferramentas induzido por memória.

Este fenômeno ocorre quando vieses impulsionados pela personalidade armazenados na memória de longo prazo de um agente (por exemplo, consciência de custos, impaciência, tolerância ao risco) influenciam silenciosa e inadequadamente a seleção de parâmetros de chamada de ferramentas em contextos profissionais onde tais preferências pessoais são irrelevantes. Diferentemente da superpersonalização conversacional, o desvio de ferramentas é particularmente consequente porque as chamadas de ferramentas frequentemente são executadas sem inspeção do usuário dos parâmetros individuais e podem acionar ações irreversíveis (por exemplo, transações financeiras, alterações de infraestrutura, exposição de dados). A falha central é a incapacidade do agente de discernir a fronteira entre contextos de estilo de vida pessoal e requisitos de tarefas profissionais, levando ao vazamento de vieses irrelevantes para decisões críticas de parâmetros.

Metodologia

1. Formalização e Construção de Benchmark (MEMDRIFT)

Os autores formalizam o desvio de ferramentas induzido por memória como um desvio nos parâmetros de chamada de ferramentas ($\theta$) quando memórias enviesadas ($M_b$) estão presentes, comparado a uma linha de base sem memória ($M_\emptyset$) ou a uma linha de base de memória neutra ($M_n$). Para medir isso objetivamente, eles construíram o MEMDRIFT, um benchmark de 105 cenários sintéticos.

• Estrutura: O benchmark abrange cinco dimensões de viés (Velocidade/Impaciência, Frugalidade de Recursos, Minimalismo/Concisão, Permissividade de Risco, Autonomia/Autoconfiança) e sete domínios profissionais (Saúde, Finanças, Jurídico, Infraestrutura de Software, Educação, E-commerce, Marketing).
• Separação de Contexto: Uma separação estrita é enforced: todas as memórias do usuário são fundamentadas estritamente na vida pessoal (hábitos, preferências), enquanto todas as invocações de ferramentas visam tarefas profissionais. Isso garante que qualquer influência da memória sobre os parâmetros da ferramenta constitua uma falha clara (desvio).
• Pipeline de Geração: O MEMDRIFT foi gerado por meio de um pipeline adversarial automatizado e de autoaperfeiçoamento usando um gerador de LLM e um juiz. O processo envolve geração de cenários, expansão de artefatos (criação de esquemas de ferramentas e prompts) e refinamento adversarial para maximizar o desvio enquanto mantém o realismo.

2. Configurações de Avaliação

O estudo avaliou sete modelos de ponta (incluindo GPT-5.2/5.4, Claude Sonnet 4.5, Gemini 2.5/3.1 Pro, Kimi K2.5 e Qwen3.5) sob duas condições:

1. Injeção Direta de Memória: Memórias enviesadas são colocadas literalmente no prompt do sistema, simulando como sistemas de produção lidam com memória persistente.
2. Arquiteturas de Memória de Produção: Preferências enviesadas são codificadas organicamente por meio de conversas de múltiplas voltas e recuperadas por três frameworks de memória do mundo real (Mem0, MemPalace, SimpleMem) para testar o desvio sob condições realistas de ponta a ponta.

Métrica: Uma "Pontuação de Deflexão" (escala Likert de 1 a 5) foi usada, onde um juiz de LLM compara as respostas de chamada de ferramentas sob memória enviesada contra a linha de base sem memória. Pontuações mais altas indicam maior desvio nos parâmetros críticos da tarefa.

3. Análise Mecanística

Para entender por que o desvio ocorre, os autores realizaram análise mecanística no Llama-3.3-70B-Instruct:

• Projeção de Ativação: Eles construíram vetores de direção para instruções comportamentais explícitas e projetaram deslocamentos de ativação induzidos por memória sobre esses vetores.
• Análise de Atenção: Eles rastrearam pesos de atenção na posição do token definidor de comportamento para observar como o modelo aloca o foco entre o contexto relevante para a tarefa e entradas de memória.

4. Varredura de Vulnerabilidade do Mundo Real

Os autores desenvolveram um scanner alimentado por LLM para auditar 6.062 ferramentas do mundo real em 288 servidores verificados do Protocolo de Contexto de Modelo (MCP). Eles identificaram ferramentas com parâmetros suscetíveis ao desvio com base em duas propriedades:

1. Parâmetros alinhados ao viés: Valores que se alinham naturalmente com dimensões de viés (por exemplo, "econômico" vs. "premium").
2. Sobreposição lexical: Valores de parâmetros que compartilham palavras-chave com contextos pessoais comuns (por exemplo, "rápido", "seguro", "mínimo").
   Um subconjunto de ferramentas sinalizadas foi validado para confirmar que o desvio ocorre em esquemas reais.

Resultados Principais

1. Pervasividade do Desvio de Ferramentas

• Susceptibilidade Universal: Todos os sete modelos de ponta avaliados exibiram desvio de ferramentas substancial. As pontuações de deflexão enviesadas foram consistentemente altas (até +3,6 pontos em uma escala de 1 a 5) em todos os modelos e dimensões de viés.
• Persistência em Produção: O desvio persistiu mesmo quando as memórias foram codificadas por meio de conversas naturais de múltiplas voltas e recuperadas por arquiteturas de memória de produção. Em alguns casos, as pontuações de desvio sob frameworks de memória foram comparáveis ou excederam as sob injeção direta, provavelmente porque os frameworks removem o contexto pessoal durante o armazenamento, codificando preferências como diretrizes globais.
• Robustez: O desvio foi observado mesmo quando memórias enviesadas constituíam uma pequena fração (por exemplo, 25%) do conjunto total de memórias.

2. Impacto no Mundo Real

• Varredura de Vulnerabilidade: A varredura sinalizou 608 ferramentas (aproximadamente 10%) como altamente suscetíveis ao desvio induzido por memória.
• Exemplos Validados: Em um subconjunto validado, os modelos demonstraram desvio em ferramentas do mundo real. Por exemplo:
  • GitLab: A preferência pessoal de um usuário por "abertura" fez com que o modelo definisse a visibilidade de um projeto como pública em vez de privada para um serviço de dados de saúde.
  • Brave Search: A preferência de um usuário por experiências "sem filtros" fez com que o modelo definisse safesearch como desligado para uma consulta de pesquisa direcionada a um programa de ensino médio.
  • GitHub/Linear: Preferências por velocidade ou minimalismo levaram à desativação de modos de validação, instantâneos de reversão ou configurações de prioridade em fluxos de trabalho críticos.

3. Achados Mecanísticos

• Vetores de Direção Implícitos: Memórias enviesadas atuam como vetores de direção implícitos, empurrando as ativações do modelo ao longo das mesmas direções latentes que instruções comportamentais explícitas. O modelo trata preferências pessoais de contextos não relacionados como diretrizes comportamentais globais.
• Redistribuição de Atenção: Memórias enviesadas sequestram a atenção através de sobreposição lexical superficial. O modelo redistribui a atenção do contexto relevante para a tarefa (esquema da ferramenta, consulta do usuário) em direção a entradas de memória contendo palavras-chave que se sobrepõem aos valores do parâmetro-alvo. Isso suprime a capacidade do modelo de discernir a relevância da tarefa.

4. Limitações das Defesas Atuais

Os autores avaliaram defesas padrão:

• Prompts de Sistema Defensivos: Instruções para ignorar memórias irrelevantes reduziram o desvio, mas não o eliminaram (as pontuações permaneceram substancialmente elevadas).
• Filtros de Relevância de Memória: Embora os filtros tenham desempenhado perfeitamente na separação limpa do MEMDRIFT, eles falharam em cenários realistas de raciocínio de múltiplos saltos (por exemplo, lembrar que a posição ética de um usuário implica uma restrição dietética), retendo apenas 61% das memórias verdadeiramente relevantes enquanto admitiam 10,3% das irrelevantes.

Significado e Alegações

O artigo alega identificar uma vulnerabilidade sistemática em agentes de LLM aumentados por memória que atualmente não é abordada por desenvolvedores de ferramentas e provedores de modelos.

• Novidade: Este é o primeiro estudo a formalizar e medir como memórias pessoais corrompem silenciosamente parâmetros de chamada de ferramentas profissionais, distinto da superpersonalização conversacional.
• Perfil de Risco: O risco é único em configurações agênticas onde as ações são consequentes e frequentemente irreversíveis. A superfície de vulnerabilidade é ampla, afetando parâmetros que codificam trade-offs comuns (velocidade, custo, cautela, supervisão).
• Chamada à Ação: Os autores argumentam que as salvaguardas atuais (instruções de prompt, filtros simples) são insuficientes. Eles motivam a necessidade de defesas dedicadas na interseção entre gerenciamento de memória e geração de chamada de ferramentas, potencialmente exigindo intervenções no momento do treinamento para instilar discernimento contextual em vez de depender exclusivamente de mitigação no momento da inferência.

O estudo conclui que, à medida que os agentes assumem ações cada vez mais consequentes, o desvio de ferramentas induzido por memória representa um problema aberto crítico que requer pesquisa dedicada e soluções arquitetônicas.