Resumo Técnico: MIND (Memory Intent-Aware Neural Denoising)

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) aumentados por memória dependem de sistemas de memória externos baseados em recuperação para lidar com tarefas de longo horizonte. No entanto, esses sistemas são vulneráveis a ataques de injeção de memória, onde adversários manipulam o armazenamento de memória (seja via acesso direto de escrita ou interações indiretas de múltiplos turnos) para injetar registros envenenados. Quando recuperados, esses registros desviam o comportamento do agente da intenção inicial do usuário, levando à falha da tarefa ou saídas prejudiciais.

Os mecanismos de defesa existentes enfrentam duas limitações críticas:

1. Alto Custo Computacional: Defesas baseadas em raciocínio (ex: Auditores LLM) invocam repetidamente LLMs para auditar memórias recuperadas ou monitorar fluxos de interação, causando uma acumulação significativa de latência ao longo de trajetórias longas.
2. Redundância de Informação: Detectores leves que codificam trajetórias completas de múltiplos turnos frequentemente sofrem com informações irrelevantes para a tarefa e redundantes. Essa redundância obscurece os sinais de ataque, dificultando a capacidade de distinguir entre comportamentos benignos e envenenados.

2. Metodologia: MIND

Os autores propõem o MIND (Memory Intent-Aware Neural Denoising), um framework de defesa leve que reformula a defesa de memória como um problema de denoising (redução de ruído) baseado no princípio do Gargalo de Informação (Information Bottleneck - IB).

Observações Principais

Uma análise preliminar revelou dois fenômenos fundamentais:

• Separabilidade: No espaço de representação, trajetórias benignas e envenenadas exibem tendências distinguíveis em relação à relação entre a intenção inicial do usuário e o comportamento subsequente.
• Decaimento de Intenção e Redundância: À medida que os turnos de interação aumentam, a atenção do agente à intenção inicial decai, um processo acelerado por ataques de injeção. Além disso, estados de múltiplos turnos contêm redundância significativa que enfraquece o sinal de intenção.

Arquitetura do Framework

O MIND opera em três estágios:

1. Extração de Representação de Trajetória:

   • Um LLM pré-treinado (ex: Llama-3.1-8B-Instruct) extrai características de nível de turno.
   • A representação para o turno $t$ ($h_t$) é definida como o estado oculto do último token do componente <observation>.
   • A consulta inicial do usuário é representada como $h_0$.
   • Os dados de treinamento são construídos como pares $(x_i, x_{anchor})$, onde $x_i = [h_0; h_t]$ e $x_{anchor} = h_0$, rotulados se a memória recuperada naquele turno foi envenenada ou não.

2. Codificador de Gargalo de Informação (IB) Sensível à Intenção:

   • Em vez de classificar entradas brutas, o MIND comprime a entrada $x_i$ em um espaço latente $z_i$ usando um codificador IB $E$.
   • Objetivo: Minimizar a informação mútua $I(Z; X)$ (compactação) para descartar a redundância irrelevante para a tarefa, enquanto maximiza $I(Z; Y)$ (informatividade) para preservar sinais relevantes à intenção.
   • Compactação: Alcançada minimizando a divergência KL entre a posterior aprendida $q_E(z|x)$ e uma priori Gaussiana isotrópica.
   • Informatividade: Alcançada via uma perda de alinhamento supervisionada. Turnos benignos são puxados em direção à âncora da intenção inicial ($h_0$), enquanto turnos envenenados são empurrados para longe por uma margem, garantindo que o espaço latente preserve a relação entre o comportamento atual e a intenção original.

3. Classificador de Multi-Hiperplano Leve:

   • Uma fronteira de decisão é construída no espaço latente denoisado $z_i$.
   • Em vez de uma única fronteira linear, o MIND utiliza $K$ hiperplanos para formar uma região de decisão por partes (Convex Polytope Machine).
   • Este design captura diversos padrões de ataque que uma única fronteira linear poderia perder. Um turno é classificado como benigno apenas se estiver abaixo de todos os $K$ hiperplanos.

Objetivo de Treinamento

O modelo é otimizado para minimizar uma função de perda combinada:
$$\mathcal{L} = \mathcal{L}_{benign} + \mathcal{L}_{poison} + \beta \mathcal{L}_{KL} + \lambda \mathcal{L}_{align}$$
Onde $\mathcal{L}_{KL}$ impõe a compactação, $\mathcal{L}_{align}$ impõe a separação de intenção, e os dois primeiros termos impõem as restrições de classificação de multi-hiperplano.

3. Principais Contribuições

• Análise: Os autores fornecem evidências preliminares de que ataques de injeção de memória causam um desvio distinguível na relação entre a intenção inicial e o comportamento subsequente, e que esse sinal é obscurecido pela redundância de múltiplos turnos.
• Método: Eles projetam um framework de defesa leve que utiliza um Gargalo de Informação sensível à intenção para filtrar memórias envenenadas sem a necessidade de auditoria repetida de LLM ou codificação de trajetória completa.
• Avaliação: Experimentos extensos demonstram que o MIND melhora o trade-off entre segurança e utilidade, reduzindo as taxas de sucesso de ataque enquanto mantém a precisão da tarefa e a eficiência de inferência comparável a agentes não defendidos.

4. Resultados Experimentais

Experimentos foram conduzidos nos benchmarks ReAct-StrategyQA e MMLU usando quatro modelos de backbone (DeepSeek-V4, GPT-4o-mini, Llama-3.1-8B-Instruct, Qwen3-8B-Instruct) contra ataques como AgentPoison e MINJA.

• Redução de Ataque: No ReAct-StrategyQA, o MIND reduziu a Taxa de Sucesso de Ataque média no estágio de recuperação (ASR-r) em 55,4% e o ASR de raciocínio do Agente (ASR-a) em 55,3% em comparação com agentes não defendidos.
• Precisão da Tarefa: O MIND preservou a precisão média da tarefa (ex: 67,95% no StrategyQA vs. 67,56% para não defendidos) e alcançou a maior precisão média (79,57%) no MMLU entre os métodos de defesa.
• Eficiência: O MIND é computacionalmente eficiente. No StrategyQA, ele rodou 20,6% mais rápido que o baseline de LLM Auditor e 70,4% mais rápido que o A-MemGuard, com um tempo médio de episódio comparável ao agente não defendido.
• Ablação: Remover tanto o codificador IB quanto o classificador de multi-hiperplano degradou o desempenho, confirmando seus papéis complementares na redução de falsos positivos enquanto mantêm a capacidade de detecção.

5. Significância e Alegações

O artigo afirma que o MIND aborda o trade-off fundamental entre segurança e eficiência em agentes aumentados por memória. Ao utilizar o Gargalo de Informação para filtrar informações redundantes e focar na relação intenção-comportamento, o MIND evita o overhead computacional da auditoria repetida por LLM e a diluição de sinal causada pela codificação de trajetória completa.

Os autores posicionam o MIND como uma solução prática para tarefas de longo horizonte onde manter baixa latência é crítico, demonstrando que uma defesa eficaz contra injeção de memória não requer auditoria cara baseada em raciocínio, se a dinâmica subjacente de intenção-comportamento for devidamente modelada e filtrada de ruído.