Resumo Técnico: MAGE – Salvaguardando Agentes LLM contra Ameaças de Longo Alcance via Memória Sombra

1. Declaração do Problema

À medida que agentes de Modelos de Linguagem de Grande Escala (LLM) são implantados para tarefas complexas e de múltiplas interações, eles enfrentam uma classe crescente de ameaças de longo alcance. Diferentemente de ataques de interação única (por exemplo, jailbreaks padrão), essas ameaças exploram interações estendidas onde a intenção maliciosa está latente dentro de interações individuais, mas emerge de forma destrutiva apenas no nível da trajetória.

O artigo identifica três causas primárias para essa vulnerabilidade:

1. Diluição de Contexto: A tensão entre a memória de trabalho finita e as janelas de contexto em crescimento faz com que informações críticas para a segurança sejam diluídas ao longo do tempo.
2. Falta de Inspeção Retrospectiva: Os agentes frequentemente carecem da capacidade de inspecionar a trajetória completa para detectar intenção adversarial que se acumula gradualmente.
3. Mudança na Distribuição de Treinamento: O alinhamento de segurança é tipicamente treinado em contextos curtos e falha em generalizar para interações estendidas.

Defesas existentes (por exemplo, filtros de palavras-chave, classificadores por interação, prompts de segurança) degradam-se significativamente sob essas condições de longo alcance. Embora algumas obras recentes tentem alinhamento de múltiplas interações, elas frequentemente falham quando os comprimentos de interação excedem os regimes de treinamento ou focam estreitamente em jailbreaks, deixando ameaças mais amplas como Encadeamento Sequencial de Ataques de Ferramentas (STAC) e Injeção Indireta Persistente de Prompt (PI2) sem tratamento.

2. Metodologia: O Framework MAGE

Os autores propõem o MAGE (Memory As Guardrail Enforcement – Memória como Aplicação de Barreira), um framework defensivo inspirado na abstração de "pilha sombra" na segurança de sistemas. Em vez de confiar exclusivamente na memória de trabalho do agente, o MAGE introduz uma Memória Sombra dedicada e focada em segurança, que executa em paralelo.

Arquitetura Central

O MAGE consiste em dois componentes primários, ambos implementados como chamadas de ferramentas dentro do fluxo de trabalho do agente e treinados via Aprendizado por Reforço (RL):

1. Gerenciador de Memória ($M$): Um módulo que destila e mantém a memória sombra. Ele processa a trajetória de execução do agente (instruções do usuário, ações e observações) para extrair e reter contexto crítico para segurança, descartando informações irrelevantes. Ele rastreia a intenção do usuário e padrões de ataque conhecidos.
2. Juiz ($J$): Um módulo que realiza avaliação de risco retrospectiva. Antes que uma ação seja executada, o Juiz consulta o estado atual da Memória Sombra para avaliar o risco da ação pendente. Ele produz uma decisão (aprovar/rejeitar) e uma justificativa legível por humanos.

Fluxo de Trabalho

Em cada interação $t$:

1. O agente propõe uma ação $a_t$.
2. O Gerenciador de Memória atualiza a memória sombra $m_t$ com base no estado anterior $m_{t-1}$ e no segmento atual da trajetória.
3. O Juiz avalia o risco de $a_t$ condicionado a $m_t$.
4. Se o Juiz rejeitar a ação, a execução é interrompida e a justificativa é reportada. Caso contrário, a ação prossegue.

Otimização via RL por Interação

O framework emprega Otimização de Política Relativa em Grupo (GRPO) para treinar conjuntamente $M$ e $J$. O treinamento é único em sua granularidade por interação:

• Design de Recompensa: O sistema atribui recompensas no nível da interação, e não no nível da trajetória.
  • Recompensa do Juiz: Correção binária baseada em rótulos de verdade fundamental para a ação específica.
  • Recompensa de Memória: Uma recompensa temporalmente descontada que propaga resultados futuros do Juiz para trás, até as atualizações de memória que contribuíram para eles. Isso previne atualizações de memória míopes e garante que a memória retenha informações críticas para detecção futura.
  • Penalidades: Penalidades de formato e comprimento são aplicadas para garantir saídas estruturadas e representações de memória compactas.
• Separação de Fases: A função de perda separa as fases de geração do Gerenciador de Memória e do Juiz, garantindo que as recompensas sejam atribuídas corretamente aos tokens específicos gerados por cada componente.

3. Contribuições Principais

1. Identificação do Desafio Central: O artigo postula que defender contra ameaças de longo alcance exige manter o contexto crítico para a segurança em toda a trajetória de execução, uma capacidade ausente em projetos padrão de agentes.
2. Framework Inovador (MAGE): O MAGE é o primeiro framework a utilizar memória agênica como um primitivo de segurança. Ele introduz um mecanismo de memória sombra para destilar contexto e realizar avaliação de risco retrospectiva no nível da trajetória.
3. Design Plug-and-Play: O framework integra-se a agentes LLM existentes com modificação mínima no pipeline de inferência central, utilizando as capacidades nativas de chamada de ferramentas do agente.
4. Validação Empírica: Avaliação extensa demonstra a superioridade do MAGE sobre defesas existentes em precisão de detecção, detecção em estágios iniciais e preservação de utilidade.

4. Resultados Experimentais

Os autores avaliaram o MAGE sob dois modelos de ameaça: Usuário como Adversário (ataques STAC) e Ambiente como Adversário (Injeção Indireta de Prompt, incluindo PI2).

Avaliação I: Usuário como Adversário (STAC)

• Configuração: Utilizou GPT-5.1 como espinha dorsal do agente e Qwen3-4B para os componentes do MAGE.
• Desempenho: O MAGE reduziu a Taxa de Sucesso do Ataque (ASR) de ataques STAC de 100,0% (sem defesa) para 8,3%, preservando 94,4% da utilidade benigna (BU).
• Eficiência: Introduziu apenas 7,0K tokens extras por tarefa, significativamente menor que variantes de base.
• Latência de Detecção: Detectou a maioria dos ataques no momento ou imediatamente adjacente à ação maliciosa real (atraso médio de -0,06 interações), fornecendo alertas antecipados.
• Ablação: Variantes sem memória sombra ou sem treinamento por RL mostraram desempenho significativamente degradado (por exemplo, variantes não treinadas alcançaram 0% de ASR, mas também 0% de BU devido à rejeição indiscriminada).

Avaliação II: Ambiente como Adversário (PI2)

• Configuração: Avaliado contra injeção persistente de prompt indireto (PI2) e ataques de injeção estática em GPT-4o-mini, Llama-3.3 e Qwen3.
• Desempenho: O MAGE alcançou 0,0% de ASR em ataques PI2 (onde bases como Spotlighting e Repeated-Prompt falharam com >70% de ASR) e manteve alta utilidade benigna (73,0% no Llama-3.3, 86,5% no Qwen3).
• Comparação: O MAGE superou as bases (PI-Detector, Spotlighting, MELON, IPIGuard) no trade-off segurança-utilidade-custo, alcançando o menor ASR e alta BU com baixo custo de tokens.
• Ataques Adaptativos: Mesmo sob ataques adaptativos onde o adversário conhece a arquitetura do MAGE e tenta envenenar a memória ou substituir o Juiz, o MAGE manteve desempenho robusto (ASR permaneceu baixo, por exemplo, 0,0% para ataques adaptativos PI2), enquanto variantes não treinadas ou aquelas sem memória sombra falharam.

5. Significado e Alegações

O artigo alega que o MAGE estabelece um novo paradigma para defender agentes LLM contra ameaças de longo alcance. Seu significado reside em:

• Abordagem Inédita: É o primeiro trabalho a utilizar memória agênica especificamente como um primitivo defensivo para detecção de ameaças no nível da trajetória.
• Trade-offs Equilibrados: Aborda com sucesso o tríade de Segurança (baixo ASR), Utilidade (alta BU) e Custo (baixo custo de tokens), um equilíbrio que defesas existentes falham em alcançar simultaneamente.
• Interpretabilidade: Ao fundamentar decisões de detecção na memória sombra, o MAGE fornece explicações legíveis por humanos, tornando a defesa transparente para operadores.
• Generalização: O framework é projetado para ser plug-and-play, não exigindo modificação no pipeline de inferência central do agente e funcionando efetivamente com modelos menores e locais para os componentes de defesa.

Os autores concluem que, embora o MAGE represente um passo significativo para frente, trabalhos futuros devem explorar classes de ataque mais amplas (por exemplo, envenenamento de memória, deriva de objetivo), esquemas de memória dinâmicos e extensões para sistemas multiagente.