Resumo Técnico: MemLineage

Declaração do Problema

Agentes LLM modernos dependem de armazenamentos de memória persistente para acumular registros de chat, retornos de ferramentas e observações derivadas entre sessões de usuário. Embora essa memória permita fluxos de trabalho multi-etapa, ela tornou-se uma superfície de ataque crítica. Pesquisas recentes (por exemplo, AgentPoison, MINJA, MemoryGraft, Zombie Agents) demonstram que adversários podem injetar conteúdo malicioso na memória de um agente, o que pode permanecer dormente entre sessões e posteriormente reemergir como uma instrução para acionar ações sensíveis.

A lacuna de aplicação central identificada é que as defesas existentes falham em lidar com a lavagem de memória. Um adversário sofisticado pode plantar "ingredientes" em fontes não confiáveis, permitindo que o loop normal de recuperação e sumarização do agente gere uma nova entrada derivada. Como essa entrada derivada é autorada pelo próprio agente, ela carrega uma assinatura criptográfica válida, tornando-a indistinguível de conteúdo benigno para defesas baseadas apenas em assinatura. Consequentemente, o agente pode posteriormente recuperar essa entrada "lavada" e executar ações sensíveis (por exemplo, transferências financeiras) com base em uma ancestralidade não confiável, quebrando a cadeia de custódia.

As soluções atuais sofrem de limitações específicas:

• Camadas baseadas apenas em assinatura verificam o escritor, mas não podem rastrear o histórico de derivação.
• Planejadores baseados em IFC (por exemplo, Fides) aplicam rótulos durante o planejamento, mas os perdem através das etapas de derivação do LLM.
• Filtros de recuperação (por exemplo, RAGPart) não conseguem distinguir um resumo benigno de uma carga útil lavada se ambos chegarem via um principal autenticado.
• Defesas grossas (por exemplo, Memory Sandbox) frequentemente bloqueiam toda a recuperação após a exposição, sacrificando a utilidade.

Metodologia: Design do MemLineage

O MemLineage aborda isso tratando a segurança da memória como um problema de cadeia de custódia em vez de um problema de filtragem. Ele anexa proveniência criptográfica e uma linhagem de derivação ponderada a cada entrada de memória. O sistema é construído em torno de seis módulos:

1. Metadados de Proveniência (M1): Cada entrada é um registro ProvEntry contendo o principal escritor, hash da fonte, hash do contexto e uma lista de entradas pai com pesos de atribuição.
2. Vinculação Criptográfica (M2): As entradas são assinadas usando chaves Ed25519 por principal. A assinatura cobre uma codificação CBOR canônica de todos os campos, exceto a própria assinatura.
3. Log Apenas de Adição (M3): Um log Merkle no estilo RFC 6962 registra hashes de entrada. A exclusão é tratada por meio de marcadores de "tombstone" assinados para evitar a reescrita do histórico.
4. DAG de Linhagem (M4): Um grafo acíclico direcionado onde as arestas representam derivação mediada por LLM. Cada aresta $(p, c)$ tem um peso $w(p, c) \in [0, 1]$ determinado por um algoritmo de atribuição.
   • Regra de Propagação: A confiança é propagada via uma regra de máximo de arestas fortes. Uma entrada $c$ herda o nível de confiança de seu pai $p$ se $w(p, c) > \tau$ (um limite de desclassificação).
   • Persistência de Caminho Não Confiável (Teorema 1): Se um caminho existir de um ancestral "Externo" até uma entrada atual onde cada peso de aresta exceder $\tau$, a entrada atual será rotulada como "Derivada-Não Confiável".
5. Recuperação Consciente do Verificador (M5): Antes que uma entrada seja inserida no prompt do LLM, o M5 verifica assinaturas, provas de inclusão e renderiza a entrada com um rótulo estrutural de confiança (por exemplo, [trust=DERIVED_UNTRUSTED]).
6. Portão de Ação Sensível (M6): Antes de despachar uma chamada de ferramenta (especialmente para sumidouros sensíveis como gravação de arquivos ou pagamentos), o M6 inspeciona o prompt ativo. Se a justificativa para um parâmetro descender de um ancestral "Derivado-Não Confiável" ou "Externo", a chamada é negada. O M6 também suporta Reparo de Autoridade, onde pode substituir cirurgicamente parâmetros de origem do atacante por valores de proveniência confiável.

O sistema suporta três algoritmos de atribuição:

• Grosso: Peso binário (1.0) se um pai estava no contexto de recuperação.
• LmSelfEval: Um juiz LLM secundário pontua a influência semântica (endurecido contra injeção de prompt via envelopes JSON).
• AttnAttr: Análise de atenção de caixa branca (requer modelos de pesos abertos).

Contribuições Principais

1. Carga de Trabalho de Estresse de Linhagem: O artigo introduz um modelo de ataque "dorminhoco-via-derivação". Diferente da injeção direta, essa carga de trabalho planta ingredientes em fontes não confiáveis, forçando o LLM a derivar uma carga útil maliciosa como uma nova entrada assinada. Isso separa defesas baseadas apenas em assinatura das conscientes de linhagem.
2. Regra de Propagação Formal: O design formaliza o teorema da Persistência de Caminho Não Confiável, provando que se cada aresta em uma cadeia de derivação for "forte" (acima do limite $\tau$), o rótulo não confiável se propaga até a ponta da cadeia.
3. Algoritmos de Atribuição e Compensações: O artigo avalia três estratégias de atribuição e quantifica a interação entre o limite de linhagem ($\tau$) e o comprimento da cadeia ($K$). Demonstra que uma medição de $\tau$ de tiro único é insuficiente; cadeias mais profundas exigem limites mais baixos para manter a segurança sob confiança de atribuição decrescente.
4. Ferramenta de Avaliação End-to-End: Uma ferramenta determinística e reproduzível é fornecida que fixa o comportamento do atacante e evita chamadas reais de API de LLM para métricas principais. Produz artefatos byte-iguais verificados por CI para Taxa de Sucesso do Ataque (ASR), linhas de base de utilidade e ablações de linhagem.

Resultados

A avaliação compara três configurações: no_defense, sig_only_baseline (assinaturas + log Merkle, sem linhagem) e MemLineage (stack completo).

• Taxa de Sucesso do Ataque (ASR):

  • AgentPoison (Limitado por Gatilho): sig_only_baseline e MemLineage ambos alcançam 0,00 ASR (assinaturas bloqueiam escritores não confiáveis).
  • MemoryGraft (Envenenamento de Recuperação): sig_only_baseline falha (1,00 ASR) porque as entradas são assinadas pelo agente. MemLineage alcança 0,00 ASR rastreando a linhagem até um ancestral externo.
  • Dorminhoco-via-Derivação: sig_only_baseline falha (1,00 ASR) pois a entrada derivada é validamente assinada. MemLineage alcança 0,00 ASR propagando o rótulo não confiável através da cadeia de derivação.
  • Conclusão: MemLineage é a única configuração a reduzir a ASR a zero em todas as três famílias de ataques.

• Desempenho:

  • A sobrecarga por operação é sub-milissegundo. O caminho quente de escrita (incluindo assinatura e registro Merkle) média ~214 µs, e a verificação é ~82 µs. Isso está bem abaixo do piso de ruído de chamadas típicas de API de LLM.

• Utilidade (Falsos Positivos):

  • Em fluxos de trabalho benignos, MemLineage alcança uma taxa de despacho legítimo de 1,00 (zero falsos positivos). Ele permite com sucesso cadeias derivadas confiáveis e recuperação não sensível de conteúdo externo.
  • Reparo de Autoridade: Em cenários bancários do AgentDojo, MemLineage com reparo de autoridade bloqueia 100% dos ataques enquanto recupera utilidade em 5/6 pares, superando estratégias simples de negação ou repetição.

• Sensibilidade ao Limite:

  • A ablação $\tau \times K$ mostra que, para pesos de atribuição decrescentes (por exemplo, $w_0=0,9, d=0,7$), uma implantação permitindo $K=5$ saltos requer $\tau \le 0,10$, enquanto uma medição $K=1$ pode sugerir $\tau \le 0,30$.

Significado e Alegações

O artigo alega que MemLineage fornece um primitivo de aplicação granular que preserva memória útil de longo prazo enquanto impede que ancestralidade não confiável autorize ações sensíveis.

• Diferenciação: Diferente de defesas grossas que removem a recuperação inteiramente, MemLineage mantém a utilidade de memórias derivadas enquanto aplica rigorosamente portões a ações sensíveis com base na proveniência.
• Completude: É o único sistema avaliado que cobre conjuntamente quatro dimensões: integridade criptográfica do rótulo de confiança, atribuição de linhagem através da derivação do LLM, persistência inter-sessão do rótulo e cobertura de entradas derivadas pelo agente.
• Modéstia: Os autores reconhecem que o sistema depende da confiabilidade dos pesos de inferência do LLM (não pode detectar backdoors no próprio modelo) e que o algoritmo de atribuição mais forte (AttnAttr) requer modelos de pesos abertos. O fallback "sem-pai-forte" padrão é "Confiável", o que poderia ser explorado se um adversário suprimir todas as arestas de atribuição abaixo de $\tau$, embora o endurecimento de envelope JSON mitigue riscos de injeção de prompt.

O artigo conclui que MemLineage desloca o paradigma de defesa de "filtrar conteúdo" para "aplicar cadeia de custódia", oferecendo um caminho viável para agentes LLM persistentes e seguros.