A Framework for Formalizing LLM Agent Security

1. O Problema: A Natureza Contextual da Segurança

O artigo identifica uma lacuna fundamental nas definições atuais de segurança para Agentes de Grandes Modelos de Linguagem (LLMs). A segurança nesses sistemas é inerentemente contextual: a mesma ação (ex: "deletar um arquivo" ou "acessar um banco de dados") pode ser legítima ou uma violação de segurança, dependendo de:

• Quem emitiu a instrução (fonte autorizada vs. não autorizada).
• Qual objetivo está sendo perseguido (alinhado com a tarefa do usuário vs. objetivo malicioso).
• Se a ação serve a esse objetivo.
• Quais fluxos de informação estão ocorrendo (respeitando limites de privilégio).

Limitações das Abordagens Atuais:
Definições existentes (como injeção de prompt) frequentemente falham em capturar esse contexto, tratando prompts maliciosos apenas com base em padrões superficiais. Isso cria um trade-off inevitável entre utilidade e segurança:

• Bloquear todos os prompts que contêm certas palavras-chave (ex: "deletar") aumenta a segurança, mas impede operações legítimas (reduzindo a utilidade).
• Permitir todos os prompts mantém a utilidade, mas expõe o agente a ataques.
  O artigo argumenta que a falta de consideração contextual força os sistemas a escolherem entre ser inseguros ou inúteis.

2. Metodologia: Formalização do Contexto e Propriedades de Segurança

Os autores propõem um framework formal que sistematiza ataques e defesas através de uma definição rigorosa de Contexto de Execução ($C_t$) e Propriedades de Segurança.

A. Contexto de Execução ($C_t$)

O contexto em um passo de tempo $t$ é definido como uma tupla que captura tudo o que é relevante para uma decisão de autorização:
$$C_t = (p, Tr_{t-1}, M_t, E_t, S_{auth,t}, G)$$
Onde:

• $p$: Prompt do usuário.
• $Tr_{t-1}$: Trajetória de ações e observações anteriores.
• $M_t$: Memória persistente do agente.
• $E_t$: Estado do ambiente.
• $S_{auth,t}$: Conjunto de fontes autenticadas.
• $G$: Grafo de permissões de fontes (quem pode acessar/quem).

B. Funções Oráculo

Para verificar a segurança em tempo real, o framework introduz funções oráculo (especificações teóricas ideais) que definem quais informações são necessárias para validar as propriedades:

1. $I$ (Atribuição de Instrução): Identifica quais entradas causaram uma ação específica.
2. $L$ (Atribuição de Fonte): Rastreia a proveniência de cada entrada (quem/qual sistema a gerou).
3. $H_p, H_{Tr}, H_a$ (Avaliação de Objetivo): Quantificam se o objetivo do prompt, a trajetória e a ação individual estão alinhados com o objetivo autorizado.

C. As Quatro Propriedades de Segurança

O framework define a segurança contextual através de quatro propriedades que devem ser satisfeitas simultaneamente:

1. Alinhamento de Tarefa (Task Alignment): O agente deve perseguir apenas objetivos autorizados pelo usuário. Violações incluem Jailbreaks (objetivos fora do espaço seguro) e Task Drift (desvio autônomo do objetivo).
2. Alinhamento de Ação (Action Alignment): Cada ação individual deve servir ao objetivo da tarefa. Violações incluem Misuse of Capabilities (usar uma ferramenta legítima para um propósito não autorizado dentro da mesma tarefa).
3. Autorização de Fonte (Source Authorization): As instruções devem originar-se de fontes autenticadas. Violações incluem Injeção de Prompt Indireta (comandos de fontes não confiáveis) e Confused Deputy (agente executa ações com privilégios que o usuário não tem).
4. Isolamento de Dados (Data Isolation): Os fluxos de informação devem respeitar os limites de permissão definidos no grafo de fontes. Violações incluem vazamento de dados entre sessões ou entre usuários diferentes.

3. Principais Contribuições

1. Framework Unificado: Apresenta uma estrutura formal para classificar ataques e defesas de agentes LLM baseada em contexto, superando definições baseadas apenas em conteúdo.
2. Reformulação de Ataques: Reclasse ataques conhecidos (como injeção de prompt direta/indireta, jailbreak, envenenamento de memória) como violações específicas de uma ou mais das quatro propriedades de segurança. Isso fornece definições precisas e contextuais.
   • Exemplo: Uma injeção de prompt indireta só é um ataque se a fonte for não autenticada E a ação não estiver alinhada com o objetivo do usuário. Se a fonte for não autenticada, mas a ação estiver alinhada (ex: seguir uma receita de um site), não é um ataque.
3. Análise de Defesas Existentes: Demonstra que muitas defesas atuais falham porque não conseguem aproximar corretamente as funções oráculo (especialmente a atribuição de instrução e fonte), levando a falsos positivos ou negativos.
4. Direções Futuras: Identifica lacunas críticas, como a implementação prática das funções oráculo, segurança composicional (ações benignas que se tornam maliciosas em combinação) e a necessidade de benchmarks que incluam contextos de autorização explícitos.

4. Resultados e Análise

O artigo não apresenta resultados experimentais empíricos novos (como testes de benchmark), mas oferece uma análise teórica e taxonômica robusta:

• Taxonomia de Violações: O framework mapeia 87 artigos de pesquisa para as quatro propriedades, mostrando que ataques aparentemente diferentes compartilham a mesma raiz estrutural (violação de propriedades de segurança).
• Limitações de Defesas Atuais: A análise revela que defesas baseadas em filtragem de padrões (que tentam aproximar apenas a função $I$ ou $L$) são ineficazes contra ataques adaptativos. Defesas que validam o alinhamento de ação ($H_a$) são mais eficazes, mas ainda sofrem com o custo de utilidade devido à imprecisão na aproximação.
• Resolução do Trade-off: O framework demonstra teoricamente que, ao verificar as quatro propriedades em conjunto, é possível distinguir entre operações legítimas e ataques mesmo com conteúdo idêntico, eliminando a necessidade de sacrificar utilidade pela segurança.

5. Significado e Impacto

Este trabalho é fundamental para a evolução da segurança de agentes LLM por:

• Mudar o Paradigma: Transita da detecção de "conteúdo malicioso" para a verificação de "contexto de autorização".
• Clarificar Requisitos: Torna explícitas as informações teóricas necessárias para garantir a segurança, guiando o desenvolvimento de novas técnicas de interpretabilidade e monitoramento.
• Guia para Pesquisa: Aponta direções claras para a comunidade, como a necessidade de desenvolver aproximações práticas para as funções oráculo e criar benchmarks que testem violações temporais e composicionais.
• Aplicabilidade Prática: Oferece uma linguagem comum para engenheiros de segurança e pesquisadores desenvolverem sistemas de agentes que sejam simultaneamente úteis e seguros em ambientes do mundo real, onde o contexto dinâmico é a regra.

Em resumo, o paper estabelece que a segurança de agentes LLM não é uma propriedade intrínseca de uma ação, mas sim uma relação relacional entre a ação e o contexto de execução, e fornece as ferramentas formais para analisar e garantir essa relação.