Agent Privilege Separation in OpenClaw: A Structural Defense Against Prompt Injection

Título: Separação de Privilégios de Agente no OpenClaw: Uma Defesa Estrutural Contra Injeção de Prompt

1. O Problema: Injeção de Prompt em Agentes LLM

A injeção de prompt continua sendo um dos vetores de ataque mais práticos e perigosos para aplicações integradas com Grandes Modelos de Linguagem (LLMs).

• Mecanismo: Ataques de injeção manipulam sistemas LLM ao embutir instruções adversárias em conteúdo não confiável (e-mails, documentos, páginas web) que o modelo processa como parte de uma tarefa legítima.
• Escala do Risco: À medida que os agentes LLM ganham capacidade de executar ações no mundo real (enviar e-mails, chamar APIs, executar código), o impacto de uma injeção bem-sucedida escala diretamente com os privilégios do agente.
• Desafio Específico: A injeção indireta (onde o ataque vive nos dados processados, não na consulta do usuário) é particularmente difícil de defender, pois o modelo não consegue distinguir facilmente entre o contexto da tarefa confiável e o conteúdo processado não confiável durante a inferência.

2. Metodologia e Configuração Experimental

Os autores replicaram o benchmark LLMail-Inject da Microsoft (Greshake et al., 2024) utilizando a plataforma de agentes de código aberto OpenClaw e o modelo gpt-5-mini.

• Conjunto de Dados: O estudo focou em um pool de 649 ataques que foram bem-sucedidos contra uma linha de base de agente único (single-agent) usando o gpt-5-mini. Este conjunto foi derivado de um total de 461.640 submissões originais, filtradas e deduplicadas.

• Arquitetura Proposta (OpenClaw): Em vez de um único agente com todas as ferramentas, a defesa proposta combina dois mecanismos estruturais:

  1. Isolamento de Agentes (Separação de Privilégios): Divisão do fluxo de trabalho em dois agentes cooperativos com acesso a ferramentas disjuntas:
     • Agente Leitor (Reader): Possui acesso apenas à ferramenta store_summary. Lê o conteúdo bruto do e-mail e gera um resumo estruturado. Não pode chamar send_email.
     • Agente Executor (Actor): Possui acesso às ferramentas send_email, get_pending_summary e store_result. Lê apenas a saída do Agente Leitor. Nunca vê o conteúdo bruto do e-mail.
  2. Formatação JSON (Saída Estruturada): O Agente Leitor produz um resumo em JSON validado (campos: remetente, assunto, resumo do corpo, itens de ação). Isso remove o "enquadramento persuasivo" das injeções antes que o conteúdo chegue ao Agente Executor. Um validador leve (regex) inspeciona o JSON para padrões de injeção.

• Estrutura de Ablação: Foram testadas quatro configurações no mesmo conjunto de 649 ataques:

  1. Baseline: Agente único, sem defesas.
  2. Pipeline Completo: Isolamento de agentes + Formatação JSON + Validador.
  3. Apenas Dois Agentes: Isolamento de agentes, sem formatação JSON.
  4. Apenas Validador JSON: Formatação JSON em um agente único (sem isolamento).

3. Contribuições Principais

1. Demonstração de Alinhamento Nativo: Mostraram que o modelo gpt-5-mini no OpenClaw reduz a taxa de sucesso de ataque (ASR) para 2,83% sem nenhuma mitigação externa, demonstrando ganhos significativos de alinhamento em comparação a modelos mais antigos.
2. Defesa Arquitetural Estrutural: Propuseram e validaram uma defesa baseada em arquitetura (não apenas em prompts ou filtros de conteúdo) que combina separação de privilégios e comunicação estruturada.
3. Ablação Quantitativa: Isolaram a contribuição de cada mecanismo, provando que o isolamento de ferramentas é o fator dominante na defesa, enquanto a formatação JSON atua como um endurecimento complementar.

4. Resultados

Os resultados foram medidos pela Taxa de Sucesso do Ataque (ASR) no conjunto de 649 ataques que originalmente venceram a linha de base.

• Análise por Cenário:
  • Exfiltração de Dados (Cenário 4): O isolamento de agentes bloqueou categoricamente 100% dos ataques, enquanto o validador JSON sozinho falhou em 28,3% dos casos.
  • Resíduos: Os 2 ataques que sobreviveram ao "Apenas Dois Agentes" foram eliminados pelo Pipeline Completo, pois a estrutura JSON impediu que o Agente Executor interpretasse o conteúdo residual como uma instrução acionável.
• Comparação com o Estado da Arte: O modelo gpt-5-mini sem defesas já superou a pilha completa de 5 defesas aplicadas ao GPT-4o mini no desafio original. A arquitetura proposta levou a ASR a zero, superando todas as defesas anteriores combinadas.

5. Significado e Conclusão

O artigo estabelece que a separação de privilégios (isolamento de agentes) é o mecanismo de defesa mais crítico.

• Defesa Estrutural: A restrição de que o Agente Leitor não possui a ferramenta send_email é imposta pela plataforma, não pelo modelo. Nenhuma sofisticação no prompt de injeção pode contornar a falta de registro de uma ferramenta.
• Papel do JSON: A formatação JSON não impede a propagação de conteúdo, mas impede a propagação de conteúdo acionável, removendo o contexto social e persuasivo necessário para enganar o Agente Executor.
• Recomendação: Para sistemas de agentes em produção que lidam com ferramentas perigosas (enviar, postar, executar, deletar) e entrada não confiável, a arquitetura deve obrigatoriamente separar o agente que processa dados não confiáveis do agente que detém os privilégios de ação, utilizando comunicação estruturada entre eles.

Em suma, o trabalho demonstra que a segurança em agentes LLM não deve depender apenas da "inteligência" do modelo para resistir a prompts maliciosos, mas sim de uma arquitetura de segurança estrutural que limita o dano potencial independentemente do comportamento do modelo.