Resumo Técnico: WARD – Defesa Adversarial Robusta de Agentes Web Contra Injeção de Prompt

1. Formulação do Problema

Agentes web, que executam autonomamente objetivos do usuário por meio de interações na web (cliques, digitação, navegação), enfrentam riscos significativos de segurança devido à sua exposição a ambientes web abertos. Adversários podem incorporar instruções enganosas dentro de conteúdo HTML ou interfaces visuais (capturas de tela) para manipular a tomada de decisão do agente, levando a comportamentos inseguros, como vazamento de dados ou ações não autorizadas. Estes são conhecidos como ataques de injeção de prompt.

Estratégias de defesa existentes, incluindo modificações no prompt do sistema e ajuste fino de modelos de linguagem-visão, frequentemente sofrem com robustez limitada. Uma abordagem mais promissora envolve o uso de um modelo guarda separado para inspecionar estados da página web antes que o agente aja. No entanto, os modelos guarda atuais enfrentam quatro limitações críticas que impedem a implantação prática:

1. Generalização Limitada: Eles falham em generalizar para domínios não vistos (por exemplo, plataformas de alto risco como e-mail ou redes sociais) e lutam com mudanças nas modalidades de injeção (apenas texto, apenas visual ou ambas).
2. Altos Falsos Positivos: Eles frequentemente classificam erroneamente conteúdo benigno com linguagem semelhante a instruções (por exemplo, tutoriais) como malicioso, interrompendo fluxos de trabalho do agente.
3. Limitações de Eficiência: Algumas defesas introduzem latência ao exigir execução sequencial ou dependem de modelos grandes e custosos.
4. Vulnerabilidade a Ataques Adversariais: Guardas existentes são suscetíveis a Injeção de Prompt no Guarda (PIG), onde atacantes visam diretamente a lógica de decisão do guarda, e a Ataques Adversariais Adaptativos (AAA), onde atacantes adaptam iterativamente estratégias para contornar o guarda.

2. Metodologia

Os autores propõem o WARD (Defesa Robusta de Agente Web Contra Injeção de Prompt), um framework de guarda prático projetado para abordar essas limitações por meio de um pipeline de treinamento em três etapas e um framework de dados abrangente.

2.1 Framework de Dados

O WARD depende de dois conjuntos de dados primários construídos para maximizar a diversidade em domínios, modalidades e vetores de ataque:

• WARD-Base: Um conjunto de dados em grande escala contendo aproximadamente 177.585 amostras coletadas de 719 URLs de alto tráfego e 10 plataformas simuladas de alto risco. Ele utiliza um pipeline de dois ramos:
  • Ramo de Sobreposição: Captura padrões de nível de interface injetando ataques em páginas web reais (modificação de HTML ou sobreposições de captura de tela) em 7 canais (por exemplo, pop-ups, banners).
  • Ramo Nativo: Simula plataformas de alto risco (redes sociais, mensagens, e-mail) para incorporar ataques naturalmente dentro de conteúdo gerado pelo usuário (comentários, postagens, mensagens).
  • O conjunto de dados cobre 6 objetivos de ataque (por exemplo, exfiltração de dados, ações não autorizadas) e 4 locais de injeção (HTML, Captura de Tela, Ambos, Nenhum).
• WARD-PIG: Um conjunto de dados especializado derivado do WARD-Base, contendo 10.500 amostras maliciosas onde prompts visam explicitamente o processo de decisão do guarda (por exemplo, instruir o guarda a ignorar conteúdo suspeito), juntamente com 10.500 amostras benignas.

2.2 Pipeline de Treinamento

O WARD é treinado em três etapas sequenciais:

1. Ajuste Fino Supervisionado (SFT) no WARD-Base: O modelo aprende a detectar injeções de prompt em diversos domínios, modalidades e objetivos de ataque. É treinado para emitir um rótulo (malicioso/benigno), localização da injeção, objetivo do ataque e uma trilha de raciocínio fundamentada no HTML e na captura de tela.
2. SFT no WARD-PIG: O modelo é ajustado adicionalmente para reconhecer e resistir a instruções direcionadas ao guarda, aprendendo a tratar tais entradas como sinais adversariais em vez de comandos válidos.
3. Treinamento de Ataque Adversarial Adaptativo (A3T): Um framework de co-evolução iterativa envolvendo um atacante adaptativo, um validador e o guarda.
   • Loop Interno: Um atacante (usando memória de sucessos/fracassos passados e feedback do guarda) gera novos candidatos a ataques projetados para contornar o guarda atual. Um validador filtra amostras maliciosas realistas e eficazes.
   • Loop Externo: Amostras adversariais bem-sucedidas que contornam o guarda são usadas para atualizar o guarda por meio de Otimização de Política Relativa em Grupo (GRPO).
   • Este loop se repete, fortalecendo progressivamente o guarda contra ataques adaptativos cada vez mais sofisticados.

2.3 Arquitetura do Modelo

O framework utiliza Modelos de Linguagem-Visão compactos e de código aberto (especificamente Qwen-3.5-0.8B e Qwen-3.5-2B) como backbones, permitindo implantação paralela eficiente junto ao agente web sem introduzir latência significativa.

3. Principais Contribuições

• Conjuntos de Dados WARD-Base e WARD-PIG: A criação do primeiro conjunto de dados multimodal em grande escala para detecção de injeção de prompt que modela explicitamente canais de injeção, locais e ataques direcionados ao guarda, cobrindo tanto páginas web reais quanto plataformas simuladas de alto risco.
• Framework A3T: A introdução de um esquema de treinamento adversarial adaptativo que evolui iterativamente estratégias de ataque e defesas de guarda, abordando a vulnerabilidade de distribuições de treinamento estáticas a atacantes adaptativos.
• Modelo Guarda Prático: Um sistema de defesa que alcança detecção quase perfeita enquanto mantém baixas taxas de falsos positivos e opera eficientemente em paralelo com o agente.

4. Resultados Experimentais

Avaliações extensivas demonstram a superioridade do WARD sobre 25 baselines, incluindo APIs de código fechado, modelos de código aberto e modelos guarda existentes (por exemplo, WebAgentGuard, PromptGuard).

• Desempenho de Detecção: Em benchmarks fora da distribuição (OOD) (Popup, EIA, VPI, WASP), o WARD alcança recall quase perfeito (100%) e alta precisão (99,33% no WARD-Test), superando significativamente as baselines, que frequentemente lutam com generalização.
• Robustez contra PIG: Quando testado contra prompts direcionados ao guarda, o WARD mantém 100% de recall em todas as modalidades (HTML, Captura de Tela, Ambos), enquanto modelos existentes sofrem quedas drásticas de desempenho (por exemplo, recall caindo para <1% para algumas baselines).
• Robustez contra Ataques Adaptativos: Sob o teste de estresse A3T com até 10 tentativas de ataque por amostra, o WARD mantém Baixas Taxas de Sucesso de Amostra (SSR) e Taxas de Sucesso de Tentativa (ASR). Por exemplo, o WARD-2B alcança uma SSR de apenas 3,12% com um orçamento de 10 tentativas, comparado a taxas muito mais altas para as baselines.
• Robustez Cross-Domínio: No framework PIArena (uma configuração de ataque adaptativo baseada em texto, não web), o WARD mantém uma Baixa Taxa Média de Sucesso de Ataque (ASR) de ~3,08%, enquanto outras defesas falham com ASRs superiores a 45–90%.
• Preservação de Utilidade: O WARD exibe taxas de falsos positivos (FPR) negligenciáveis (< 0,5%) e degradação mínima de desempenho (PD) em tarefas WebArena, preservando a utilidade do agente melhor do que guardas existentes, que frequentemente introduzem altos FPRs (>7%).
• Eficiência: O WARD roda em paralelo com o agente, exigindo menos tokens de saída e menor tempo de inferência do que os próprios modelos do agente, evitando latência adicional.

5. Significado e Alegações

O artigo afirma que o WARD fornece uma base forte e prática para a segurança de sistemas de agentes web do mundo real. Ao combinar dados em grande escala e diversos com uma estratégia de treinamento co-evolutiva, o WARD aborda os trade-offs fundamentais entre precisão de detecção, robustez contra adversários adaptativos e eficiência de implantação.

Os autores enfatizam que o WARD é projetado para ataques de injeção de prompt realistas que aparecem como conteúdo natural de páginas web. Eles reconhecem modestamente limitações, observando que o WARD pode não ser eficaz contra ataques ambientais em nível de pixel (por exemplo, perturbações imperceptíveis), que exigem modelos de ameaça mais fortes e acesso aos gradientes internos do agente. O trabalho se posiciona como um passo crítico para a implantação de agentes web autônomos em domínios sensíveis como finanças e saúde, onde uma defesa confiável contra manipulação de instruções é primordial.