PIArena: A Platform for Prompt Injection Evaluation

Título: PIArena: Uma Plataforma para Avaliação de Injeção de Prompt

1. O Problema

As injeções de prompt (Prompt Injection Attacks) representam um risco de segurança crítico e crescente para aplicações do mundo real impulsionadas por Grandes Modelos de Linguagem (LLMs). A OWASP (Organização para Segurança de Aplicações Web Abertas) classifica a injeção de prompt como o risco de segurança número 1 para aplicações de LLM.

Apesar do aumento da atenção acadêmica, a comunidade enfrenta lacunas críticas:

• Falta de uma plataforma unificada: Não existe um ambiente padronizado que permita integrar e avaliar ataques e defesas de ponta de forma "plug-and-play" (conectar e usar) em diversos benchmarks.
• Avaliação fragmentada: A ausência de uma plataforma unificada impede avaliações sistemáticas, levando a incertezas sobre a generalização das defesas. Muitas defesas relatadas como eficazes em benchmarks específicos falham ao serem testadas em outros cenários ou contra ataques adaptativos.
• Limitações dos benchmarks existentes: A maioria dos benchmarks atuais utiliza ataques estáticos (baseados em heurísticas fixas) e não possui APIs unificadas, dificultando a reprodutibilidade e a comparação justa entre métodos.

2. Metodologia: O PIArena

Para preencher essas lacunas, os autores introduzem o PIArena, uma plataforma unificada e extensível para avaliação de injeção de prompt.

Arquitetura e Módulos:
O PIArena é composto por quatro módulos principais que interagem através de um framework de avaliação unificado:

1. Módulo de Benchmark: Fornece conjuntos de dados diversificados cobrindo tarefas alvo (QA, RAG, sumarização, geração de código) e tarefas injetadas realistas.
2. Módulo de Ataque: Integra ataques de injeção de prompt de última geração, permitindo a criação e inserção de prompts maliciosos em contextos.
3. Módulo de Defesa: Integra defesas existentes (baseadas em prevenção e detecção) para avaliação.
4. Módulo de Avaliador (Evaluator): Calcula métricas de desempenho, incluindo Utilidade (eficácia da tarefa original) e Taxa de Sucesso do Ataque (ASR).

Novos Componentes Chave:

• Ataque Adaptativo Baseado em Estratégias (Strategy-based Adaptive Attack): Os autores propõem um ataque de "caixa preta" que otimiza iterativamente o prompt injetado com base no feedback da defesa.
  • Mecanismo: O ataque começa com um prompt base e utiliza um "pool" de 10 estratégias de reescrita (ex: "Nota do Autor", "Atualização do Sistema", "Bloco de Configuração") para gerar candidatos.
  • Loop de Feedback: Se o ataque falhar, o sistema analisa a resposta (detectado, ignorado ou sanitizado) e reescreve o prompt para aumentar o sigilo ou a imperatividade, adaptando-se dinamicamente à defesa específica.
• Benchmarks Realistas: Diferente de benchmarks anteriores que usam tarefas injetadas genéricas (ex: "Imprima 'Hackeado'"), o PIArena gera tarefas injetadas sensíveis ao contexto, como:
  • Injeção de Phishing: Redirecionar usuários para sites maliciosos.
  • Promoção de Conteúdo: Inserir anúncios ou recomendações.
  • Negação de Acesso: Bloquear usuários falsamente alegando esgotamento de cota ou contas vencidas.
  • Falha de Infraestrutura: Simular erros de sistema para minar a confiança.

3. Principais Contribuições

1. Plataforma Unificada (PIArena): Um sistema extensível que permite a integração plug-and-play de ataques, defesas e benchmarks, facilitando a comparação sistemática e reprodutível.
2. Novo Ataque Adaptativo: Desenvolvimento de um ataque baseado em estratégias que supera ataques estáticos e heurísticos, otimizando prompts dinamicamente para contornar defesas.
3. Avaliação Sistemática: Realização de uma avaliação abrangente de defesas de ponta e diversos LLMs (abertos e fechados) em múltiplos cenários.
4. Identificação de Limitações Fundamentais: Revelação de que as defesas atuais têm generalização limitada e são vulneráveis a cenários onde a tarefa injetada se alinha com a tarefa alvo.

4. Resultados Chave

A avaliação realizada no PIArena revelou limitações críticas nas defesas atuais:

• Generalização Limitada: Defesas que funcionam bem em benchmarks específicos falham frequentemente em outros. Por exemplo, defesas baseadas em prevenção como PISanitizer são robustas contra ataques combinados, mas falham contra ataques diretos ou adaptativos.
• Vulnerabilidade a Ataques Adaptativos: O ataque baseado em estratégias proposto contorna quase todas as defesas testadas.
  • Exemplo: Contra o PISanitizer, o ataque adaptativo alcançou uma Taxa de Sucesso (ASR) de 86%, comparado a apenas 11% para ataques diretos.
  • Defesas de detecção como AttentionTracker conseguiram reduzir o ASR, mas ao custo de destruir a utilidade do sistema (utilidade próxima de 0%), gerando muitos falsos positivos.
• Vulnerabilidade de LLMs Fechados: Mesmo modelos comerciais de ponta e altamente protegidos, como GPT-5, Claude-Sonnet-4.5 e Gemini-3-Pro, exibiram altas taxas de sucesso de ataque (ASR > 70% em muitos casos), demonstrando que o treinamento de segurança atual é insuficiente contra injeções realistas.
• O Desafio do Alinhamento de Tarefas: Quando a tarefa injetada se alinha com a tarefa alvo (ex: um ataque de corrupção de conhecimento em um sistema de QA onde a injeção é apenas desinformação sem instruções explícitas), as defesas atuais tornam-se fundamentalmente ineficazes. O sistema não consegue distinguir entre informação legítima e desinformação sem verificação de conteúdo externa.

5. Significado e Conclusão

O trabalho demonstra que defender contra injeção de prompt permanece um problema de pesquisa fundamentalmente desafiador. As defesas atuais são frequentemente superespecializadas em benchmarks estáticos e não conseguem lidar com a evolução dinâmica dos ataques ou com a complexidade de cenários onde a malícia se disfarça de conteúdo legítimo.

O PIArena é apresentado como uma ferramenta essencial para a comunidade, permitindo:

• A identificação sistemática de fraquezas nas defesas existentes.
• O desenvolvimento de defesas mais robustas e generalizáveis.
• A transição de avaliações estáticas para modelos de ameaça adaptativos, que refletem melhor o cenário de segurança real.

Os autores concluem que o futuro da defesa deve ir além da detecção no nível de instruções, avançando para a verificação no nível de conteúdo e salvaguardas no nível do sistema, especialmente para aplicações de Agentes e RAG (Geração Aumentada por Recuperação) que operam em ambientes de dados não confiáveis.

O código e os dados do projeto estão disponíveis publicamente no repositório GitHub: https://github.com/sleeepeer/PIArena.