Resumo Técnico: Um Framework de Segurança em Camadas Contra Injeção de Prompt em Chatbots Baseados em RAG

1. Declaração do Problema

A injeção de prompt é identificada como a vulnerabilidade mais crítica em implantações de Large Language Models (LLMs), particularmente dentro de arquiteturas de Geração Aumentada por Recuperação (RAG). Diferente dos ataques de injeção de software tradicionais que exploram bugs de parsing, a injeção de prompt explora a propriedade arquitetural fundamental dos LLMs: a incapacidade de distinguir entre instruções confiáveis (system prompts) e dados não confiáveis (entradas de usuário ou documentos recuperados) dentro de um único fluxo de tokens.

As defesas existentes são insuficientes porque operam em estágios isolados do pipeline de inferência:

• Filtros de entrada não conseguem inspecionar documentos recuperados, deixando os sistemas vulneráveis à injeção de prompt indireta (onde payloads maliciosos são incorporados em documentos da base de conhecimento).
• Monitores de saída não podem impedir que payloads maliciosos cheguem ao modelo em primeiro lugar.
• Abordagens de hierarquia de instrução frequentemente exigem fine-tuning do modelo ou dependem de sinais estruturais que os modelos podem não honrar de forma confiável.

Consequentemente, chatbots baseados em RAG permanecem vulneráveis tanto à injeção direta (via entrada do usuário) quanto à injeção indireta (via documentos de base de conhecimento envenenados), levando a riscos como sequestro de persona, bypass de políticas, exfiltração de dados e geração de conteúdo nocivo.

2. Metodologia: O Framework de Três Camadas

Os autores propõem um framework de defesa de três camadas, agnóstico ao modelo, projetado para interceptar ataques em pontos distintos do pipeline de inferência sem modificar o LLM subjacente. O sistema opera como um middleware.

Camada 1: Triagem de Entrada (Input Screening)

Esta camada opera sobre a entrada bruta do usuário antes da recuperação ou montagem do contexto. Ela emprega dois mecanismos complementares:

• Detecção Baseada em Padrões: Um mecanismo de regras compara a entrada normalizada contra uma biblioteca curada de assinaturas de injeção (ex: "ignore as instruções anteriores", "repita o system prompt"). Ele lida com técnicas de ofuscação como codificação Base64 e codificação URL.
• Detecção de Anomalia Semântica: Um classificador semântico ajustado (utilizando um backbone de sentence-transformer) pontua entradas quanto à intenção adversarial. Isso captura frases novas e ataques parafraseados que evadem assinaturas baseadas em regras.
• Disposição: As entradas são aprovadas (com uma flag de anomalia), sanitizadas (segmentos correspondentes são substituídos) ou bloqueadas.

Camada 2: Montagem de Contexto com Privilégio Restrito (Privilege-Constrained Context Assembly)

Esta camada aborda a causa raiz da injeção: a janela de contexto plana. Ela impõe uma hierarquia de instrução explícita durante a montagem do contexto, antes da inferência do LLM:

• Níveis de Privilégio:
  1. Nível Operador (Mais Alto): Instruções do system prompt.
  2. Nível de Recuperação (Intermediário): Documentos recuperados (tratados como dados de referência, não como instruções executáveis).
  3. Nível do Usuário (Mais Baixo): Queries do usuário.
• Mecanismo: Segmentos de contexto são anotados com tags de proveniência ([SYS], [RET], [USR]). Uma meta-instrução é prefixada ao prompt, instruindo o modelo a recusar diretivas de fontes de nível inferior que conflitem com as instruções de nível superior.
• Varredura: Fragmentos de documentos recuperados são escaneados em busca de padrões de sobreposição explícitos antes de serem admitidos no contexto.

Camada 3: Auditoria de Saída (Output Auditing)

Esta camada serve como a rede de segurança final, auditando a resposta do modelo antes da entrega:

• Mecanismo de Regras de Política: Verifica a saída contra predicados específicos, incluindo:
  • Similaridade com o System Prompt: Verificações de similaridade de cosseno para detectar exfiltração de dados (vazamento do system prompt).
  • Detecção de Papel/Token: Identificação de tokens de jailbreak (ex: "DAN").
  • Conteúdo Nocivo: Utilizando um classificador (Llama Guard 2) para detectar saídas inseguras.
• Detecção de Drift Semântico: Mede a distância de cosseno entre a resposta ao vivo e uma resposta de referência complacente com a persona para detectar manipulação comportamental.
• Escalação: Respostas que disparam predicados de alto risco são bloqueadas ou escaladas para revisão humana.

Loop de Auditoria Contínua

Um componente transversal que agrega logs estruturados de todas as camadas. Ele suporta:

• Alertas: Detecção de sondagens adversariais sustentadas ou campanhas coordenadas.
• Retreinamento: Alimentando verdadeiros positivos e falsos positivos confirmados de volta para o classificador semântico da Camada 1 para se adaptar a novos padrões de ataque.

3. Principais Contribuições

1. Modelo de Ameaça Formal: Define um modelo de adversário de caixa-preta para chatbots RAG, cobrindo vetores de injeção direta e indireta e três objetivos específicos do atacante: Sobreposição de Instrução (IO), Exfiltração de Dados (DE) e Manipulação Comportamental (BM).
2. Arquitetura de Defesa de Três Camadas: Um framework coordenado que combina triagem de entrada, montagem de contexto com privilégio restrito e auditoria de saída. É o primeiro a avaliar as contribuições combinadas e individuais desses mecanismos contra injeções diretas e indiretas.
3. Avaliação Controlada: Uma avaliação abrangente em 5.080 amostras (benignas e adversariais) em três LLMs diversos (GPT-4o, Llama 3 8B, Mistral 7B).
4. Ablação e Análise de Erro: Quantifica a contribuição marginal de cada camada e identifica mecanismos de bypass residuais, fornecendo um roteiro para melhorias futuras.

4. Resultados Experimentais

O framework foi avaliado contra uma linha de base sem defesa, baselines de camada única e um sistema de guardrails publicado (NeMo Guardrails).

• Redução da Taxa de Sucesso de Ataque (ASR): O framework completo de três camadas reduziu o ASR médio macro de 71,4% (sem defesa) para 11,3%.
  • Isso representa uma redução de 60,1 pontos percentuais em relação à linha de base.
  • Superou a melhor baseline de camada única (Camada 3 apenas, 38,6%) em 27,3 pontos percentuais.
  • Superou o NeMo Guardrails (35,1%) em 23,8 pontos percentuais.
• Taxa de Falso Positivo (FPR): O framework manteceu um FPR de 4,8%, que é menor que o NeMo Guardrails (8,4%) e comparável à Camada 1 sozinha (5,1%).
• Overhead de Latência: O overhead de latência fim-a-fim mediana foi de 61,2 ms, dominado por operações de codificação semântica. Isso está dentro do orçamento operacional para chatbots interativos.
• Insights de Ablação:
  • O efeito combinado das três camadas excedeu a soma das contribuições individuais.
  • A Camada 2 (Privilégio Restrito) foi identificada como capaz de suprimir falsos positivos em camadas subsequentes (Camada 3) ao filtrar injeções antes que cheguem ao auditor de saída.
  • Nenhum subconjunto de duas camadas forneceu cobertura equivalente ao framework completo.

5. Significância e Alegações

O artigo alega que a injeção de prompt é uma vulnerabilidade estrutural que não pode ser resolvida apenas com atualizações de modelos; modelos mais fortes (ex: GPT-4o) mostraram apenas uma resistência marginalmente melhor do que modelos menores quando não defendidos, uma vez que a capacidade de seguir instruções correlaciona-se com a suscetibilidade a instruções injetadas.

A principal significância do trabalho é a demonstração de que a defesa deve ser distribuída por todo o pipeline de inferência:

• O empilhamento é necessário, não apenas benéfico: Injeções diretas e indiretas entram em pontos diferentes, exigindo defesas posicionadas nesses pontos de entrada específicos.
• Agnosticismo de modelo é crítico: O framework funciona sem modificar os pesos do LLM, tornando-o implantável em diversas famílias de modelos.
• Proteção Complementar: A interação entre as camadas (ex: a Camada 2 reduzindo a carga na Camada 3) cria uma postura de segurança que é maior do que a soma de suas partes.

Os autores reconhecem limitações, incluindo o modelo de atacante de caixa-preta estático, o foco em queries de turno único (ataques de múltiplos turnos permanecem um risco residual) e a sensibilidade dos limiares a mudanças de distribuição. Eles posicionam o framework como uma base prática para assegurar sistemas RAG, com a necessidade de trabalhos futuros para abordar a acumulação de múltiplos turnos e instruções implícitas em documentos recuperados.