Resumo Técnico: A Detecção de Injeção de Prompt é Dependente do Regime

1. Declaração do Problema

A integração rápida de Modelos de Linguagem de Grande Escala (LLMs) em fluxos de trabalho de produção introduziu uma vulnerabilidade crítica: a injeção de prompt. Diferentemente das vulnerabilidades de software tradicionais, a injeção de prompt explora a janela de contexto compartilhada dos LLMs, onde a distinção entre instruções confiáveis e dados não confiáveis torna-se difusa. Isso permite que entradas adversariais sobrescrevam prompts do sistema, redefinam papéis ou manipulem o uso de ferramentas.

Embora as abordagens defensivas existentes frequentemente dependam de estratégias de "defesa em profundidade" (combinando alinhamento de modelo com filtros externos), as avaliações acadêmicas atuais sofrem frequentemente de uma lacuna entre o desempenho em benchmarks e a implantação no mundo real. Métricas padrão como macro-F1 ou ROC-AUC frequentemente falham em capturar restrições operacionais, particularmente a necessidade de manter taxas de falsos positivos (FPR) extremamente baixas para evitar bloquear tráfego legítimo de usuários. Além disso, muitas avaliações dependem de divisões dentro da distribuição (ID) que não refletem a diversidade de regimes de ataque fora da distribuição (OOD) encontrados em produção.

Este artigo argumenta que a detecção de injeção de prompt não é um problema de classificação estático, mas uma tarefa dependente do regime. A eficácia de um detector varia significativamente com base na natureza do ataque (lexical vs. semântico vs. estrutural), na distribuição dos dados e nas restrições específicas de implantação (por exemplo, limites estritos de FPR).

2. Metodologia

2.1. Estrutura Experimental

Os autores desenvolveram uma estrutura de avaliação consciente da implantação projetada para testar detectores sob restrições operacionais realistas, em vez de apenas desempenho agregado de classificação.

• Conjuntos de Dados: O estudo utiliza benchmarks públicos para garantir comparabilidade e reduzir viés do pesquisador.
  • Dentro da Distribuição (ID): Um conjunto combinando AdvBench, JailbreakBench e o conjunto de dados de injeção de prompt do Deepset.
  • Fora da Distribuição (OOD): Três regimes fixos foram utilizados para testar a generalização:
    1. OOD Primário: HarmBench (prejudicial) + Alpaca (benigno) para testar deslocamentos semânticos amplos.
    2. OOD de Injeção de Falso Negativo Difícil: r1char9 (injeção) + NotInject (prompts benignos com redação que parece adversária) para testar comportamento excessivamente defensivo.
    3. OOD de Injeção Padrão: Benchmark Qualifire para uma avaliação específica de injeção maior e balanceada.
• Repetibilidade: Para mitigar a dependência da divisão, os experimentos foram executados em três divisões ID reamostradas (A, B, C).

2.2. Famílias de Características e Modelos

O estudo compara quatro famílias distintas de sinais:

1. Modelos Lexicais: Características TF-IDF esparsas (unigramas/bigramas) aumentadas com flags binárias artesanais para pistas explícitas de ataque (por exemplo, "ignorar instruções", "prompt do sistema").
2. Modelos Semânticos: Embeddings congelados do SentenceTransformer (BAAI/bge-small-en-v1.5) passados para um classificador de regressão logística para isolar o valor do significado contextual.
3. Codificadores Transformer: Modelos RoBERTa-base e DeBERTa-base ajustados finamente servindo como baselines contextuais de alta capacidade.
4. Sinais Estruturais (IBVS): A contribuição metodológica central é a Pontuação de Violação de Limite de Instrução (IBVS). Trata-se de uma estrutura interpretável baseada em regras que decompõe a injeção de prompt em mecanismos estruturais específicos:
   • Sobrescrita de Hierarquia: Tentativas de ignorar/substituir instruções anteriores.
   • Falsificação do Sistema: Imitação de canais privilegiados (por exemplo, system:, developer:).
   • Redefinição de Papel: Instruções como "atue como" ou "a partir de agora".
   • Evasão: Codificação, ofuscação ou tentativas de contornar filtros.
   • Regras de Interação: Combinações ponderadas de sinais (por exemplo, dano + evasão) e regras de supressão para contextos benignos (por exemplo, discussões educacionais).
   • O IBVS produz uma pontuação escalar, um vetor estruturado de ativações de componentes e uma flag binária "gatilho" para padrões de alta especificidade.

2.3. Arquiteturas Híbridas

O estudo avalia abordagens híbridas para determinar se sinais estruturais fornecem valor complementar a baselines neurais fortes:

• Fusão Tardia: Combinando probabilidades de Transformer congeladas com características IBVS através de uma camada rasa de regressão logística.
• Predição Seletiva: Encaminhando casos incertos (com base em pontuações semânticas) para especialistas de fallback ou reavaliando-os com evidências estruturais.

2.4. Métricas de Avaliação

A avaliação prioriza a efetividade de implantação sobre a classificação global:

• Sem Limiar: ROC-AUC e AUC-PR.
• Com Limiar (Implantação): Macro-F1 para seleção de limiar e, crucialmente, Taxa de Verdadeiros Positivos (TPR) em FPRs fixos baixos (1%, 5%, 10%). Isso reflete a realidade operacional onde até pequenas taxas de falsos positivos podem tornar uma salvaguarda inutilizável.
• Baseline Externa: O scanner PromptInjection do LLM Guard foi avaliado como referência pronta para uso.

3. Resultados Chave

3.1. Dependência do Regime

Nenhuma família de modelos única dominou em todas as configurações. O "melhor" detector mudou dependendo do regime de avaliação:

• Dentro da Distribuição (ID): Transformers ajustados finamente (RoBERTa, DeBERTa) alcançaram o maior macro-F1 (~0,95).
• OOD Primário (Deslocamento Semântico): O DeBERTa alcançou o maior macro-F1, mas a fusão tardia RoBERTa + IBVS demonstrou sensibilidade superior em pontos operacionais de FPR baixo e estrito (por exemplo, maior TPR em 1% de FPR).
• OOD de Injeção de Falso Negativo Difícil: Surpreendentemente, a baseline TF-IDF esparsa superou modelos semânticos e transformers em macro-F1. Isso sugere que, em regimes com regularidades lexicais altamente diagnósticas, pistas superficiais simples são suficientes, e modelos complexos podem sofrer de excessiva defensividade ou má calibração contra prompts benignos "parecidos".
• OOD de Injeção Padrão: Híbridos baseados em semântica performaram melhor em macro-F1, mas a vantagem diminuiu sob restrições estritas de FPR baixo.

3.2. A Lacuna entre Classificação e Implantação

Uma descoberta consistente foi que métricas de classificação altas (ROC-AUC) não se traduziram confiavelmente em utilidade de implantação. Vários modelos que performaram bem em métricas agregadas colapsaram em limiares estritos de FPR (por exemplo, TPR@1% FPR caiu para próximo de zero para alguns híbridos semânticos em regimes de falso negativo difícil). Isso indica que a calibração é um gargalo crítico; os modelos podem aprender limites de decisão corretos, mas atribuem probabilidades que não estão alinhadas com limiares operacionais conservadores.

3.3. Contribuição dos Sinais Estruturais (IBVS)

O IBVS proporcionou ganhos modestos, mas consistentes em cenários específicos:

• Melhorou o comportamento de FPR baixo quando acoplado a codificadores fortes (por exemplo, RoBERTa + IBVS superou RoBERTa sozinho em 1% de FPR no regime OOD Primário).
• Ofereceu interpretabilidade, permitindo que operadores vissem por que um prompt foi sinalizado (por exemplo, regras específicas de sobrescrita de hierarquia ou falsificação de sistema).
• No entanto, o IBVS não superou universalmente as baselines lexicais. No regime de falso negativo difícil, onde pistas lexicais superficiais já eram altamente diagnósticas, adicionar abstração estrutural ofereceu pouco valor preditivo complementar.

3.4. Desempenho da Baseline Externa

A baseline externa LLM Guard exibiu a mesma dependência de regime. Performou competitivamente em benchmarks padrão de injeção, mas degradou significativamente nos regimes OOD Primário e de Falso Negativo Difícil, confirmando que a dependência de regime é uma questão sistêmica que afeta tanto salvaguardas personalizadas quanto prontas para uso.

4. Significado e Alegações

O artigo afirma que a detecção de injeção de prompt é inerentemente dependente do regime e deve ser avaliada em relação ao contexto de implantação, e não apenas ao desempenho do benchmark.

• Reenquadramento do Problema: Os autores argumentam que a seleção do detector não pode ser separada do contexto operacional (regime de ataque, orçamento de falsos positivos e modo de intervenção). Um modelo otimizado para um regime (por exemplo, jailbreaks amplos) pode falhar em outro (por exemplo, injeção via documentos recuperados).
• Calibração como Gargalo: O estudo destaca que um desempenho forte de classificação não garante comportamento confiável de implantação. O desalinhamento entre representações aprendidas e pontuação implantável (calibração) é um fator crítico frequentemente negligenciado em favor de métricas agregadas.
• Papel dos Sinais Estruturais: Sinais estruturais como o IBVS não são aprimoradores universais de desempenho, mas servem como aumentações interpretáveis e direcionadas. São mais valiosos quando os ataques manipulam explicitamente limites de instrução (hierarquia, papel, contexto do sistema) e fornecem transparência forense, em vez de quando substituem representações semânticas aprendidas.
• Padrões de Avaliação: O artigo defende uma mudança nos padrões de avaliação, enfatizando a análise em nível de fatia (por exemplo, prompts curtos, entradas benignas ricas em gatilhos) e pontos operacionais de FPR baixo sobre pontuações globais de macro-F1 para avaliar com precisão a efetividade de salvaguardas no mundo real.

Em conclusão, o trabalho demonstra que não existe um detector "tamanho único". Uma defesa eficaz requer uma abordagem multi-sinal adaptada aos regimes de ataque específicos e às restrições operacionais do ambiente de implantação.