Resumo Técnico: Confidentemente Errado: Calibração Sensível à Severidade de Detectores de Injeção de Prompt sob Mudança de Ataque

1. Declaração do Problema

Detectores de injeção de prompt (modelos de guarda) são implantados para pontuar entradas não confiáveis e determinar se devem confiar ou bloquear essas entradas com base em um escore de confiança. Uma suposição crítica nesse pipeline é que o detector é calibrado: um escore de baixa probabilidade de ataque deve corresponder a uma chance genuinamente baixa de ataque.

O artigo identifica um modo de falha específico que as métricas padrão ignoram: falsos negativos de alta confiança. Isso ocorre quando um detector atribui a um ataque real um escore de baixa probabilidade com quase certeza. Como os sistemas de jusante interpretam escores baixos como evidência forte de segurança, esses "erros confiantes" são mais perigosos do que erros incertos, pois são aceitos implicitamente.

O problema central é a mudança de distribuição (distribution shift). Os detectores são tipicamente calibrados em benchmarks limpos e in-distribution (ex: prompts isolados). No entanto, na implantação, os ataques mudam para formas indiretas (incorporados em documentos, saídas de ferramentas) e novos estilos (sequestro de comportamento). O artigo investiga se a confiança desses detectores permanece válida quando a distribuição de ataques se afasta do benchmark de origem, enquanto o limiar de operação permanece congelado.

2. Metodologia

2.1 Configuração Experimental

O estudo avalia três detectores lançados sem retreinamento:

1. ProtectAI-v2: Um classificador de sequência DeBERTa-v3-base.
2. Prompt-Guard-2 (86M): Um checkpoint baseado em Llama.
3. Prompt-Guard-2 (22M): Um checkpoint baseado em Llama menor (4x menos parâmetros).

2.2 Protocolo de Transporte de Limiar Congelado

Para isolar o efeito da mudança de distribuição, os autores empregam um protocolo de transporte de limiar congelado:

• Calibração: Um ponto de operação único (limiar $t$) é definido para cada detector em um benchmark direto e limpo (deepset/prompt-injections) para visar uma taxa de falso-positivo de 1%.
• Transporte: Este limiar é congelado e aplicado sem alterações através de cinco mudanças de distribuição distintas:
  1. Direto: Baseline in-distribution.
  2. Indireto-Prejudicial (Indirect-Harmful): Golpes, fraudes e desinformação incorporados em documentos.
  3. Indireto-Sequestro (Indirect-Hijack): Instruções incorporadas em documentos que sobrescrevem o comportamento do modelo (ex: codificação, tradução) sem conteúdo prejudicial.
  4. Jailbreak: Prompts de roleplay/jailbreak isolados (teste de estresse próximo ao in-distribution).
  5. Sobre-defesa (Over-defense): Prompts benignos contendo palavras de gatilho.

2.3 Família de Métricas

O artigo introduz uma nova métrica, Severidade ($S$), ao lado das métricas padrão:

• Taxa de Falso-Negativo (FNR): Visão de acurácia padrão.
• Severidade ($S$): O valor médio de $(1 - p)$ através dos ataques perdidos. $S \approx 1.0$ indica que o detector está quase certo de que o ataque perdido é seguro. Esta métrica é condicional ao ataque e invariante às taxas de base benignas.
• Erro de Calibração Condicional ao Ataque ($ECE_{atk}$): O erro de calibração esperado restrito apenas aos ataques reais.
• Erro de Calibração Agregado ($ECE_{pooled}$): A métrica padrão computada sobre ataques e benignos.

2.4 Validação e Experimentos de Mecanismo

• Validação de Jusante: Os injeções perdidas são executadas contra modelos alvo reais (Qwen2.5-7B/3B) para verificar se eles realmente funcionam como explorações.
• Experimento Estrutural vs. Conteúdo: Um experimento controlado 2x2 variando o payload (prejudicial vs. benigno-sequestro) e a estrutura (isolado vs. incorporado) para determinar se os detectores focam no conteúdo ou na estrutura da injeção.
• Juiz Generativo: Um LLM (Qwen2.5-7B) instruído para detectar injeções é testado para ver se os achados se generalizam além dos classificadores de encoder.
• Ataque Adversário: Um reescritor black-box tenta parafrasear injeções genuínas em prosa inócua para maximizar a confiança de segurança do detector (maximização de severidade).

3. Resultados Principais

3.1 O Fenômeno "Confidentemente Errado"

Em todos os detectores e mudanças, a Severidade ($S$) permanece entre 0.99 e 1.00 quando os detectores perdem um ataque.

• Embora a Taxa de Falso-Negativo (FNR) varie significamente (de 0.01 a 0.97 dependendo da mudança e do detector), a confiança dos erros não varia.
• Quando esses detectores falham, eles falham com quase certeza, fornecendo um veredito "seguro" para o sistema de jusante.

3.2 O Ponto Cego: Sequestro de Comportamento Indireto

Todos os três detectores (e o juiz generativo) exibem um ponto cego unânime para injeções de sequestro de comportamento indireto (ex: base encoding, substituição de emoji, sobrescrita de tradução).

• As FNRs para esta categoria variam de 0.69 a 0.97.
• A Severidade permanece próxima de 1.0.
• Esta falha é estrutural: os detectores falham em reconhecer uma instrução incorporada em um documento benigno se o payload em si não for "prejudicial" em um sentido semântico.

3.3 Falha das Métricas de Calibração Padrão

O artigo demonstra que o Erro de Calibração Agregado ($ECE_{pooled}$) falha em limitar este risco.

• Proposição: À medida que a taxa de base benigna aumenta, os falsos negativos confiantes são diluídos em bins dominados por benignos no cálculo do erro agregado.
• Evidência: O Prompt-Guard-2 (86M) em injeção indireta prejudicial tem um erro agregado de 0.062 (parecendo bem calibrado), mas um erro condicional ao ataque de 0.907 (severamente descalibrado). A métrica agregada "anula" a média do perigo específico dos ataques perdidos.

3.4 Mecanismo: Foco no Conteúdo, Não na Estrutura

Experimentos controlados revelam que os detectores focam no conteúdo superficial prejudicial em vez do fato estrutural de uma injeção.

• ProtectAI-v2: Os escores caem significativamente (de ~0.52 para ~0.07) quando um sequestro benigno é incorporado em um documento coerente, sugerindo que o contexto benigno "lava" o ataque.
• Prompt-Guard-2: Os escores permanecem próximos de zero independentemente do incorporamento, indicando que ele é cego a payloads benignos inteiramente.
• Juiz Generativo: Compartilha o mesmo ponto cego (FNR 0.805 em sequestro) e severidade (1.0), provando que o problema não é exclusivo de arquiteturas de encoder. No entanto, o juiz é suscetível a "meta-instruções" que lhe dizem que o conteúdo é seguro, enquanto os encoders não são.

3.5 Explorabilidade de Jusante

• Explorações Reais: As injeções perdidas com confiança não são teóricas; elas funcionam contra modelos reais com taxas comparáveis aos ataques que os detectores capturam (aprox. 40% de taxa de sucesso).
• Erros Fabricados: Um parafraseador fraco de caixa preta pode reescrever injeções genuínas em prosa inócua. Isso leva as taxas de erro dos detectores para perto de 1.0 e aumenta a "taxa de erro confiante fabricado" (ataques que são tanto passados com confiança quanto bem-sucedidos na jusante) para cerca de 15-17%, com maior sucesso na categoria mais perigosa (Substituição de Emoji, ~69%).

3.6 Falha de Transporte de Limiar

Reajustar o limiar nos dados benignos da distribuição alvo (o limiar "oráculo") não resolve o problema para mudanças indiretas.

• Para mudanças indiretas, os próprios documentos benignos pontuam alto, forçando o limiar para o teto para manter uma baixa taxa de falso-positivo.
• Consequentemente, mesmo um limiar oráculo resulta em FNRs de 0.98–0.99 para alguns detectores. Isso indica uma falha de discriminação (sobreposição de distribuições de escore) em vez de apenas uma falha de calibração.

4. Contribuições e Alegações

O artigo reivindica seis contribuições específicas:

1. Métrica de Severidade ($S$): Uma métrica assimétrica de segurança e condicional ao ataque que mede a confiança dos falsos negativos, invariante às taxas de base benignas.
2. Painel de Transporte de Limiar Congelado: Um framework de avaliação rigoroso fixando um ponto de operação por detector e medindo o desempenho através de cinco mudanças com intervalos de confiança bootstrap.
3. Proposição sobre Erro Agregado: Uma prova formal de que o erro de calibração agregado padrão não pode limitar o risco de falsos negativos confiantes porque eles são diluídos pela maioria benigna conforme a taxa de base cai.
4. Validação de Jusante: Evidência empírica de que injeções perdidas com confiança são explorações funcionais contra modelos reais.
5. Identificação de Mecanismo: Experimentos controlados mostrando que os detectores focam no conteúdo do payload em vez da estrutura da injeção, explicando o ponto cego para injeções de sequestro benigno.
6. Demonstração Adversária: Um adversário de caixa preta que explora o foco no conteúdo para fabricar erros confiantes, particularmente em categorias de ataque de alto potencial.

5. Significância e Limitações

Significância:
O artigo argumenta que a magnitude de um escore de guarda não deve ser lida como uma confiança calibrada de segurança uma vez que a distribuição de ataque muda. O principal risco não é apenas que os detectores percam ataques, mas que eles os percam com confiança, levando sistemas de jusante a confiar em explorações funcionais. A prática padrão de reportar apenas acurácia ou erro de calibração agregado esconde esse modo de falha específico e de alto risco.

Alegações Modestas:

• Os autores não alegam ser os primeiros a estudar a calibração de modelos de guarda ou a observar informalmente que o erro agregado falha em limitar o risco.
• Eles alegam ser os primeiros a formalizar essa falha via uma proposição, aplicar uma lente de severidade através de um painel de limiar congelado, validar as explorações de jusante, identificar o mecanismo estrutural (foco no conteúdo) e demonstrar um adversário de maximização de severidade.
• O estudo é limitado aos checkpoints lançados conforme publicados; não pretende descrever o melhor desempenho alcançável de tais modelos.
• O ataque de "erro fabricado" usa um parafraseador fixo e fraco; as taxas reportadas são limites inferiores do que é alcançável.

Conclusão:
O artigo conclui que fechar essa lacuna requer mais do que modelos maiores. É necessário sinal de treinamento para injeção estrutural independente da nocividade do payload e objetivos de calibração que penalizem falsos negativos confiantes em vez do erro agregado. Até lá, os detectores devem ser avaliados com métricas de severidade e calibração condicional ao ataque para tornar as falhas confiantes visíveis antes da implantação.