🤖 machine learning

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

Este artigo revela que a validação cruzada padrão superestima significativamente a generalização de classificadores de prompts maliciosos em 8–16,5 pontos de AUC em comparação com uma avaliação rigorosa de Leave-One-Dataset-Out, expondo atalhos dependentes de dataset amplamente disseminados nas características do modelo que as técnicas atuais de generalização de domínio não conseguem mitigar.

Autores originais: Max Fomin

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Max Fomin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um segurança para um museu de alta tecnologia. Seu objetivo é ensinar o segurança a identificar um ladrão escondendo um artefato roubado, não importa como ele tente se disfarçar. No mundo da inteligência artificial, esses "ladrões" são instruções maliciosas tentando enganar um cérebro robótico (chamado de Large Language Model ou Modelo de Linguagem Grande) para fazer algo que não deveria, como revelar segredos ou escrever código prejudicial. Isso é chamado de "prompt injection" (injeção de comando). Para treinar o segurança, os cientistas geralmente mostram a ele uma enorme pilha de fotos de ladrões conhecidos e de visitantes inocentes conhecidos. Se o segurança acertar 99% das fotos, nós geralmente comemoramos e dizemos: "Ótimo trabalho! Você está pronto para o mundo real!"

Mas aqui está o detalhe: e se o segurança não estiver realmente aprendendo como um ladrão se parece? E se ele estiver apenas aprendendo como o álbum de fotos se parece? Talvez todas as fotos de ladrões tenham sido tiradas em uma sala vermelha, e todas as fotos de pessoas inocentes tenham sido tiradas em uma sala azul. O segurança pode estar apenas checando a cor da parede em vez de olhar para o rosto da pessoa. Este artigo é sobre um grupo de pesquisadores que decidiu testar se seus seguranças eram realmente inteligentes ou apenas muito bons em memorizar a cor da sala de treinamento. Eles construíram um novo teste onde o segurança tem que identificar um ladrão em uma sala completamente nova que ele nunca viu antes, para ver se ele consegue realmente distinguir o bom do mau.

O Grande Truque da "Cor da Sala"

Os pesquisadores, liderados por Max Fomin, descobriram que a maneira padrão de testar os seguranças de IA está nos enganando. Eles descobriram que, quando testamos esses seguranças usando o método usual (misturando todas as fotos de treinamento e de teste), os seguranças parecem gênios, obtendo pontuações incrivelmente altas. Mas quando os pesquisadores usaram um teste mais rigoroso chamado LODO (Leave-One-Dataset-Out — Deixar um Conjunto de Dados de Fora), onde o segurança é forçado a enfrentar uma "sala" completamente nova (um novo conjunto de dados) que ele nunca viu durante o treinamento, os seguranças subitamente pareceram muito menos impressionantes.

Em termos simples, os testes padrão foram como dar ao segurança um teste de múltipla escolha onde as respostas estavam escondidas no formato da pergunta. O artigo mostra que os classificadores de segurança atuais estão frequentemente apenas memorizando "atalhos de conjuntos de dados". Em vez de aprender os padrões profundos e complexos de um ataque malicioso, eles estão aprendendo pistas superficiais como "este texto parece ter vindo do arquivo 'WildJailbreak', então deve ser ruim" ou "este e-mail parece ter vindo do arquivo 'Enron', então deve ser seguro".

O Experimento: 18 Diferentes Salas

Para provar isso, a equipe construiu um campo de treinamento massivo com 18 diferentes conjuntos de dados (coleções de texto), contendo mais de 105.000 amostras. Estes incluíam desde tentativas diretas de jailbreak até e-mails comerciais inofensivos. Eles treinaram classificadores de segurança nesses textos usando quatro modelos diferentes de IA (incluindo Llama, Gemma e Qwen).

Quando usaram o método padrão de "misturar e combinar" para testes, os classificadores obtiveram pontuações quase perfeitas, com taxas de precisão frequentemente acima de 99%. Parecia uma vitória total. No entanto, quando mudaram para o método LODO — treinando em 17 conjuntos de dados e testando estritamente no 18º que eles nunca tinham visto — as pontuações caíram dramaticamente.

A lacuna era enorme. Os testes padrão superestimaram a capacidade de generalização da IA em 8,0 a 16,5 pontos percentuais. Em casos específicos, a queda foi ainda mais chocante, com lacunas de precisão variando de 1% a 25%, dependendo do conjunto de dados. Por exemplo, um classificador que parecia um gênio de 99,5% nos testes padrão caiu para um desempenho de 79,4% quando testado em um novo conjunto de dados chamado "Mosscap". Isso provou que a IA não estava aprendendo o conceito de "comportamento ruim"; ela estava apenas reconhecendo o "estilo" dos dados de treinamento.

O Trabalho de Detetive de "Atalhos"

Os pesquisadores não pararam apenas ao encontrar a lacuna; eles queriam saber por que isso acontecia. Eles usaram uma ferramenta especial chamada Autoencoder Esparso (SAE), que atua como um microscópio para olhar os pequenos interruptores internos (características/features) dentro do cérebro da IA. Eles queriam ver quais interruptores estavam sendo acionados quando a IA tomava uma decisão.

Eles descobriram que uma parte significativa do "poder cerebral" da IA estava sendo desperdiçada em atalhos de conjuntos de dados.

28% a 44% das principais características que a IA usava para tomar decisões eram, na verdade, apenas atalhos que identificavam o conjunto de dados, não o ataque.
Eles até construíram um "classificador de identidade de conjunto de dados" separado que podia adivinhar de qual conjunto de dados vinha um trecho de texto com 96,6% de precisão, apenas olhando para os sinais internos da IA. Isso confirmou que os conjuntos de dados eram tão distintos que a IA podia diferenciá-los facilmente, e ela estava usando essa habilidade para trapacear no teste de segurança.

O artigo também explorou se as correções padrão poderiam resolver o problema. Eles tentaram truques comuns como "treinamento adversarial" (ensinando a IA a lutar contra exemplos complicados) e "reponderação" (fazendo a IA prestar mais atenção em exemplos difíceis). Infelizmente, nenhuma dessas correções padrão fechou a lacuna. Os pesquisadores descobriram que os sinais de "qual conjunto de dados este é" e "isso é uma ameaça de segurança" estavam emaranhados dentro do cérebro da IA. Tentar remover o sinal do "conjunto de dados" acidentalmente prejudicava o sinal de "segurança", tornando o problema ainda mais difícil de resolver.

A Nota Positiva: Melhores Explicações

Embora a notícia sobre a lacuna seja séria, o artigo oferece uma ferramenta inteligente para ajudar a resolver o problema no futuro. Os pesquisadores desenvolveram uma forma de "ponderar" as explicações da IA. Em vez de apenas perguntar: "Quais características fizeram você pensar que isso era ruim?", eles perguntaram: "Quais características fizeram você pensar que isso era ruim e permaneceram consistentes em todos os diferentes quartos?".

Ao filtrar as características que eram apenas "atalhos de conjuntos de dados", eles conseguiram gerar explicações muito mais confiáveis para o motivo de uma IA sinalizar um prompt. Eles descobriram que este método alterou as 20 principais razões para sinalizar um prompt em cerca de 98% dos casos, limpando efetivamente o raciocínio da IA e removendo a lógica de "trapaça".

A Conclusão

Este artigo não afirma ter resolvido o problema da segurança da IA. Na verdade, ele declara explicitamente que eles não encontraram um método para fechar a lacuna usando as técnicas atuais. Em vez disso, eles forneceram um choque de realidade crucial. Eles mostraram que o "padrão ouro" atual para testar a segurança da IA é falho porque permite que os modelos de IA trapaceiem ao memorizar a origem dos dados em vez de compreender o perigo.

A lição para qualquer pessoa que constrói ou utiliza agentes de IA é clara: se o seu segurança pontua 99% em um teste onde o treinamento e os dados de teste vêm da mesma pilha, você não pode confiar nele para lidar com um ataque do mundo real vindo de uma nova fonte. Você precisa testá-lo em dados que ele nunca viu antes para saber se ele é verdadeiramente seguro. Os autores disponibilizaram suas ferramentas para que outros possam realizar esses testes mais rigorosos, garantindo que os futuros seguranças de IA estejam realmente aprendendo a detectar os ladrões, e não apenas a cor da sala.

Resumo Técnico: Quando os Benchmarks Mentem: Avaliando Classificadores de Prompts Maliciosos sob Mudança de Distribuição Real

Declaração do Problema

A implantação de agentes baseados em LLM em ambientes autônomos introduz vulnerabilidades críticas de segurança, especificamente injeção de prompt, ataques de jailbreak e solicitações prejudiciais. Embora a literatura recente tenha desenvolvido classificadores para detectar essas ameaças, as práticas de avaliação atuais superestimam significativamente as capacidades de generalização. Os protocolos padrão tipicamente empregam divisões de treino-teste onde as amostras de teste originam-se das mesmas fontes de dados do treinamento. Esta metodologia permite que os classificadores explorem "sinais de identidade de dataset"—características que indicam a proveniência dos dados (por exemplo, formatação específica do WildJailbreak ou Enron) em vez de aprender semânticas de ataque generalizáveis. Consequentemente, os modelos reportam um desempenho quase perfeito (AUC > 0,99) que falha em se traduzir para cenários reais de fora da distribuição (OOD).

Metodologia

Construção do Benchmark

Os autores compilaram um benchmark de 18 datasets totalizando 105.000 amostras, cobrindo quatro famílias de inputs maliciosos (solicitações prejudiciais, jailbreaks, injeções de prompt incluindo indiretas/baseadas em agentes, e ataques de extração) juntamente com fontes benignas. Os datasets variam em composição, sendo alguns 100% maliciosos, 100% benignos ou de classe mista.

Protocolo de Avaliação: Leave-One-Dataset-Out (LODO)

Para medir a verdadeira generalização, o artigo propõe a avaliação Leave-One-Dataset-Out (LODO). Diferente da validação cruzada (CV) padrão ou conjuntos de teste retidos que misturam dados das mesmas fontes, o LODO treina um classificador em $N-1$ datasets e o avalia estritamente no $N$ -ésimo dataset retido. Isso garante que o classificador nunca tenha visto nenhum exemplo da fonte da distribuição de teste.

Análise de Modelos e Características

Modelos: Os experimentos abrangem quatro LLMs de três famílias: Llama-3.1-8B, Gemma-3-27B, Qwen-3.5-2B/4B, e resultados parciais para Llama-3.3-70B.
Classificadores: O estudo utiliza classificadores baseados em ativação (probes lineares e MLPs de 2 camadas) treinados em:
- Ativações Brutas: Extraídas do fluxo residual (primariamente a camada 31 para Llama).
- Características de Autoencoder Esparso (SAE): Ativações decompostas da camada 27 (Llama) e camada 42 (Gemma) para permitir interpretabilidade.
Análise de Atalhos (Shortcut Analysis): Os autores introduzem uma métrica de retenção de coeficiente LODO ( $r_j$ ) para analisar as características SAE. Esta métrica mede a estabilidade do coeficiente do classificador de uma característica quando um dataset específico é retido. Características com baixa retenção ( $r_j \ll 1$ ) ou inversões de sinal são identificadas como "atalhos de dataset".
Comparações de Baseline: O estudo compara probes de ativação contra guardrails de produção (PromptGuard 2, LlamaGuard), variantes de LLM-as-Judge (LJ) e detectores de injeção de prompt baseados em texto dedicados (ProtectAI, Deepset).

Principais Resultados

1. A Avaliação Padrão Superestima Severamente a Generalização

Avaliações de CV de 5 dobras e de conjuntos de teste retidos reportam pontuações AUC entre 0,996 e 0,999. Em contraste, a avaliação LODO revela uma queda significativa de desempenho:

Gap Agregado: O gap de AUC CV-LODO varia de 8,0 a 16,5 pontos percentuais entre os quatro modelos.
Variância por Dataset: O gap de acurácia para datasets específicos retidos varia de 1,2% a 25,4%. Por exemplo, no dataset Jayavibhav, a acurácia cai de 94,5% (teste retido) para 69,1% (LODO).
Universalidade: Este gap é consistente em todas as famílias de modelos e tamanhos testados (de 2B a 70B parâmetros).

2. Identidade do Dataset e Sinais de Segurança Estão Entrelaçados

Distinguibilidade: Um classificador de regressão logística pode prever a identidade do dataset de uma amostra com 96,6% de acurácia usando características SAE e 89,1% usando ativações brutas, confirmando que os datasets são trivialmente distinguíveis no espaço de características.
Sobreposição de Subespaço: Projetar as ativações no complemento ortogonal das principais direções preditivas de dataset degrada o desempenho LODO em 1,75 pontos percentuais. Isso sugere que o subespaço que identifica o dataset sobrepõe-se parcialmente ao subespaço relevante para a classificação de segurança.
Atalhos: A análise das 50 principais características SAE revela que 28% (Llama) a 44% (Gemma) são "atalhos". Estes incluem "atalhos de dataset puro" (predição direta da identidade do dataset) e "atalhos dependentes de contexto" (características que disparam através de diversos datasets, mas derivam o sinal de classe apenas de composições específicas de datasets).

3. Ineficácia das Mitigações Padrão

Os autores testaram sete técnicas padrão de generalização de domínio (DG), incluindo treinamento adversarial (DANN), projeção de subespaço, reponderação de amostras e balanceamento de classes. Nenhum desses métodos conseguiu fechar o gap CV-LODO; em alguns casos (ex: projeção de subespaço), o desempenho degradou ainda mais. Isso implica que as suposições padrão de DG — de que sinais identificadores de domínio e sinais relevantes para a tarefa podem ser limpos e separados — não se sustentam para a detecção de ataques de prompt.

4. Comparação com Baselines de Produção

Probes de Ativação vs. Guardrails: Em taxas de Falso Positivo (FPR) equivalentes, os probes baseados em ativação superam o PromptGuard 2 e o LlamaGuard em ataques indiretos e agênticos, que os guardrails puramente textuais frequentemente falham em detectar devido à falta de suporte a esquemas de ferramentas (tool-schema).
Sensibilidade do LLM-as-Judge: O desempenho do LLM-as-Judge é altamente sensível a templates de prompt, com Taxas de Verdadeiro Positivo (TPR) variando de 11% a 93% dependendo do enquadramento do prompt, muitas vezes ao custo de FPRs inaceitavelmente altos.
Detectores de Texto: Classificadores de texto dedicados (ex: ProtectAI, Deepset) exibem trade-offs extremos sob avaliação do tipo LODO, ou falham em detectar a maioria dos ataques ou geram taxas de falsos positivos inutilizáveis.

5. Explicações Pesadas por LODO

Ao ponderar as atribuições SAE com a métrica de retenção ( $z_j \cdot w_j \cdot r_j$ ), os autores filtram características de artefatos de dataset. Isso reordena as 20 principais características para aproximadamente 98% das amostras, fornecendo explicações por prompt mais confiáveis que focam em padrões de ataque genuínos em vez de formatações específicas de datasets.

Significância e Alegações

O artigo alega que o paradigma atual de avaliação para classificadores de ataque de prompt é fundamentalmente falho, levando a uma falsa sensação de segurança. As principais contribuições são:

Necessidade do LODO: Estabelecer que a avaliação Leave-One-Dataset-Out é necessária para expor o verdadeiro gap de generalização (8–16pp) que a CV padrão mascara.
Taxonomia de Atalhos: Definir uma métrica de retenção e uma taxonomia que identifica características dependentes de dataset que heurísticas de razão de disparo (firing-ratio) deixam passar.
Evidência de Entrelaçamento: Demonstrar que os subespaços de identidade de dataset e de relevância de segurança se sobrepõem parcialmente, explicando por que correções de generalização de domínio padrão falham.
Utilidade Diagnóstica: Fornecer um framework para filtrar artefatos de dataset de explicações e testar classificadores sob condições que refletem melhor os deslocamentos (shifts) do mundo real em implantações.

Os autores declaram explicitamente que não fornecem uma solução definitiva para fechar o gap, observando que o desentrelaçamento da identidade do dataset dos sinais de segurança permanece um desafio em aberto. Em vez disso, oferecem uma ferramenta diagnóstica para evitar promessas excessivas sobre o desempenho em produção baseadas em métricas de CV infladas.