Resumo Técnico: Falar é (Não) Barato: Uma Auditoria de Cobertura de Taxonomia e Benchmark para Ataques a LLMs

Declaração do Problema

A rápida proliferação da pesquisa em segurança de Modelos de Linguagem de Grande Escala (LLMs) criou um cenário fragmentado, onde a superfície de ameaças é mal compreendida e a infraestrutura de avaliação está desalinhada com os riscos reais. Os autores identificam três problemas interconectados:

1. Falta de Taxonomia Quantitativa: As pesquisas existentes cobrem apenas 50–150 artigos manualmente, falhando em escalar com o crescimento do campo (agora excedendo 932 artigos únicos com mais de 6.300 menções a ataques no corpus dos autores).
2. Fragmentação de Nomenclatura: Ataques são frequentemente redescobertos com pequenas variações, levando a múltiplos nomes superficiais para a mesma técnica (por exemplo, o ataque GCG aparece sob 29 nomes distintos em 376 artigos), o que impede a reprodutibilidade e a meta-análise.
3. Pontos Cegos na Avaliação: Os benchmarks atuais carecem de "validade externa". Embora benchmarks individuais possam ser internamente consistentes, não está claro se a infraestrutura de avaliação coletiva cobre toda a superfície de ataque. Sem um mapa claro do cenário de ameaças, os frameworks de defesa podem deixar os usuários vulneráveis em graus indefinidos.

Metodologia

Os autores construíram um framework baseado em dados para auditar a cobertura dos benchmarks de ataques a LLMs contra a superfície de ameaças real.

Corpus e Extração

• Fonte de Dados: Um corpus de 932 artigos do arXiv publicados entre o primeiro semestre de 2023 e o primeiro semestre de 2026, obtidos do Promptfoo LLM Security Database.
• Pipeline de Extração: Utilizou o Gemini 3.1 Pro para extrair ataques em tempo de inferência (excluindo ataques na fase de treinamento, como envenenamento de dados). O processo resultou em 6.366 menções iniciais a ataques.
• Normalização: Através de normalização de maiúsculas/minúsculas, mesclagem de aliases e deduplicação, as menções foram reduzidas para 2.521 grupos únicos de ataques. Este processo envolveu a curadoria manual de mais de 50 clusters de variantes para resolver a fragmentação de nomenclatura.
• Validação: Um sistema de classificação de três níveis (Busca direta, Correspondência difusa, Correspondência semântica) foi empregado. A avaliação humana de 200 amostras estratificadas resultou em 92,0% de precisão, e o acordo entre anotadores no nível da célula da matriz foi de 86,1%.

Construção da Taxonomia e Matriz

Os autores desenvolveram duas estruturas complementares:

1. Taxonomia de 507 Folhas: Uma estrutura hierárquica que organiza os ataques em cinco categorias de tempo de inferência (Quebra de Jaula, Injeção de Prompt, Divulgação de Informações, Interrupção de Serviço, Manipulação de Decodificação) e uma categoria ortogonal para métodos de Geração de Ataques. 401 folhas são preenchidas pelo corpus; 106 são espaços reservados derivados da modelagem de ameaças.
2. Matriz 4×6 Alvo × Técnica: Fundamentada no modelo de ameaças STRIDE, esta matriz mapeia ataques com base em:
   • Linhas Alvo (4): Bypass de Segurança e Alinhamento, Sequestro de Sistema e Ferramentas, Exfiltração de Informações e Interrupção de Serviço.
   • Colunas de Técnica (6): Instrucional, Persuasão, Ofuscação, Cross-Modal, Injeção Indireta e Internos do Modelo.
   • Lógica de Classificação: Os ataques são mapeados para células com base na camada de defesa específica que contornam (por exemplo, filtros de entrada versus treinamento de alinhamento) e no objetivo adversário.

Auditoria de Cobertura de Benchmark

Os autores mapearam seis benchmarks públicos (HarmBench, InjecAgent, AgentDojo, AdvBench, JailbreakBench, StrongREJECT) na matriz, correspondendo os métodos avaliados às suas folhas de taxonomia e células de matriz correspondentes.

Principais Resultados

1. Concentração Extrema e Fragmentação

• Desequilíbrio na Pesquisa: O Bypass de Segurança e Alinhamento domina a literatura, representando 74,4% de todas as folhas da taxonomia (377/507).
• Caos de Nomenclatura: O ataque GCG é o mais referenciado, mas com nomenclatura inconsistente, aparecendo em 29 formas. Sessenta folhas da taxonomia funcionam como "caixas genéricas", absorvendo 10+ técnicas distintas cada, inflando a aparente novidade e complicando a comparação.
• Tendências Temporais: Embora o Bypass de Segurança permaneça dominante, sua parcela de grupos únicos de ataques caiu de 92% para 74% entre o segundo semestre de 2023 e o primeiro semestre de 2026, com um aumento correspondente no Sequestro de Sistema e Exfiltração de Informações. No entanto, a taxa de novidade estabilizou-se em ~18%, sugerindo que o campo está amadurecendo, mas ainda se expandindo.

2. Lacunas Críticas de Avaliação

A auditoria revela que os três principais benchmarks (HarmBench, InjecAgent, AgentDojo) ocupam células não sobrepostas, cobrindo coletivamente no máximo 25% da matriz de 24 células.

• Sobreposição Zero: O HarmBench foca exclusivamente no Bypass de Segurança (usando técnicas de Ofuscação, Persuasão, Instrucional e Cross-Modal), enquanto o InjecAgent e o AgentDojo focam na Injeção Indireta para Sequestro de Sistema e Exfiltração de Informações.
• Grandes Pontos Cegos:
  • Interrupção de Serviço (Linha Inteira): Nenhum benchmark avalia ataques que visam a disponibilidade (por exemplo, esgotamento de recursos, negação de carteira). Apesar de ataques publicados alcançarem amplificação de tokens de 46× e aumentos de latência de 100×, esta categoria possui zero avaliação padronizada.
  • Internos do Modelo (Coluna Inteira): Nenhum benchmark avalia mecanismos como direcionamento de ativação, supressão de logit ou sondagem de canal lateral. Ataques nesta categoria (por exemplo, supressão de logit) demonstraram taxas de sucesso de ataque de 96% em comportamentos padrão, mas permanecem não testados pela infraestrutura existente.
  • Bypass de Segurança × Injeção Indireta: Nenhum benchmark testa se a injeção indireta via dados externos pode contornar o alinhamento de segurança para produzir conteúdo prejudicial.

3. Propriedades Estruturais

O artigo identifica que o campo sofre de "desalinhamento de conjuntos de dados" (benchmarks amostrando muito estreitamente do espaço de técnicas) e "desalinhamento de métricas" (falta de métricas para custo, latência ou acesso white-box necessários para certos ataques). A concentração da pesquisa no Bypass de Segurança cria pontos cegos sistemáticos onde os ataques são mais custosos em ambientes de produção.

Significado e Alegações

O artigo afirma que sua contribuição principal não é meramente a descoberta de lacunas, mas a provisão de um framework reutilizável para validação externa ao benchmark. Ao mudar de avaliar se um único benchmark mede o que afirma (validade interna) para auditar se a infraestrutura de avaliação do campo cobre coletivamente a superfície de ameaças (validade externa), os autores fornecem um mecanismo para rastrear lacunas de avaliação ao longo do tempo.

Os autores afirmam que:

• O cenário atual de avaliação está estruturalmente incompleto, deixando categorias inteiras de ameaças STRIDE (Interrupção de Serviço, Internos do Modelo) sem avaliação pública padronizada.
• A taxonomia liberada, os registros de ataques e os mapeamentos de cobertura servem como artefatos extensíveis. À medida que novos benchmarks surgem, eles podem ser mapeados para a mesma matriz, permitindo que a comunidade determine objetivamente se as lacunas de cobertura estão sendo fechadas.
• Abordar essas lacunas requer nova infraestrutura de medição (por exemplo, contabilidade de recursos por solicitação para Interrupção de Serviço) que os benchmarks atuais em nível de prompt não podem fornecer.

O trabalho conclui que a concentração de benchmarks em uma fatia estreita da superfície de ataque é uma questão estrutural, não uma coincidência, e que fechar essas lacunas é essencial para a maturidade da avaliação de segurança de LLMs.