RedBench: A Universal Dataset for Comprehensive Red Teaming of Large Language Models

Resumo Técnico: RedBench

1. Problema Identificado

À medida que os Modelos de Linguagem de Grande Escala (LLMs) se tornam fundamentais em aplicações críticas (saúde, jurídico, etc.), a necessidade de garantir sua robustez contra prompts adversários é urgente. No entanto, o estado da arte em "Red Teaming" (testes de invasão para identificar vulnerabilidades) enfrenta três desafios principais:

• Inconsistência na Categorização de Riscos: Os conjuntos de dados existentes utilizam definições de risco heterogêneas, sobrepostas ou ambíguas, dificultando comparações diretas entre diferentes estudos.
• Cobertura Limitada e Desbalanceada: Muitos datasets focam apenas em tópicos específicos (como toxicidade ou jailbreaking geral), negligenciando domínios especializados (ex: saúde, militar) e categorias de risco emergentes (ex: interferência eleitoral, confabulação).
• Avaliação Desatualizada: A maioria das metodologias de red teaming foi desenvolvida para arquiteturas mais antigas, faltando benchmarks robustos para modelos modernos de última geração (como Qwen2.5, Llama 3.1 e Gemma 2).

2. Metodologia

Os autores propõem o RedBench, um dataset universal que unifica e padroniza a avaliação de vulnerabilidades em LLMs.

• Coleta e Agregação de Dados:

  • O dataset agrega 37 benchmarks existentes de conferências de ponta (NeurIPS, ACL, ICLR, etc.) e repositórios confiáveis.
  • Totaliza 29.362 amostras, divididas em duas direções principais:
    1. Ataque (33 datasets): Prompts projetados para explorar vulnerabilidades e elicitar respostas inseguras, enviesadas ou errôneas.
    2. Recusa (4 datasets): Prompts benignos projetados para testar se o modelo recusa indevidamente solicitações legítimas (over-refusal), comprometendo a usabilidade.

• Taxonomia Padronizada:
  Para resolver a inconsistência de rótulos, o RedBench aplica uma taxonomia unificada a todas as amostras, atribuindo dois rótulos:

  1. Categoria de Risco (22 categorias): Define o tipo de dano (ex: Conteúdo Abusivo, Ameaças Cibernéticas, Desinformação, Risco de CBRN, Interferência Eleitoral, etc.). Para prompts de recusa benigna, usa-se a categoria "Sem Risco".
  2. Domínio (19 domínios): Especifica o contexto de aplicação (ex: Saúde, Tecnologia, Política, Militar, Educação, etc.).

• Processo de Anotação:
  Utilizou-se um pipeline semi-automatizado combinando o modelo Qwen2.5-72B-Instruct para classificação inicial e validação humana para garantir precisão, especialmente em domínios especializados. A concordância entre o modelo e anotadores humanos foi alta (média de ~85% para categorias de risco e ~98% para domínios).

• Configuração Experimental:

  • Modelos Alvo: 6 LLMs alinhados à segurança (4 open-source: Llama-3.1-8B, Gemma-2-9B, Qwen2.5-7B, Ministral-8B; e 2 closed-source: GPT-4o Mini, GPT-4.1-Nano).
  • Métricas:
    • Taxa de Rejeição (Rejection Rate - RR): Para avaliar over-refusal (prompts benignos rejeitados).
    • Taxa de Sucesso do Ataque (Attack Success Rate - ASR): Para avaliar a eficácia de prompts maliciosos em contornar as defesas.
  • Métodos de Red Teaming Testados: Direto, Zero-Shot, HumanJailbreak (templates manuais) e RainbowPlus (busca adaptativa de qualidade-diversidade).

3. Principais Contribuições

1. RedBench Dataset: Um recurso unificado com 29k+ amostras, oferecendo a primeira taxonomia consistente de 22 categorias de risco e 19 domínios para avaliação abrangente de LLMs.
2. Análise de Lacunas: Identificação de desequilíbrios significativos nos benchmarks atuais (ex: excesso de dados em "Conhecimento Geral" e "Tecnologia", e escassez em "Religião", "Viagem" e "Interferência Eleitoral").
3. Baselines para Modelos Modernos: Estabelecimento de linhas de base de desempenho para modelos SOTA (State-of-the-Art) de 2024/2025, permitindo comparações justas entre arquiteturas open-source e closed-source.
4. Recursos de Código Aberto: Disponibilização pública do dataset e dos scripts de avaliação para promover transparência e reprodutibilidade.

4. Resultados Chave

• Vulnerabilidade de Modelos Open-Source:

  • Modelos open-source demonstraram alta vulnerabilidade a ataques, especialmente com o método RainbowPlus.
  • O Ministral-8B-Instruct-2410 teve uma ASR de 97,81% e o Llama-3.1-8B-Instruct atingiu 96,25% com RainbowPlus no benchmark HarmBench.
  • Vulnerabilidades específicas foram notadas em domínios como Nutrição e Meio Ambiente, e categorias como Dano Econômico e Extremismo.

• Resistência de Modelos Closed-Source:

  • Modelos proprietários mostraram resistência significativamente maior. O GPT-4.1-Nano manteve uma ASR extremamente baixa de 6,88% (RainbowPlus) e 0,00% (HumanJailbreak).
  • O GPT-4o Mini também superou os modelos abertos, com ASR máxima de 28,75%.

• Problemas de Usabilidade (Over-Refusal):

  • Houve uma variação significativa na taxa de rejeição de prompts benignos.
  • O Llama-3.1-8B-Instruct apresentou a maior taxa média de rejeição (28,53%), indicando um comportamento excessivamente defensivo que pode prejudicar a usabilidade em cenários reais.
  • O Gemma-2-9B-It foi o mais permissivo (13,46% de rejeição média), sugerindo um equilíbrio diferente entre segurança e utilidade.

• Eficácia dos Métodos de Ataque:

  • O método RainbowPlus provou ser o mais potente e versátil, conseguindo contornar até mesmo as defesas robustas de modelos fechados, enquanto métodos manuais (HumanJailbreak) falharam quase completamente contra modelos fechados.

5. Significado e Impacto

O RedBench representa um avanço crítico na segurança de IA ao fornecer uma infraestrutura padronizada para avaliação.

• Padronização: Permite que pesquisadores comparem vulnerabilidades de forma consistente, superando a fragmentação atual dos benchmarks.
• Direcionamento de Pesquisa: As descobertas sobre desequilíbrios de cobertura (ex: falta de dados em contextos políticos ou religiosos) guiam o desenvolvimento futuro de datasets mais abrangentes.
• Segurança em Produção: Ao revelar que modelos open-source atuais são significativamente mais vulneráveis do que os closed-source a ataques sofisticados, o trabalho destaca a necessidade urgente de melhorar os mecanismos de alinhamento de segurança em modelos abertos, especialmente para aplicações em setores críticos como saúde e finanças.
• Transparência: A abertura do dataset e do código fomenta uma comunidade de pesquisa colaborativa para desenvolver LLMs mais seguros e confiáveis.

Em suma, o RedBench não é apenas um novo conjunto de dados, mas uma ferramenta fundamental para estabelecer padrões rigorosos de avaliação de segurança para a próxima geração de Modelos de Linguagem.