MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety

Resumo Técnico: MultiBreak: Um Benchmark Escalável e Diversificado de Jailbreak Multi-turn para Avaliação da Segurança de LLMs

Declaração do Problema
Embora alinhar Modelos de Linguagem de Grande Porte (LLMs) com valores humanos seja crítico, ataques adversariais de "jailbreak" permanecem uma ameaça significativa. Pesquisas iniciais focaram em prompts de turno único, mas estes falham em capturar comportamentos adversariais do mundo real, onde atacantes refinam iterativamente intenções ao longo de conversas multi-turno para contornar barreiras de segurança. Benchmarks multi-turno existentes sofrem de duas limitações primárias: (1) Diversidade Limitada, onde a deduplicação de intenções prejudiciais reduz drasticamente o pool de intenções únicas, falhando em capturar questões de segurança de granularidade fina; e (2) Escalabilidade, onde a dependência de templates pré-projetados ou red-teaming humano em pequena escala resulta em conjuntos de dados muito pequenos para avaliar rigorosamente a robustez de LLMs diversos. Consequentemente, benchmarks atuais frequentemente produzem avaliações inconsistentes e perdem vulnerabilidades sutis que só emergem em dinâmicas conversacionais complexas.

Metodologia
Os autores propõem o MultiBreak, um benchmark escalável e diversificado de jailbreak multi-turno construído via um framework de aprendizado ativo. O processo de construção é enquadrado como um problema de aprendizado ativo baseado em pool envolvendo três etapas principais:

1. Diversificação de Dados e Inicialização:

   • Os autores agregam um pool de grande escala de intenções prejudiciais de cinco conjuntos de dados multi-turno existentes e nove conjuntos de dados de intenções de turno único.
   • Um processo de filtragem remove duplicatas usando similaridade semântica (via embeddings Qwen3-0.6B) e elimina "falsos positivos" avaliando contra modelos vítimas de código fechado para garantir altas Taxas de Sucesso de Ataque (ASR).
   • Isso resulta em um conjunto de dados inicial de 2.201 prompts adversariais multi-turno (MTAPs) cobrindo 3.010 intenções prejudiciais únicas.

2. Loop Iterativo de Aprendizado Ativo:

   • Treinamento do Gerador: Em vez de prompting, os autores empregam Ajuste Fino Supervisionado (SFT) em geradores de ataque (LLaMA3-8B, Qwen2.5-7B e DeepSeek-Distill-Qwen-14B). O ajuste fino é escolhido porque alcança ASR significativamente maior do que o prompting e impede que modelos alinhados à segurança recusem-se a gerar conteúdo prejudicial quando expostos diretamente a intenções.
   • Função de Aquisição: Prompts gerados são avaliados contra um conjunto de modelos vítimas e juízes. Uma função de aquisição composta particiona as saídas em três categorias:
     • ACEITAR: Alta ASR e alta fidelidade (alinhamento semântico com a intenção original).
     • REESCREVER: Alta incerteza (desacordo entre juízes) mas alta fidelidade. Essas amostras "limítrofes" são processadas por um reescrevedor guiado por incerteza (Qwen2.5-7B) para esclarecer a formulação e fortalecer o sinal adversarial sem alterar a intenção central.
     • DESCARTAR: Baixa ASR ou baixa fidelidade.
   • Retreinamento: Amostras aceitas e reescritas com sucesso são adicionadas ao conjunto de treinamento, e o gerador é iterativamente ajustado para produzir candidatos de ataque mais fortes.

3. Reescrita Guiada por Incerteza:

   • Para recuperar sinais de treinamento valiosos de amostras que têm sucesso em alguns modelos mas falham em outros, um modelo reescrevedor esclarece formulações ambíguas e fortalece táticas de persuasão. Esta etapa reduz consistentemente a incerteza dos juízes ao longo das iterações, convertendo amostras limítrofes em jailbreaks confiáveis.

Principais Contribuições

• Framework Escalável de Aprendizado Ativo: Um pipeline que ajusta iterativamente geradores de ataque e refina amostras de alta incerteza, permitindo a expansão eficiente de prompts adversariais enquanto mantém qualidade e diversidade.
• Benchmark de Grande Escala e Diversificado (MultiBreak): O conjunto de dados resultante contém 10.389 prompts adversariais multi-turno abrangendo 2.665 intenções prejudiciais únicas. Ele cobre a faixa mais ampla de intenções semanticamente distintas até a data, com uma pontuação de diversidade de 0,942, superando significativamente benchmarks existentes como CoSafe, MHJ, SafeDialBench e RedQueen.
• Insights de Segurança de Granularidade Fina: O benchmark revela que categorias de ataque diversas descobrem vulnerabilidades específicas de LLMs. Notavelmente, categorias que parecem benignas ou têm baixa ASR em configurações de turno único exibem eficácia adversarial substancialmente maior em cenários multi-turno.

Resultados Experimentais
Avaliações empíricas em modelos de código aberto (DeepSeek-R1-Distill-Qwen-7B, Qwen3-8B, LLaMA3.1-8B) e de código fechado (GPT-4.1-mini, Gemini-2.5-flash-lite) demonstram:

• Taxas de Sucesso de Ataque (ASR) Superiores: O MultiBreak alcança até 54,0% e 34,6% de ASR mais alto do que o segundo melhor conjunto de dados no DeepSeek-R1-7B e GPT-4.1-mini, respectivamente.
• Robustez entre Modelos: O conjunto de dados mantém alta eficácia entre diferentes modelos vítimas e juízes (LLaMA Guard e GPT-4o-mini), indicando forte generalização.
• Vantagem Multi-turno: Experimentos mostram que aumentar o número de turnos transforma prompts de turno único "benignos" em jailbreaks eficazes, com ganhos de ASR de até 44,8% para categorias específicas de baixa vulnerabilidade quando estendidos para seis turnos.
• Limitações de Defesa: Mesmo com métodos de defesa existentes (por exemplo, X-Boundary, NBF-LLM), o MultiBreak expõe vulnerabilidades persistentes, particularmente nas categorias de conselhos regulamentados de alto risco e crimes financeiros.

Significado
O artigo posiciona o MultiBreak como um recurso crítico para avançar a segurança de LLMs. Ele destaca que as avaliações de segurança atuais são insuficientes porque dependem de conjuntos de dados estáticos, de turno único ou ricos em templates que falham em refletir cenários adversariais realistas. Ao demonstrar que interações multi-turno expõem vulnerabilidades de granularidade fina não aparentes em isolamento, os autores argumentam pela necessidade de frameworks de avaliação escaláveis, diversificados e iterativos. O MultiBreak serve como uma ferramenta prática para identificar lacunas de segurança persistentes e orientar o desenvolvimento de estratégias de alinhamento mais robustas.