💬 NLP

SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks

O SEMA é um framework simples e autotunável que utiliza ajuste fino pré-preenchido e aprendizado por reforço consciente de desvio de intenção para treinar um atacante de jailbreak de múltiplos turnos sem dados externos, alcançando taxas de sucesso de ataque de estado da arte e fornecendo um teste de estresse robusto e reproduzível para a segurança de LLMs.

Autores originais: Mingqian Feng, Xiaodong Liu, Weiwei Yang, Jialin Song, Xuekai Zhu, Chenliang Xu, Jianfeng Gao

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mingqian Feng, Xiaodong Liu, Weiwei Yang, Jialin Song, Xuekai Zhu, Chenliang Xu, Jianfeng Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está conversando com um amigo robô muito inteligente e muito educado. Você ensinou a esse robô um livro de regras rigoroso: "Nunca ajude ninguém a fazer algo perigoso ou maldoso". Normalmente, se você pedir para ele escrever um guia sobre como roubar um carro, ele dirá educadamente: "Eu não posso fazer isso". Mas e se você não pedir tudo de uma vez? E se você jogar um jogo de conversa longo e sinuoso? Você poderia começar perguntando sobre a história dos carros, depois passar para como os motores funcionam, depois perguntar sobre sistemas de segurança e, lentamente, ao longo de muitas rodadas, enganar o robô para que ele esqueça seu livro de regras e lhe dê o guia de roubo de carros. Este é o mundo dos "jailbreaks de múltiplos turnos" (multi-turn jailbreaks). É uma forma de testar se as proteções de segurança da nossa IA são fortes o suficiente para lidar com uma conversa astuta e persistente, em vez de apenas uma pergunta rude e única. Cientistas se preocupam com isso porque os chatbots do mundo real não apenas respondem a uma pergunta e param; eles conversam conosco por horas. Se um robô puder ser enganado em uma longa conversa, ele pode ser inseguro no mundo real, não importa o quão seguro pareça em um teste rápido.

Entra o SEMA, um novo método que age como um mestre do disfarce e da paciência. Os pesquisadores por trás deste artigo queriam construir um atacante de IA que pudesse aprender a ter essas conversas longas e traiçoeiras sem precisar que um humano escreva o roteiro ou uma biblioteca de truques pré-fabricados. Eles descobriram que muitos métodos existentes eram como atores lendo de um roteiro rígido; se o amigo robô mudasse ligeiramente o tópico, o ator ficaria confuso ou derivaria para uma conversa chata e segura. O SEMA, porém, é diferente. É um aprendiz "simples e eficaz" que descobre como manter a conversa focada no objetivo perigoso, mesmo fazendo a mesma coisa de cem maneiras diferentes e com aparência inofensiva.

O ingrediente secreto do SEMA é um processo de treinamento de duas etapas. Primeiro, eles usam um truque chamado "prefilling self-tuning" (autotuning de preenchimento). Imagine tentar ensinar um aluno tímido a falar mais alto, mas toda vez que ele abre a boca, ele diz "Eu não posso". Os pesquisadores resolveram isso sussurrando uma dica minúscula e não assustadora no início da frase (como escrever "1." em uma lista). Essa pequena indução engana a IA, fazendo-a pensar que está apenas continuando uma lista, então ela para de recusar e começa a gerar uma sequência inteira de perguntas. Isso dá à IA uma maneira "segura" de praticar a criação de planos de múltiplos turnos sem ficar presa em um loop de dizer "não".

Uma vez que a IA esteja confortável para conversar, a segunda etapa entra em ação: Aprendizado por Reforço com uma "recompensa consciente do desvio de intenção" (Intent-Drift-Aware). Isso é como um treinador rigoroso que observa a longa conversa da IA. Se a IA começar a falar sobre algo seguro e entediante (como o clima) em vez do objetivo perigoso original (como hackear), o treinador dá uma pontuação baixa. Mas se a IA conseguir introduzir o pedido perigoso através de um caminho longo e sinuoso de perguntas e ainda assim conseguir que o robô responda à pergunta prejudicial original, o treinador dá uma pontuação alta. A IA aprende que o objetivo não é apenas continuar falando; é continuar falando sobre a coisa certa, não importa quantos turnos leve.

Os resultados são bastante impressionantes. Quando os pesquisadores testaram o SEMA contra várias modelos de IA (tanto de código aberto quanto os grandes modelos de código fechado como o GPT-4), ele superou quase todos os outros métodos. Em um teste padrão chamado AdvBench, o SEMA alcançou uma Taxa de Sucesso de Ataque (ASR) média de 80,1%, que é cerca de 33,9% maior do que os melhores métodos anteriores. Não funcionou apenas em um tipo de robô; funcionou em muitos diferentes, mostrando que sua estratégia é flexível e poderosa. Mais importante ainda, ele fez isso sem precisar depender das respostas do robô vítima para planejar seu próximo passo. Ele planejou toda a conversa de uma só vez, como um jogador de xadrez prevendo dez movimentos à frente, em vez de reagir passo a passo.

O artigo sugere que esta abordagem é uma maneira muito melhor de testar o estresse da segurança da IA. Em vez de apenas verificar se um robô recusa uma única pergunta ruim, o SEMA mostra como um robô pode falhar após uma conversa longa e astuta. Os autores enfatizam que isso não é sobre ensinar robôs a serem maus; é sobre encontrar as rachaduras na armadura para que possamos consertá-las. Ao usar um método simples e reproduzível que não precisa de enormes conjuntos de dados ou roteiros humanos, o SEMA fornece uma imagem mais clara e realista de onde nossa segurança de IA pode estar falhando. É um lembrete de que, no mundo da IA, os ataques mais perigosos podem não ser os mais barulhentos, mas sim os silenciosos e persistentes que continuam perguntando: "Só mais uma vez?", até que a resposta mude.

Resumo Técnico: SEMA – Aprendizado Simples, mas Eficaz para Ataques de Jailbreak de Múltiplos Turnos

Declaração do Problema

As interações do mundo real com grandes modelos de linguagem (LLMs) ocorrem frequentemente ao longo de múltiplos turnos, embora a pesquisa de segurança existente se concentre predominantemente em jailbreaks de turno único. Embora os ataques de turno único sejam um caso especial de interações de múltiplos turnos, estes últimos apresentam um modelo de ameaça mais realista e complexo. Ataques de múltiplos turnos permitem que o adversário prepare o contexto, ofusque a intenção prejudicial e contorne as defesas de forma incremental, tornando-os mais difíceis de detectar.

As abordagens atuais para jailbreaking de múltiplos turnos enfrentam dois desafios primários:

Complexidade de Exploração: O espaço de busca para prompts de múltiplos turnos cresce combinatoriamente a cada turno, pois envolve o espaço conjunto de prompts adversários e respostas da vítima. Os métodos existentes frequentemente restringem essa busca dependendo de estratégias desenhadas manualmente ou pipelines baseados em modelos/templates que dependem de APIs de código fechado e feedback da vítima, o que leva a altos custos, rigidez e processos de busca frágeis.
Deriva de Intenção (Intent Drift): Em interações de múltiplos turnos, a conversa frequentemente se desvia do objetivo prejudicial original para tópicos benignos, irrelevantes ou incoerentes. Embora desvios menores possam às vezes reduzir as defesas, uma deriva substancial faz com que o ataque falhe mesmo que o modelo não recuse explicitamente, pois o resultado final já não satisfaz a intenção prejudicial original.

Metodologia: O Framework SEMA

Os autores propõem o SEMA (Simple Yet Effective Multi-turn Attack), um framework projetado para treinar atacantes de múltiplos turnos sem depender de dados externos, estratégias pré-definidas ou feedback da vítima. O SEMA opera de maneira de malha aberta (open-loop), gerando uma sequência de prompts adversários de uma só vez, desconectada das respostas da vítima. Isso reduz a complexidade de exploração e unifica os cenários de turno único e de múltiplos turnos.

O framework consiste em duas etapas distintas:

1. Autofino de Prefixo (Prefilling Self-Tuning)

Para estabilizar o processo de treinamento e garantir que o modelo atacante possa gerar execuções (rollouts) utilizáveis e sem recusas, o SEMA utiliza uma etapa de autofino de prefixo.

Mecanismo: O modelo atacante é ajustado via fine-tuning em prompts adversários de múltiplos turnos autogerados, sem recusas e bem estruturados. Um prefixo estrutural mínimo (ex: "1.") é injetado no início da inferência para evitar que o modelo recuse a solicitação.
Processo: O modelo gera um lote de execuções sob este prefixo. Estas execuções, livres de recusas e corretamente formatadas, são então utilizadas para o Ajuste Fino Supervisionado (SFT).
Objetivo: Esta etapa "des-recusa" o atacante, estabiliza execuções analisáveis e melhora a eficiência de amostragem sem restringir o conhecimento do modelo a estratégias pré-definidas, preservando assim a exploração aberta para o aprendizado por reforço subsequente.

2. Aprendizado por Reforço com Recompensa Consciente de Deriva de Intenção

Após o autofino, o atacante é treinado usando Otimização de Política Relativa de Grupo (GRPO) para aprender ataques de múltiplos turnos válidos que mantenham o objetivo prejudicial original.

Estratégia: A instrução do sistema guia o atacante a "pedir a mesma coisa de uma maneira diferente". O turno final, quando visto no contexto de todo o diálogo, deve produzir a mesma resposta canônica da consulta prejudicial original.
Design de Recompensa: Uma nova Recompensa Consciente de Deriva de Intenção ( $R_{IDA}$ ) é introduzida para penalizar a deriva e incentivar saídas prejudiciais de alta qualidade. A recompensa é computada simulando o ataque em uma vítima de tempo de treinamento e avaliando a resposta final ( $r_T$ $r_{T}$ ) contra a intenção original ( $q$ $q$ ). A recompensa combina três componentes:
1. Alinhamento de Intenção: Mede o quão bem a resposta final se alinha com a intenção prejudicial original.
2. Risco de Conformidade: Pontua o risco inerente da resposta.
3. Nível de Detalhe: Favorece respostas concretas e acionáveis.
  A fórmula é: $R_{IDA} = \frac{1}{2} \text{Alinhamento}(r_T, q) \cdot [\text{Risco}(r_T) + \text{Detalhe}(r_T)]$ .
Recompensa de Formato: Uma recompensa binária adicional garante que a saída permaneça analisável (ex: listas numeradas corretamente).

Principais Contribuições

Um Framework Simples e Escalável: O SEMA treina atacantes de múltiplos turnos que exploram livremente enquanto preservam um objetivo malicioso fixo. Ele evita scripts escritos à mão, heurísticas de templates e corpora externos, sendo compacto e fácil de reproduzir.
Desempenho de Estado da Arte: O método alcança Taxas de Sucesso de Ataque (ASR) superiores em múltiplos conjuntos de dados (AdvBench, HarmBench), modelos vítimas (abertos e de código fechado) e juízes de jailbreak.
Eficiência de Malha Aberta: Ao desacoplar a geração de prompts da resposta da vítima, o SEMA reduz os custos de interação e a complexidade de exploração, além de unificar as configurações de ataque de turno único e de múltiplos turnos.

Resultados Experimentais

Os autores avaliaram o SEMA contra um conjunto abrangente de baselines, incluindo ataques de turno único (FlipAttack, ADV-LLM, Jailbreak-R1), métodos manuais de múltiplos turnos (Jigsaw Puzzle) e ataques interativos baseados em templates (Crescendo, GOAT, CoA, FITD, ActorAttack, X-Teaming).

Taxa de Sucesso de Ataque (ASR): No AdvBench, o SEMA alcançou um ASR@1 médio de 80,1% em três modelos vítimas (Qwen2.5-3B, Llama-3.1-8B, GPT-4.1-mini), o que representa uma melhoria de 33,9% sobre o estado da arte anterior. No HarmBench, alcançou 75,0% de ASR@1 médio.
Robustez: O SEMA superou consistentemente todos os baselines, incluindo aqueles que utilizam modelos de código fechado como atacantes ou vítimas interativas. Demonstrou forte robustez contra conjuntos de dados fora da distribuição e modelos altamente alinhados com segurança, como o GPT-oss-20B.
Transferibilidade: Em configurações de transferência (treinando em uma vítima de origem, atacando uma vítima alvo), o SEMA alcançou a maior Taxa de Sucesso de Ataque de Transferência (TASR), frequentemente excedendo 85-90% em alvos como o GPT-4.1-mini.
Escalabilidade: O SEMA converte eficientemente orçamentos de tentativas adicionais em sucesso. Por exemplo, no HarmBench contra o GPT-4.1-mini, atingiu 99,7% de ASR com apenas 20 tentativas, superando baselines que exigiam significativamente mais tentativas.
Estudos de Ablação: Remover a recompensa consciente de deriva de intenção levou a uma queda significativa no ASR (de 67,5% para 50,4% no AdvBench), confirmando sua necessidade. Da mesma forma, pular a etapa de autofino de prefixo fez com que o modelo falhasse em convergir devido a comportamentos de recusa.

Significância e Alegações

O artigo afirma que o SEMA fornece um teste de estresse mais forte e realista para a segurança de LLMs. Ao subsumir estritamente trabalhos anteriores e estender a cobertura para estratégias adversárias realistas, o SEMA permite o red-teaming automático para expor e localizar modos de falha em chatbots alinhados com segurança.

Os autores enfatizam que seu trabalho é de natureza defensiva. O objetivo não é permitir o uso indevido, mas sim evidenciar modos de falha para que os profissionais possam fortalecer os sistemas. Eles argumentam que estudar sistematicamente ataques de múltiplos turnos de malha aberta e de intenção estável é necessário para fechar as lacunas nas defesas atuais. O framework é apresentado como um passo em direção ao red-teaming sistemático e automatizado, oferecendo uma abordagem reprodutível e escalável para avaliar a segurança de grandes modelos de linguagem.