💬 NLP

A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks

Este artigo propõe uma estrutura de defesa multiagente autoevolutiva e livre de parâmetros que utiliza uma memória de regra de interação cruzada persistente para abstrair tentativas de jailbreak bem-sucedidas em regras generalizáveis de nível de método, permitindo que os LLMs se adaptem dinamicamente a estratégias de ataque em evolução sem comprometer a utilidade benigna ou aumentar a autorrefusão.

Autores originais: Tongyan Hu, Bryan Hooi

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tongyan Hu, Bryan Hooi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são ferramentas poderosas que podem escrever histórias, resolver problemas e responder perguntas, mas possuem uma fraqueza significativa: podem ser enganados para ignorar suas regras de segurança. Imagine um assistente altamente treinado que foi ensinado a nunca fornecer instruções perigosas, como como construir uma arma ou burlar um sistema de segurança. Um trapaceiro astuto ainda pode fazer com que este assistente cumpra a ordem ao envolver o pedido perigoso em um disfarce complexo, como fingir ser um personagem de uma história ou esconder o pedido dentro de um código de computador. Esses truques, conhecidos como "jailbreaks", exploram o desejo do modelo de seguir instruções, permitindo que ideias prejudiciais passem por suas defesas. Durante anos, a forma padrão de proteger esses modelos tem sido estabelecer uma barreira fixa, como uma lista estática de palavras proibidas ou um conjunto rígido de instruções programadas no sistema. No entanto, assim como um ladrão pode eventualmente abrir uma fechadura que estudou, os atacantes continuam inventando novos disfarces que essas barreiras estáticas não conseguem reconhecer, deixando os modelos vulneráveis a ameaças em constante evolução.

Pesquisadores da Universidade Nacional de Singapura propuseram uma abordagem diferente para este problema, uma que permite ao sistema de defesa aprender e se fortalecer ao longo do tempo. Em vez de depender de um conjunto fixo de regras que nunca muda, eles construíram um sistema que trata cada tentativa fracassada de quebrar as regras de segurança como uma lição. Quando o sistema encontra um novo tipo de truque que consegue burlar suas defesas, ele não apenas bloqueia esse pedido específico e segue em frente. Em vez disso, ele analisa a estrutura do truque, remove o tópico prejudicial específico e cria uma nova regra reutilizável que visa o método usado para disfarçar o pedido. Esta nova regra é armazenada em uma memória persistente, de forma muito semelhante a um segurança anotando o uniforme específico que um ladrão usava, para que o segurança possa identificar qualquer pessoa usando o mesmo uniforme no futuro, independentemente do que ela esteja tentando roubar.

O sistema opera através de uma equipe de quatro componentes especializados que trabalham juntos durante cada interação. Primeiro, um classificador analisa um pedido recebido para ver se ele está usando um truque conhecido. Se o pedido for inofensivo, ele é respondido normalmente. Se o pedido parecer um truque, o sistema verifica sua memória em busca de uma regra que corresponda ao estilo específico do disfarce. Se uma regra correspondente existir, o sistema aplica imediatamente uma recusa estrita ou uma resposta alternativa segura. Se o pedido for um tipo de truque totalmente novo que o sistema nunca viu antes, ele é permitido a passar inicialmente. Se o modelo então produzir acidentalmente uma resposta prejudicial, um agente de reflexão intervém. Este agente analisa a falha, identifica o padrão estrutural do ataque e escreve uma nova regra no banco de memória. Esta nova regra fica então disponível para proteger contra todos os pedidos futuros que utilizem o mesmo padrão estrutural, transformando efetivamente uma única falha em um escudo permanente contra toda uma família de ataques semelhantes.

Os pesquisadores testaram esta defesa autoevolutiva em vários modelos diferentes, incluindo programas de código aberto e sistemas comerciais poderosos que não podem ser modificados diretamente. Eles submeteram esses modelos a quatro famílias distintas de ataques de jailbreak, que incluíam métodos como interpretação de personagens (role-playing), ofuscação de código e manipulação de múltiplas etapas. Os resultados mostraram que, à medida que o sistema encontrava mais ataques e adicionava mais regras à sua memória, sua capacidade de detê-los melhorava dramaticamente. Nos estágios iniciais, quando a memória estava vazia, o sistema era vulnerável, mas após aprender com apenas alguns exemplos, ele reduziu a taxa de sucesso desses ataques para quase zero. Crucialmente, esse aprendizado ocorreu sem alterar o "cérebro" do modelo subjacente; o sistema simplesmente tornou-se mais inteligente sobre como processava as entradas ao adicionar notas externas à sua memória.

Um achado fundamental do estudo é que este método não torna o sistema excessivamente cauteloso ou rude com usuários normais. Os pesquisadores verificaram se o crescimento da lista de regras causaria o fato de o modelo recusar pedidos inofensivos, um problema conhecido como recusa excessiva (over-refusal). Eles descobriram que, mesmo conforme a memória se enchia de regras de diferentes tipos de ataques, o sistema permanecia preciso em distinguir entre truques perigosos e perguntas seguras. O sistema apenas recusava pedidos que correspondiam aos padrões estruturais específicos dos ataques que ele aprendeu a reconhecer. Isso sugere que a defesa é precisa, visando o método do ataque, em vez do tópico da conversa. O estudo também mostrou que o sistema permaneceu robusto mesmo quando atacantes tentaram combinar diferentes truques para evitar a detecção, indicando que a abordagem baseada em memória pode se adaptar a ameaças complexas e em evolução.

Este trabalho representa uma mudança da proteção estática para a adaptação dinâmica. Enquanto as defesas anteriores eram como uma porta trancada que poderia ser aberta se a ferramenta certa fosse encontrada, este novo framework atua mais como uma equipe de segurança que atualiza sua lista de observação após cada violação. Ao converter falhas em conhecimento reutilizável, o sistema constrói uma defesa que se torna mais forte quanto mais é testada. Os pesquisadores demonstraram que esta abordagem funciona em diferentes tipos de modelos e estilos de ataque, oferecendo um caminho promissor para tornar a inteligência artificial mais segura em um mundo onde atacantes estão constantemente inventando novas maneiras de contornar as regras. O estudo conclui que, embora nenhum sistema seja perfeito, dar a um modelo a capacidade de aprender com seus próprios erros em tempo real proporciona um nível de resiliência que as defesas estáticas simplesmente não podem alcançar.

Resumo Técnico: Um Framework de Defesa de Agentes Múltiplos Autoevoluível contra Ataques de Jailbreak de LLM

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) permanecem vulneráveis a ataques de jailbreak que exploram técnicas como personificação (role-playing), ofuscação, transformação de código e indireção de múltiplas etapas para elicitar saídas prejudiciais. Embora as defesas existentes (ex: prompts de sistema estáticos, ajuste fino de segurança supervisionado, RLHF e classificadores externos) sejam eficazes contra padrões conhecidos, elas sofrem de uma limitação fundamental: seus comportamentos de segurança são fixos no momento da implantação. Consequentemente, elas não conseguem acumular experiência defensiva ou se adaptar a estratégias não vistas, composicionais ou ofuscadas. Essa natureza estática cria um descompasso onde adversários podem explorar novos padrões para contornar defesas que não aprendem com falhas passadas.

2. Metodologia

Os autores propõem uma defesa autoevoluível em tempo de inferência centrada em uma memória de regras persistente e trans-interação. Este framework opera sem modificar os parâmetros ( $\theta$ ) do modelo base, tornando-o aplicável tanto a modelos de pesos abertos quanto a modelos de API de caixa-preta.

Mecanismo Central: Memória de Regras Persistente

O sistema mantém uma memória externa $R_t$ que acumula regras de defesa estruturadas em nível de método. Diferente de abordagens de autorreflexão anteriores que tratam interações de forma independente ou utilizam contexto transitório, este framework converte falhas observadas em conhecimento reutilizável.

Estrutura da Regra: Cada regra $r_i$ $r_{i}$ assume a forma: [label=L_i] Se a requisição utiliza P_i, então D_i.
- $L_i$ : Um rótulo de ataque em nível de método (ex: roleplay-nested-persona).
- $P_i$ : Uma descrição do invólucro (wrapper) estrutural do ataque.
- $D_i$ : A restrição de recusa.
Generalização: As regras abstraem o invólcr de estrutura em vez do tópico prejudicial específico. Assim, uma única regra induzida de uma instância se generaliza para toda uma família de ataques, e o espaço de rótulos expande-se automaticamente conforme novos invólucros estruturalmente inéditos são encontrados.

Componentes do Framework

O framework é realizado através de quatro agentes cooperativos (módulos via prompt) que implementam cinco operadores:

Classificador de Padrão de Ataque ( $\phi$ ): Mapeia a entrada $x^{(t)}$ para um rótulo de nível de método. Ele retorna benign (benigno), um rótulo existente na memória ou other (outro) se o invólucro for novo.
Agente de Gatilho de Regra (A1): Recupera regras relevantes da memória com base no rótulo classificado. Utiliza um processo de correspondência de três estágios: correspondência exata de rótulo, pontuação de relevância baseada em LLM e redundância por palavra-chave léxica. Ele recupera no máximo $K=2$ regras.
Agente de Decisão de Política (A2): Mapeia as regras disparadas para uma política de resposta: hard-refuse (recusa estrita - para entradas de alto risco), soft-refuse (recusa suave) ou allow (permitir).
Agente de Geração de Resposta (A3): Produz a saída final $y^{(t)}$ injetando a política selecionada como uma instrução de sistema dinâmica. No modo de recusa estrita, ele impõe restrições rigorosas contra detalhes operacionais ou código.
Agente de Autorreflexão (A4): Analisa a interação pós-geração. Se uma violação for detectada (via LLM atuando como juiz pontuando a resposta em uma escala de dano de 1 a 10), ele induz uma nova regra $r_{new}$ resumindo o invólucro do ataque e atualiza a memória $R_{t+1}$ via deduplicação semântica e limites de capacidade.

Procedimento de Inferência

O processo segue um loop sequencial:

Classificar entrada ( $\phi$ ).
Recuperar regras relevantes (match).
Decidir política ( $g$ ).
Gerar resposta ( $f_\theta$ ).
Detectar violação ( $h$ ).
Se ocorrer uma violação em uma entrada não benigna, induzir uma nova regra ( $F$ ) e atualizar a memória ( $U$ ).

3. Principais Contribuições

O artigo enfatiza que a principal contribuição é o mecanismo de adaptação baseado em memória, não a decomposição específica em agentes.

Defesa Autoevoluível: Uma memória de regras persistente e trans-interação que converte falhas de jailbreak observadas em regras de defesa reutilizáveis de nível de método, permitindo adaptação contínua sem atualizações de parâmetros.
Abstração de Nível de Invólucro (Wrapper-Level Abstraction): Um mecanismo dinâmico de gatilho de regras que abstrai ataques no nível do invólucro. Isso permite que uma única regra induzida se generalize para uma família de ataques, com um espaço de rótulos que se expande automaticamente para ataques estruturalmente novos.
Aplicabilidade de Caixa-Preta: O método opera inteiramente através de memória externa e prompting, não exigindo acesso aos pesos do modelo ou gradientes, funcionando assim em modelos de código aberto e proprietários (API).

4. Resultados Experimentais

O framework foi avaliado em quatro famílias de jailbreak de caixa-preta (DeepInception, CodeChameleon, ReNeLLM, FlipAttack) e múltiplos modelos (Qwen2.5-7B, Llama3.1-8B, Gemini-3-Flash-Preview).

Taxa de Sucesso de Ataque (ASR): O método reduz substancialmente o ASR em comparação com os baselines (Sem Defesa, Defense Prompt, Self-Reminder, AutoDefense). Por exemplo, em ataques CodeChameleon contra Llama3.1-8B, o ASR-gpt caiu de 58,0% (Sem Defesa) para 1,9% (Nossa proposta).
Utilidade Benigna: A defesa preserva a utilidade em tarefas benignas (MMLU, GSM8K), com o desempenho permanecendo dentro de aproximadamente dois pontos do modelo sem defesa.
Análise de Autoevolução: Em um cenário de cold-start (memória vazia), o sistema aprende regras de defesa durante o primeiro lote de ataques. Rodadas subsequentes mostram o ASR caindo para próximo de zero, demonstrando que o sistema generaliza de falhas passadas para ataques futuros estruturalmente semelhantes.
Robustez: O framework permanece robusto sob ataques compostos de invólucro adaptativo projetados para evitar o gatilho de regras.
Recusa Excessiva (Over-Refusal): À medida que a memória cresce, a recusa excessiva em prompts benignos (medida via XSTest) permanece baixa (subindo apenas para 9,6% após acumular regras), indicando que o sistema não se torna excessivamente restritivo.
Custo: O overhead de inferência é de aproximadamente 3,07× chamadas de LLM e 1,43× latência em comparação com um modelo de etapa única, comparável a baselines de múltiplos agentes como o AutoDefense.

5. Significância e Alegações

O artigo afirma que os mecanismos de segurança atuais falham porque não acumulam experiência defensiva ao longo do tempo. Ao mudar de salvaguardas estáticas para um sistema de defesa autoevoluível, os autores demonstram que a adaptação persistente em tempo de inferência proporciona ganhos de robustez inalcançáveis por defesas estáticas.

A significância reside na capacidade de:

Generalizar entre famílias: Uma única regra cobre toda uma família estrutural de ataques, em vez de exigir correções específicas de cada instância.
Adaptar-se sem retreinamento: O sistema atualiza seu comportamento com base em falhas passadas sem exigir ajuste fino (fine-tuning) ou acesso de caixa-branca.
Manter a utilidade: Alcança alta robustez sem degradar significativamente o desempenho em tarefas benignas ou induzir recusa excessiva.

Os autores reconhecem limitações, incluindo o foco atual em ataques de turno único e nível de prompt, e a falta de um mecanismo explícito de poda de regras para fluxos de interação muito longos. No entanto, eles postulam que a transição para sistemas autoevoluíveis é uma direção promissora para o implante confiável de LLMs.