💬 NLP

MAGIC: A Co-Evolving Attacker-Defender Adversarial Game for Robust LLM Safety

Este artigo apresenta o MAGIC, um novo framework de aprendizado por reforço multiagente de múltiplos turnos que aumenta a segurança de Grandes Modelos de Linguagem por meio de um jogo adversarial de coevolução, no qual um agente atacante gera dinamicamente novas estratégias combinatórias para expor vulnerabilidades, impulsionando assim um agente defensor a generalizar e recusar de forma robusta entradas adversariais não vistas.

Autores originais: Xiaoyu Wen, Zhida He, Han Qi, Ziyu Wan, Zhongtian Ma, Ying Wen, Tianhang Zheng, Xingcheng Xu, Chaochao Lu, Qiaosheng Zhang

Publicado 2026-02-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaoyu Wen, Zhida He, Han Qi, Ziyu Wan, Zhongtian Ma, Ying Wen, Tianhang Zheng, Xingcheng Xu, Chaochao Lu, Qiaosheng Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô muito inteligente, mas ingênuo, a ser um bom cidadão. O robô conhece muitos fatos, mas nem sempre sabe quando dizer "não" a pedidos perigosos.

O artigo apresenta um novo método de treinamento chamado MAGIC. Em vez de apenas mostrar ao robô uma lista de "coisas ruins para não fazer" (que é como a maioria dos treinamentos de segurança atuais funciona), o MAGIC estabelece uma luta de boxe interminável entre duas versões do robô: um Atacante e um Defensor.

Aqui está como funciona, usando analogias simples:

1. O Problema com a Forma Antiga (Treinamento Estático)

Atualmente, o treinamento de segurança é como um professor entregando um livro didático de "palavras ruins conhecidas" para um aluno e dizendo: "Não diga estas palavras".

A Falha: Assim que o aluno aprende a lista, um mestre da manipulação (o atacante) inventa uma nova maneira de pedir a coisa ruim usando palavras diferentes ou uma nova história. O aluno, que estudou apenas o livro antigo, é enganado. A defesa está sempre um passo atrás.

2. A Solução MAGIC: Uma Academia de Coevolução

O MAGIC muda o jogo ao criar uma academia dinâmica onde o Atacante e o Defensor treinam juntos, constantemente desafiando um ao outro para melhorarem.

O Atacante (O Manipulador): O trabalho deste robô é tentar enganar o Defensor para que ele diga algo prejudicial. Mas aqui está o detalhe: o Atacante não está apenas adivinhando. Ele recebe um "chapéu de pensamento" (Cadeia de Pensamento/Chain-of-Thought) que o ensina a criar estratégias. Ele aprende a reescrever pedidos ruins simples em histórias complexas e enganosas que parecem inocentes na superfície, mas escondem uma intenção perigosa.
- Analogia: Imagine um mágico aprendendo novos truques. No começo, ele apenas tira um coelho de dentro de um chapéu. Mas, conforme treina, ele aprende a esconder o coelho em um baralho de cartas, depois em um espelho, e então em uma música. Eles estão constantemente inventando novas maneiras de enganar o público.
O Defensor (O Guarda): O trabalho deste robô é ouvir os truques do Atacante e dizer "Não" se for perigoso, ou "Sim" se for seguro.
- Analogia: Imagine um segurança de uma boate. No início, ele apenas verifica uma lista específica de itens proibidos. Mas, como o Atacante está constantemente inventando novas maneiras de entrar de penetra, o segurança tem que aprender a reconhecer a intenção por trás do disfarce, não apenas o disfarce em si.

3. A "Coevolução" (A Dança)

A magia acontece porque eles treinam juntos em um ciclo:

O Atacante tenta um novo truque astuto para contornar o Defensor.
Se o truque funcionar, o Atacante ganha um "ponto" e o Defensor recebe um "aviso".
O Defensor aprende com o erro e fica melhor em detectar esse truque específico.
Agora que o Defator está melhor, o Atacante tem que inventar um truque ainda mais inteligente para contornar a nova defesa.

Isso cria uma "coevolução". Assim como na natureza, onde predadores e presas evoluem constantemente em velocidade e camuflagem, o Atacante e o Defensor ficam mais inteligentes juntos. O artigo afirma que isso força o Defensor a aprender regras de segurança robustas que funcionam mesmo contra ataques que ele nunca viu antes, em vez de apenas memorizar uma lista de truques antigos.

4. Por que Isso é Diferente

Forma Antiga: O Atacante e o Defensor são frequentemente o mesmo robô jogando de ambos os lados, o que confunde seu cérebro (como tentar ser tanto o árbitro quanto o jogador).
Forma MAGIC: Eles são dois robôs separados com objetivos diferentes. O Atacante é treinado especificamente para ser um estrategista de "pensamento", enquanto o Defensor aprende a ser um juiz aguçado. Essa separação evita que eles fiquem confusos e permite que eles se especializem.

5. Os Resultados

O artigo testou isso em vários modelos e descobriu que:

Melhor Segurança: O Defensor tornou-se muito melhor em recusar pedidos prejudiciais, mesmo quando o Atacante usava truques complexos de várias etapas.
Sem Perda de Utilidade: Crucialmente, o Defensor não se tornou um "rabugento" que diz "não" para tudo. Ele aprendeu a distinguir entre um truque perigoso e uma pergunta inofensiva que parece complicada. Ele continuou sendo útil para usuários normais.
Novas Descobertas: O Atacante de fato inventou novos tipos de truques que os humanos não haviam pensado, provando que o sistema poderia encontrar vulnerabilidades de "cauda longa" (métodos de ataque raros e estranhos) que as listas estáticas deixariam passar.

Em resumo: O MAGIC ensina a segurança da IA não dando a ela um livro de regras, mas colocando-a em um ringue de boxe com um oponente inteligente que muda constantemente seu estilo de luta. Ao final da luta, a IA está tão bem treinada que consegue detectar o perigo mesmo quando ele está usando um disfarce.

(tags) e o prompt real (dentro de tags <answer>) para evitar que o raciocínio seja exposto ao defensor.
* Recompensa de Periculosidade ( $R_{harm}$ ): Utiliza o Qwen3Guard para penalizar respostas inseguras ou controversas.
* Recompensa de Recusa ( $R_{ref}$ ): Evita o colapso por "excesso de segurança" ao recompensar a recusa correta de consultas prejudiciais e a aceitação correta de consultas benignas (mesmo as estruturadas de forma adversária).

3. Principais Contribuições

Estrutura MARL Assimétrica: O MAGIC propõe uma estrutura de MARL online que desacopla a otimização do atacante e do defensor, afastando-se do auto-jogo simétrico para um jogo sequencial assimétrico guiado pelo SPNE. Isso fornece garantias de segurança pontuais mais fortes.
Pool de Ataque Enriquecido com CoT: Os autores constroem um benchmark com conclusões de CoT através de 20 diversas estratégias de reescrita. Isso aborda a escassez de dados e problemas de inicialização a frio (cold-start), equipando o atacante com as capacidades de raciocínio necessárias para explorar espaços de vulnerabilidade de cauda longa.
Descoberta de Novas Estratégias: A estrutura demonstra que o treinamento de RL iterativo permite que o atacante evolua novas estratégias de ataque combinatórias anteriormente não vistas (por exemplo, combinando interpretação de personagem com tradução e substituição de conceitos), em vez de meramente reclassificar templates existentes.

4. Resultados Experimentais

Experimentos extensos foram conduzidos em benchmarks de turno único e de múltiplos turnos usando modelos das famílias Qwen2.5 e Llama3.1.

Desempenho de Segurança: O MAGIC reduz significativamente a Taxa de Sucesso de Ataque (ASR). Por exemplo, no benchmark WildGuardTest com Qwen2.5-7B, a ASR caiu de 36,5% para 2,3%. O MAGIC superou consistentemente baselines como Self-RedTeam, SmoothLLM e Self-Eval nos benchmarks HarmBench, DAN e OR-Bench.
Conformidade Benigna: Crucialmente, o MAGIC mantém uma alta utilidade. Ele não sofre de taxas de recusa excessivas em prompts benignos, mesmo aqueles que são estruturados de forma adversária. Nos splits benignos do XSTest e WildJailBreak, o MAGIC alcançou altas taxas de conformidade, demonstrando que os ganhos de segurança não foram obtidos através de recusa excessiva.
Capacidades Gerais: A avaliação no MMLU, ARC-C, GPQA e AlpacaEval 2 mostrou que o MAGIC preserva amplamente as capacidades gerais de seguimento de instruções e raciocínio do modelo, com diferenças de desempenho permanecendo dentro de uma faixa estreita em comparação com os baselines originais de ajuste de instrução.
Robustez de Multi-Turno: Quando avaliado no X-Teaming (jailbreaks de múltiplos turnos), os modelos treinados com MAGIC mostraram melhorias substanciais de robustez, reduzindo a ASR de múltiplos turnos em 10,1% em comparação com o baseline, indicando que a estrutura captura dinâmicas adversárias transferíveis.
Generalização: Defensores treinados com MAGIC demonstraram forte generalização contra estratégias de ataque não vistas (ex: GCG, PAIR, TAP, AutoDAN) em avaliações de red-teaming automatizadas, sugerindo que a defesa é robusta a tentativas de jailbreak dinâmicas e interativas, em vez de sofrer overfitting a uma distribuição fixa.

5. Significância e Alegações

O artigo alega que o MAGIC representa uma mudança de paradigmas de defesa reativos e estáticos para um processo de alinhamento de segurança proativo e evolutivo. Ao formular a segurança como um jogo assimétrico e utilizar RL co-evolutivo, a estrutura permite a descoberta contínua de vulnerabilidades de cauda longa e o desenvolvimento de comportamentos de recusa robustos que se generalizam além de dados estáticos.

Os autores enfatizam que sua abordagem alcança um equilíbrio superior entre segurança e utilidade. Diferente de métodos que degradam capacidades gerais ou induzem recusa excessiva, o MAGIC permite que o modelo permaneça útil enquanto resiste efetivamente a comportamentos adversários adaptativos. O embasamento teórico no SPNE fornece uma garantia de segurança mais forte (segurança ao nível da instância) comparado às garantias baseadas em expectativa de abordagens anteriores de Equilíbrio de Nash.

O artigo conclui que, embora o paradigma adversarial online introduza sobrecarga computacional, ele oferece um caminho viável para tratar o alinhamento de segurança como um processo evolutivo, capaz de se adaptar às dinâmicas de "gato e rato" das ameaças de LLM do mundo real.