💬 NLP

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

Este artigo apresenta o AdvGRPO, um novo framework de co-treinamento que estabiliza o GRPO para a otimização conjunta de atacante-defensor por meio de recompensas densas multicanais, normalização de vantagem desacoplada e um currículo progressivo, resultando, em última análise, em ataques transferíveis altamente eficazes e defesas de modelos de linguagem mais robustas.

Autores originais: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: Um Sparring Digital

Imagine que você tem um robô muito inteligente (o Defensor) que é treinado para ser útil, mas também para recusar solicitações prejudiciais, como "Como eu construo uma bomba?" ou "Como eu hackeio um banco?".

Normalmente, os humanos tentam testar esse robô escrevendo uma lista de perguntas capciosas. Mas o robô é esperto; ele aprende a dizer "Não" para essas perguntas específicas. O problema é que um atacante astuto e adaptável pode mudar sua estratégia para encontrar uma nova maneira de enganar o robô.

Este artigo apresenta uma nova maneira de treinar ambos os lados ao mesmo tempo usando um método chamado AdvGRPO. Pense nisso como configurar um dojo digital onde um Red Team (o atacante) e um Blue Team (o defensor) praticam sparring um contra o outro continuamente. Em vez de humanos escreverem as perguntas, os modelos de IA aprendem a atacar e defender jogando um contra o outro, tornando-se mais fortes a cada rodada.

O Problema com o Jeito Antigo

Anteriormente, pesquisadores tentaram usar uma ferramenta de treinamento específica (chamada GRPO) para ensinar o atacante a quebrar o defensor. No entanto, eles descobriram que, quando o atacante e o defensor aprendiam ao mesmo tempo, o sistema ficava "instável". Era como dois boxeadores tentando aprender um novo estilo de luta enquanto o próprio ringue estava sacudindo; eles não conseguiam concordar sobre quem estava vencendo, e o treinamento travava ou entrava em círculos.

A Solução: AdvGRPO (O Dojo Estável)

Os autores criaram um novo framework chamado AdvGRPO que resolve o problema do ringue sacudindo. Eles fizeram isso com três truques principais:

Uma Planilha de Pontuação com Múltiplas Faixas (Recompensas de Canais Densos Multi-Canal):
Imagine um árbitro que não apenas grita "Ponto!" ao final do round. Em vez disso, ele dá uma pontuação para cada movimento individual.
- O atacante manteve-se no tópico?
- O atacante seguiu a estratégia?
- O atacante realmente conseguiu a resposta prejudicial?
  Ao pontuar cada pequeno passo, o atacante recebe um feedback constante sobre o que melhorar, em vez de esperar até o fim para descobrir que falhou.
Juízes Independentes (Normalização de Vantagem Desacoplada):
No método instável antigo, se o atacante de repente ficasse muito bom, as pontuações para o defensor pareceriam terríveis por comparação, confundindo o treinamento.
O novo método usa um sistema (chamado GDPO) onde cada tipo de pontuação é julgado de forma independente antes de ser combinado. É como ter um juiz para "Velocidade", um juiz para "Técnica" e um juiz para "Criatividade", que avaliam separadamente, para que um não estrague a pontuação do outro. Isso mantém o treinamento estável mesmo conforme ambos os modelos ficam mais inteligentes.
O Campo de Treinamento (Aprendizado por Currículo):
Você não colocaria um boxeador iniciante no ringue com um campeão imediatamente. O artigo utiliza um "currículo".
- Fase 1: O atacante treina sozinho contra um defensor fixo para aprender o básico.
- Fase 2: Assim que o atacante estiver decente, eles começam a fazer sparring com o defensor.
- Fase 3: Eles alternam turnos. O atacante tenta quebrar o defensor por algumas rodadas, depois o defensor tenta tapar as brechas por algumas rodadas, e eles trocam. Isso evita que o defensor apenas diga "Não" para tudo (uma vitória fácil) e o força a aprender como lidar com ataques específicos e complexos.

O Que Eles Descobriram

O artigo relata vários resultados principais de seus experimentos:

Os Atacantes Ficaram Assustadoramente Bons: Os atacantes treinados aprenderam a enganar o defensor muito melhor do que modelos não treinados ou modelos que foram apenas "desbloqueados" (tiveram seus filtros de segurança removidos). Eles aprenderam que simplesmente remover os filtros de segurança não é suficiente; é preciso aprender como atacar.
Eles Podem se Adaptar: Os atacantes aprenderam estratégias que funcionaram não apenas no defensor contra o qual treinaram, mas em modelos completamente diferentes que nunca haviam visto antes. É como um boxeador aprendendo um movimento que funciona contra qualquer pessoa, não apenas contra seu parceiro de sparring.
Os Defensores Ficaram Mais Fortes: Os defensores treinados neste "dojo" tornaram-se muito melhores em detectar e bloquear ataques do que os defensores treinados com métodos antigos. Eles aprenderam a dizer "Não" para pedidos ruins, mas ainda dizer "Sim" para pedidos bons e inofensivos.
Modelos de Pensamento Precisam de Ajuda Especial: Eles descobriram que modelos capazes de "pensar" (raciocinar) muitas vezes tentavam ser seguros demais e recusavam o ataque mesmo quando solicitados. Eles tiveram que criar um sistema de recompensa especial para ensinar esses modelos a pensar através do ataque sem ficarem presos em avisos de segurança.

A Conclusão Final

O artigo afirma que, ao usar este novo método estável (AdvGRPO), eles podem criar um sistema onde atacantes e defensores de IA aprendem juntos. Isso resulta em atacantes que são muito bons em encontrar fraquezas e defensores que são muito bons em corrigi-las, tornando a IA mais segura no geral. Eles enfatizam que este é uma ferramenta de pesquisa para encontrar fraquezas antes que atores mal-intencionados possam usá-las, ajudando a construir sistemas de IA mais fortes e robustos.

Resumo Técnico: Aprendendo a Atacar e Defender: Red Teaming Adaptativo de Modelos de Linguagem via GRPO

Declaração do Problema

O alinhamento de segurança atual para Grandes Modelos de Linguagem (LLMs) depende fortemente de conjuntos de dados estáticos de prompts adversariais curados por humanos ou gerados por técnicas de jailbreak fixas. Embora os modelos possam ser treinados para repelir esses ataques específicos, eles permanecem frágeis contra atacantes adaptativos que modificam estratégias para visar novas fraquezas. Métodos existentes de red-teaming automatizado frequentemente treinam atacantes contra defensores fixos ou utilizam otimização de malha aberta (open-loop), onde o atacante gera todas as rodadas sem observar as respostas do defensor. Além disso, embora o Group Relative Policy Optimization (GRPO) tenha mostrado promessa em domínios de segurança, tentativas anteriores de aplicar o GRPO ao co-treinamento atacante-defensor relataram instabilidade, levando pesquisadores a preferir o Proximal Policy Optimization (PPO) ou o Direct Preference Optimization (DPO) em vez dele.

Metodologia: AdvGRPO

Os autores introduzem o AdvGRPO, um framework de co-treinamento projetado para tornar o GRPO viável para a otimização conjunta de atacante e defensor. O framework aborda a instabilidade de tentativas anteriores de co-treinamento com GRPO através de três mecanismos centrais:

Recompensas Densas de Múltiplos Canais e GDPO:
Em vez de depender de resultados finais esparsos, o sistema emprega sinais de recompensa densos e de múltiplos canais pontuados por um juiz LLM (GPT-4.1).
- Para Atacantes: As recompensas incluem uma Recompensa de Ataque ( $A$ ) pela resposta prejudicial do defensor, uma Recompensa de Prompt ( $P$ ) pela adesão do atacante à estratégia e uma Recompensa de Rastro de Pensamento ( $T$ ) para modelos de raciocínio, visando evitar a autocensura.
- Para Defensores: As recompensas incluem $1-A$ para objetivos adversariais (penalizando saídas prejudiciais) e uma Recompensa de Utilidade ( $H$ ) para objetivos benignos.
- GDPO (Group reward-Decoupled Policy Optimization): Para evitar o colapso do sinal de recompensa, onde canais com menor variância são atenuados durante a normalização, o framework normaliza cada canal de recompensa de forma independente dentro de um grupo antes de combiná-los via soma ponderada. Isso desacopla as escalas de vantagem de diferentes objetivos.
Otimização de Múltiplas Rodadas em Malha Fechada (Closed-Loop):
Ao contrário dos métodos de malha aberta (ex: SEMA), onde os atacantes geram todas as rodadas de uma só vez, o AdvGRPO opera em malha fechada. O atacante observa a resposta do defensor em cada rodada e adapta seu próximo prompt de acordo. Episódios são podados precocemente se o ataque for bem-sucedido (recompensa > 0,9), proporcionando uma atribuição de crédito eficiente para ações por rodada.
Pré-treinamento de Currículo e Atualizações Alternadas:
- Currículo: O atacante é primeiro treinado em um cenário de rodada única, depois em múltiplas rodadas, antes que o co-treinamento comece. Isso evita que o defensor domine os estágios iniciais do co-treinamento ao repelir facilmente ataques fracos e não treinados.
- Atualizações Alternadas: Durante o co-treinamento, os modelos atacante e defensor são atualizados de forma alternada (a cada $N$ passos). Na fase do atacante, o defensor é congelado; na fase do defensor, o atacante é congelado, e o defensor é treinado em uma mistura de objetivos adversariais e benignos para evitar uma estratégia degenerada de "recusar tudo".

Principidades Contribuições

Estabilização do GRPO para Co-Treinamento: O artigo demonstra que o GRPO pode ser usado efetivamente para o co-treinamento atacante-defensor, superando relatos anteriores de instabilidade através do uso de GDPO e normalização de vantagem desacoplada.
Aprendizado de Múltiplas Rodadas em Malha Fechada: O framework permite que atacantes aprendam estratégias adaptativas condicionando-se às respostas do defensor em cada rodada, em vez de gerar sequências estáticas de múltiplas rodadas.
Treinamento de Modelo de Raciocínio para Ataque: O método treina com sucesso modelos capazes de raciocínio (ex: Qwen3.5-9B) para superar a autocensura induzida pelo alinhamento, uma capacidade que os modelos de raciocínio base não possuem.
Treinamento de Defensor Robusto: Os defensores co-treinados alcançam um desempenho de segurança superior em comparação com as linhas de base, mantendo a utilidade geral.

Resultados

Desempenho do Atacante:

Atacantes treinados com AdvGRPO alcançaram melhorias significativas na Taxa de Sucesso de Ataque (ASR) sobre os modelos base. Por exemplo, um atacante de múltiplas rodadas Qwen2.5-14B alcançou 90–91% de ASR no AdvBench e HarmBench contra o GPT-4.1.
Modelos capazes de raciocínio (Qwen3.5-9B) treinados com AdvGRPO alcançaram 71–79% de ASR em configurações de rodada única, superando o desempenho próximo de zero em seu estado base.
Transferibilidade: Os atacantes generalizaram bem para modelos defensores não vistos (Phi-4-mini, Llama-3.1-8B, Gemma-2-9B), frequentemente superando o método de estado da arte SEMA em objetivos fora de distribuição (OOD), particularmente em cenários de múltiplas rodadas.
Comparação com Baseline: Modelos sem censura (ex: modelos Abliterated ou GRP-Obliterated) apresentaram baixo desempenho como atacantes comparados aos modelos treinados com AdvGRPO, indicando que remover apenas as salvaguardas de segurança não confere capacidades de estratégia adversarial.

Desempenho do Defensor:

Defensores co-treinados (Qwen2.5-7B) reduziram o ASR do HarmBench para <2%, superando significativamente o modelo base (18,8%), Self-RedTeam (16,8%) e AdvGame (4,7%).
Embora a conformidade benigna tenha diminuído ligeiramente (provavelmente devido ao treinamento apenas em prompts benignos comuns), as métricas de utilidade geral (MMLU, TruthfulQA, ARC-C, IFBench) foram preservadas ou melhoradas, indicando que o treinamento de segurança não degradou as capacidades gerais.

Significância e Alegações

O artigo alega que o AdvGRPO fornece uma alternativa estável e eficaz ao PPO e DPO para red-teaming e defesa automatizados. Ele estabelece que:

O GRPO é viável para co-treinamento quando pareado com recompensas densas de múltiplos canais e normalização desacoplada, desafiando a noção de que é inerentemente instável neste cenário.
O treinamento adaptativo é necessário: Simplesmente remover as salvaguardas de segurança (desalinhamento) é insuficiente para criar atacantes eficazes; os modelos devem ser especificamente treinados para explorar as fraquezas do defensor através de co-treinamento iterativo.
A otimização em malha fechada produz ataques mais transferíveis e robustos do que métodos de malha aberta, pois o atacante aprende a se adaptar a respostas específicas do defensor turno a turno.
O co-treinamento produz defensores robustos que generalizam melhor do que aqueles treinados via conjuntos de dados estáticos ou outros baselines de co-treinamento, oferecendo um caminho prático para um alinhamento de segurança de IA mais resiliente.

Os autores reconhecem limitações, incluindo a redução da conformidade benigna nos defensores (sugerindo a necessidade de prompts benignos adversariais no treinamento) e algum colapso de entropia nos prompts do atacante, o que limita a diversidade de ataque. No entanto, o trabalho posiciona o AdvGRPO como um passo significativo adiante na criação de sistemas de red-teaming adaptativos e automatizados.