💬 NLP

Learning diverse attacks on large language models for robust red-teaming and safety tuning

Este artigo propõe uma estrutura baseada em GFlowNet para red-teaming automatizado que supera as limitações de colapso de modo das abordagens de aprendizado por reforço existentes para gerar prompts de ataque diversos e eficazes, permitindo, assim, a criação de modelos de linguagem de grande escala mais robustos e com ajuste de segurança.

Autores originais: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

Publicado 2026-09-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, os grandes modelos de linguagem tornaram-se ferramentas poderosas, capazes de escrever, raciocinar e conversar com fluidez semelhante à humana. No entanto, essa capacidade traz consigo um risco significativo: esses sistemas podem ser manipulados para produzir conteúdo prejudicial, tóxico ou perigoso. Para evitar isso, os desenvolvedores envolvem-se numa prática conhecida como red-teaming (equipa vermelha). Imagine uma equipa de segurança contratada para invadir um edifício antes de o público se mudar para lá; no reino digital, o red-teaming envolve tentar sistematicamente enganar uma inteligência artificial para que ela revele as suas fraquezas. O objetivo é encontrar as perguntas ou instruções específicas, chamadas prompts, que contornam os filtros de segurança do modelo e o forçam a gerar algo para o qual foi desenhado para recusar. Identificar estas vulnerabilidades é essencial para construir sistemas mais seguros, mas encontrá-las é difícil porque o espaço de perguntas possíveis é vasto, e os métodos utilizados para as encontrar muitas vezes ficam presos num ciclo, repetindo as mesmas poucas truques em vez de descobrir uma grande variedade de novas formas de quebrar o sistema.

Uma equipa de investigadores desenvolveu uma nova abordagem para este problema que gera com sucesso uma gama diversificada de prompts de ataque eficazes. Em vez de depender de métodos tradicionais que frequentemente convergem para uma solução única e repetitiva, eles utilizaram um framework probabilístico chamado rede de fluxo generativo (generative flow network). Este método trata a busca por prompts prejudiciais não como uma simples tarefa de otimização, mas como um processo de amostragem de um vasto panorama de possibilidades. Os investigadores treinaram um modelo de inteligência artificial para explorar este panorama, recolhendo uma ampla gama de prompts que desencadearam com sucesso respostas tóxicas de modelos alvo. Eles aplicaram então uma segunda etapa de suavização para refinar estas descobertas, garantindo que o conjunto final de ataques fosse tanto altamente eficaz quanto notavelmente variado. O resultado é um conjunto de ferramentas que pode descobrir vulnerabilidades que outros métodos perdem, proporcionando uma rede de segurança mais abrangente para os desenvolvedores.

O desafio central que os investigadores abordaram foi uma falha comum no red-teaming automatizado: a tendência dos sistemas para colapsarem na geração de apenas alguns prompts semelhantes e repetitivos. Tentativas anteriores de corrigir isto através da adição de regras para incentivar a variedade falharam frequentemente, resultando em sistemas que produziam ou perguntas diversas mas inofensivas, ou ataques eficazes mas idênticos. O novo método evita esta armadilha utilizando um processo de duas etapas. Na primeira etapa, o sistema explora o espaço de prompts possíveis, guiado por um sinal de recompensa que mede a probabilidade de um prompt desencadear uma resposta prejudicial. Esta exploração é desenhada para ser ampla, procurando muitos diferentes "modos" ou tipos de ataques, em vez de apenas o mais fácil. O sistema recolhe um grande conjunto de dados destes prompts bem-sucedidos e diversos durante esta fase.

Na segunda etapa, os investigadores pegam nos prompts recolhidos e utilizam-nos para treinar o modelo novamente, desta vez focando-se em aprender os padrões que tornaram esses prompts específicos bem-sucedidos. Esta etapa atua como um refinamento, suavizando a distribuição de ataques, de modo que o modelo possa gerar novas variações de alta qualidade que não foram explicitamente vistas antes, mas que partilham as mesmas características de sucesso. Esta combinação de exploração ampla seguida de aprendizagem focada permite que o sistema mantenha um alto nível de diversidade, garantindo ao mesmo tempo que os ataques permanecem potentes. Os investigadores testaram esta abordagem numa variedade de diferentes modelos de linguagem, incluindo alguns que tinham sido especificamente treinados para serem seguros e resistentes a ataques. Eles descobriram que o seu método superava consistentemente as técnicas existentes, gerando uma percentagem muito maior de prompts tóxicos enquanto mantinha uma ampla variedade de fraseologia e estrutura.

Uma das descobertas mais significativas foi a capacidade destes ataques de se transferirem entre diferentes modelos. Prompts gerados para atacar um modelo específico foram frequentemente bem-sucedidos contra outros modelos completamente diferentes, mesmo aqueles contra os quais os investigadores nunca tinham testado durante a fase de treino. Isto sugere que diferentes sistemas de inteligência artificial partilham fraquezas comuns no seu treino de segurança, e que um conjunto diversificado de ataques pode revelar estas vulnerabilidades partilhadas de forma mais eficaz do que os ataques estreitos e repetitivos. Por exemplo, quando os investigadores treinaram o seu sistema num modelo chamado Gemma, os prompts resultantes foram capazes de contornar com sucesso os filtros de segurança de vários outros modelos, incluindo Llama e Mistral, com altas taxas de sucesso. Esta transferibilidade é crucial porque significa que um único esforço de red-teaming bem desenhado pode melhorar a segurança de muitos sistemas diferentes ao mesmo tempo.

Os investigadores também demonstraram que utilizar o seu conjunto diversificado de ataques para treinar um modelo o torna significativamente mais robusto. Quando pegaram num modelo alvo e o ajustaram (fine-tuning) utilizando as respostas de recusa aos seus prompts gerados, o modelo resultante tornou-se muito mais difícil de quebrar. De facto, este modelo ajustado para segurança foi capaz de resistir a ataques gerados por outros métodos de red-teaming menos sofisticados que tinham sido anteriormente bem-sucedidos. Isto indica que expor um modelo a uma grande variedade de estilos de ataque durante o seu treino de segurança é muito mais eficaz do que expô-lo a apenas alguns exemplos repetidos. O estudo mostrou que esta melhoria na segurança não veio à custa das capacidades gerais do modelo; os modelos ajustados para segurança mantiveram a sua capacidade de seguir instruções e realizar tarefas de forma eficaz.

O trabalho também destacou as limitações das medidas de segurança atuais. Os investigadores notaram que a eficácia dos seus ataques depende do classificador utilizado para determinar se uma resposta é tóxica, e que o dano real pode ser subjetivo e dependente do contexto. Eles observaram que alguns métodos, particularmente aqueles que dependem de otimização simples, podem cair numa armadilha onde geram prompts que parecem tóxicos para um classificador, mas que não provocam realmente respostas prejudiciais do modelo, um fenómeno conhecido como "reward hacking" (exploração de recompensa). A sua abordagem de duas etapas ajudou a mitigar isto ao garantir que os prompts não eram apenas estatisticamente propensos a desencadear um classificador, mas sim genuinamente eficazes em provocar a resposta desejada do modelo alvo.

Em última análise, esta investigação fornece uma forma mais fiável de testar o stress de sistemas de inteligência artificial antes de serem lançados ao público. Ao afastar-se de métodos que ficam presos em ciclos repetitivos e ao abraçar uma estratégia que procura uma grande diversidade de ataques, os desenvolvedores podem identificar e corrigir uma gama mais ampla de vulnerabilidades. A capacidade de transferir estes ataques entre diferentes modelos sugere que os desafios de segurança enfrentados por estes sistemas estão interconectados, e que uma abordagem probabilística e diversificada de red-teaming oferece uma ferramenta poderosa para construir uma inteligência artificial mais resiliente e confiável. O código e os métodos desenvolvidos neste estudo estão disponíveis para que outros os utilizem, visando acelerar a criação de sistemas mais seguros para todos.

Resumo Técnico: Aprendendo Ataques Diversos em Grandes Modelos de Linguagem para Red-Teaming Robusto e Ajuste de Segurança

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) acarreta riscos significativos em relação à geração de conteúdo prejudicial, tóxico ou inseguro. Embora os modelos sejam frequentemente ajustados com restrições de segurança, eles permanecem vulneráveis a prompts de "jailbreak" ou "ataque" que provocam respostas indesejáveis. O red-teaming — a identificação automatizada de tais prompts — é crítico para garantir o alinhamento de segurança robusto antes da implantação.

Os métodos existentes de red-teaming automatizado, baseados principalmente em Aprendizado por Reforço (RL), enfrentam um compromisso fundamental entre diversidade e eficácia.

Colapso de Modo (Mode Collapse): Algoritmos de RL padrão (ex: REINFORCE, PPO) tendem a convergir para uma única trajetória de alta recompensa, gerando um conjunto estreito de prompts similares.
Diversidade Ineficaz: Métodos que tentam impor diversidade (ex: via recompensas de novidade ou bônus de entropia) frequentemente falham em equilibrar isso com a toxicidade, resultando em prompts diversos, mas ineficazes, que não conseguem contornar com sucesso os filtros de segurança.
Baixa Transferibilidade: Ataques gerados para um modelo alvo específico muitas vezes falham ao serem transferidos para outros LLMs, limitando a eficiência do ajuste de segurança entre diferentes arquiteturas.

O artigo argumenta que as abordagens atuais têm dificuldade em descobrir o espectro completo de modos de ataque necessários para realizar um ajuste de segurança robusto em LLMs.

Metodologia

Os autores propõem um framework probabilístico de dois estágios usando GFlowNets (Redes de Fluxo Generativo) seguido de suavização por Estimativa de Máxima Verossimilhança (MLE). Esta abordagem trata a geração de prompts de ataque como uma amostragem de uma distribuição de recompensa, em vez de otimizar uma única trajetória determinística.

Estágio 1: Ajuste Fino de GFlowNet

O primeiro estágio envolve o ajuste fino de um Modelo de Linguagem (LM) atacante pré-treinado como uma política de GFlowNet.

Objetivo: Aprender uma política estocástica $p_\theta$ que amostra prompts $x$ com uma probabilidade proporcional à sua recompensa $R(x)$ .
Função de Recompensa: A recompensa combina dois componentes:
1. Toxicidade ( $R_1$ ): A probabilidade de a resposta do LLM alvo ser classificada como tóxica por um classificador de toxicidade (ex: Llama-Guard ou RoBERTa).
2. Naturalidade ( $R_2$ ): A probabilidade do prompt sob um modelo de referência ( $p_{ref}$ ), garantindo que os prompts de ataque pareçam naturais e não sejam facilmente filtrados por defesas baseadas em perplexidade.
Treinamento: O modelo é treinado usando o objetivo de Equilíbrio de Trajetória (Trajectory Balance). Durante esta fase, a política explora o espaço dos prompts, coletando amostras de alta recompensa em um conjunto de dados offline. Este estágio é projetado para ser "off-policy", permitindo que o modelo descubra modos diversos de ataque que o RL padrão poderia perder.

Estágio 2: Suavização por MLE

O segundo estágio aborda a sensibilidade da GFlowNet aos parâmetros de temperatura de recompensa (que controlam o equilíbrio entre toxicidade e diversidade).

Processo: O LM atacante pré-treinado é reinicializado e ajustado usando Estimativa de Máxima Verossimilhança (MLE) nos prompts de alta recompensa coletados durante o Estágio 1.
Mecanismo: Isso atua como uma forma de clonagem de comportamento. Ao treinar no conjunto diverso de ataques bem-sucedidos descobertos no Estágio 1, o modelo aprende uma distribuição "suave" sobre prompts de alta recompensa.
Benefício: Este passo desacopla a exploração (Estágio 1) da otimização final da política, tornando o método robusto às configurações específicas de temperatura usadas no objetivo da GFlowNet e melhorando significativamente a diversidade do output final.

Adaptação via Reclassificação (Reranking)

Uma característica chave da abordagem de dois estágios é sua adaptabilidade. Para realizar o red-teaming de um novo LLM alvo, os autores propõem pular o custoso Estágio 1. Em vez disso, eles recomputam a recompensa dos prompts armazenados do Estágio 1 usando o novo LLM alvo, filtram os prompts de alta recompensa e realizam apenas o ajuste fino leve do Estágio 2 (MLE).

Principais Contribuições

Red-Teaming Probabilístico: O artigo introduz uma abordagem baseada em GFlowNet para red-teaming, enquadrando a geração de prompts como amostragem de uma distribuição de recompensa para incentivar inerentemente a diversidade.
Suavização de Dois Estágios: Os autores propõem um novo passo de suavização por MLE que generaliza a partir de amostras de alta recompensa encontradas durante o treinamento da GFlowNet, equilibrando efetivamente diversidade e toxicidade enquanto reduz a sensibilidade aos hiperparâmetros.
Transferibilidade: O método gera prompts de ataque que se transferem efetivamente entre diferentes LLMs alvo (ex: de Llama-2 para Llama-3, ou Gemma para Mistral), revelando modos de falha compartilhados no alinhamento de segurança.
Ajuste de Segurança Robusto: O artigo demonstra que o ajuste de segurança de LLMs alvo usando o conjunto diverso de dados gerado por este método resulta em modelos significativamente mais robustos a ataques de outros métodos de red-teaming baseados em RL, comparado a modelos ajustados com baselines padrão.

Resultados Experimentais

O método foi avaliado contra cinco LLMs alvo (GPT-2, Dolly-v2-7b, Gemma-2b-it, Llama-2-7b-chat, Llama-3.1-8B-Instruct) e comparado contra baselines incluindo Ajuste Fino Supervisionado (SFT), Aprendizado em Contexto (ICL), REINFORCE, PPO + Novidade e GFlowNet isolada.

Diversidade vs. Toxicidade: O método proposto GFlowNet + MLE é a única abordagem que alcança consistentemente tanto altas taxas de toxicidade (eficácia) quanto alta distância de cosseno (diversidade) em todos os modelos alvo. Baselines como REINFORCE sofrem de colapso de modo (alta toxicidade, baixa diversidade), enquanto o PPO + Novidade frequentemente falha em encontrar ataques eficazes em modelos com ajuste de segurança.
Transferibilidade: Quando treinado no Gemma-2b-it, o atacante GFlowNet + MLE alcançou uma taxa de toxicidade de ~27% no Llama-2-7b-chat e ~52% no Llama-3-70b-instruct, superando significativamente todos os outros métodos. Em contraste, os ataques REINFORCE foram moldados para o modelo de treinamento e falharam na transferência (0% de toxicidade em outros modelos).
Eficácia do Ajuste de Segurança: Modelos alvo ajustados com o dataset GFlowNet + MLE foram robustos contra ataques de outros métodos (ex: PPO + Novidade), enquanto modelos ajustados com outros datasets permaneceram vulneráveis a ataques do GFlowNet + MLE.
Eficiência: O segundo estágio (MLE) é computacionalmente barato, levando menos de 5% do tempo total de treinamento e não requer amostragem on-policy ou computação de recompensa cara durante a fase de adaptação.

Significância e Alegações

O artigo postula que a diversidade é um pré-requisito para um ajuste de segurança robusto. Ao falhar em descobrir modos de ataque diversos, os processos atuais de alinhamento de segurança deixam os modelos vulneráveis a vetores de ataque não vistos. O método proposto fornece uma alternativa probabilística fundamentada ao RL padrão, permitindo a descoberta de um espectro mais amplo de vulnerabilidades.

Os autores alegam que sua abordagem:

Resolve o problema de "colapso de modo" inerente ao red-teaming padrão por RL.
Fornece um mecanismo escalável para adaptar políticas de red-teaming a novos modelos sem necessidade de retreinar do zero.
Demonstra que modelos com ajuste de segurança treinados em ataques diversos gerados por GFlowNet são mais resilientes a uma gama mais ampla de ameaças.

O artigo conclui observando limitações, especificamente que a eficácia é limitada pela precisão do classificador de toxicidade usado como proxy para dano, e que a natureza online do treinamento (exigindo consultas ao LLM alvo) acarreta custos computacionais. No entanto, o framework de dois estágios proposto oferece um avanço significativo para o red-teaming automatizado e robusto.