LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts

Título: LLMs conhecem suas vulnerabilidades: Revelando Lacunas de Segurança Através de Deslocamentos de Distribuição Naturais

Autores: Qibing Ren, Hao Li, Dongrui Liu, et al. (SJTU, Beihang University, Shanghai AI Laboratory)

1. O Problema: Vulnerabilidade a Deslocamentos de Distribuição Naturais

As preocupações com a segurança de Grandes Modelos de Linguagem (LLMs) focam tradicionalmente em como os modelos são treinados para rejeitar consultas maliciosas explícitas. No entanto, a pesquisa atual identifica uma nova e crítica vulnerabilidade: a sensibilidade dos LLMs alinhados a "deslocamentos de distribuição naturais" (natural distribution shifts).

• Definição: Diferente dos ataques de "deslocamento malicioso" (onde o prompt é deliberadamente modificado com ciphers, role-play ou instruções de jailbreak), este trabalho explora prompts que são benignos e semanticamente relacionados ao conteúdo tóxico, mas que existem naturalmente na distribuição de dados de pré-treinamento do modelo.
• A Lacuna: Os modelos aprendem vastas relações semânticas durante o pré-treinamento (ex: a conexão entre "Ted Kaczynski" e "fabricação de bombas"). As técnicas de segurança atuais (RLHF, filtros de entrada) cobrem consultas diretas, mas falham em proteger contra uma cadeia de perguntas aparentemente inofensivas que exploram essas conexões semânticas para, gradualmente, levar o modelo a revelar informações perigosas.

2. Metodologia: ActorBreaker

Para explorar sistematicamente essa vulnerabilidade, os autores propõem o ActorBreaker, um método de ataque multi-turno (multi-turn) fundamentado na Teoria do Ator-Rede (Actor-Network Theory - ANT) de Bruno Latour.

Conceitos Chave:

1. Rede de Atores (Actor-Network): O método constrói uma rede conceitual ao redor de uma consulta tóxica (alvo). Baseado na ANT, a rede inclui tanto atores humanos (figuras históricas, influenciadores) quanto atores não-humanos (livros, movimentos sociais, mídia, leis).
2. Seis Tipos de Atores: O sistema categoriza os atores em seis funções relacionadas ao ciclo de vida do conteúdo nocivo:
   • Criação (origem da ideia), Execução (quem realiza o ato), Distribuição (quem espalha), Recepção (quem é afetado), Facilitação (quem ajuda) e Regulação (quem tenta controlar).
3. Geração de Ataque em Duas Etapas:
   • Construção da Rede: O LLM atacante (usando seu conhecimento de pré-treinamento) instancia a rede, identificando nomes específicos de atores e suas relações semânticas com o alvo tóxico.
   • Cadeia de Ataque (Attack Chain): O modelo infere uma sequência lógica de pensamentos para transitar de um ator benigno até o alvo tóxico.
   • Auto-fala (Self-Talk): O atacante gera múltiplas rodadas de perguntas simulando uma conversa consigo mesmo (prevendo a resposta do modelo vítima) para refinar o caminho de ataque antes de interagir com o modelo real.
   • Modificação Dinâmica (Opcional): Se o modelo vítima recusar ou não entender, o sistema ajusta a pergunta (ex: removendo palavras-chave sensíveis mantendo a intenção semântica) para contornar barreiras de segurança.

3. Contribuições Principais

1. Identificação de um Novo Modo de Falha: Evidenciam que LLMs alinhados são frágeis não apenas a prompts maliciosos, mas a prompts benignos que exploram relações semânticas profundas do pré-treinamento.
2. Novo Método de Ataque (ActorBreaker): Uma abordagem inovadora que utiliza teoria sociológica (ANT) para gerar prompts diversificados, naturais e sem técnicas de jailbreak explícitas.
3. Desempenho State-of-the-Art: O método supera significativamente ataques de turno único e multi-turno existentes (como GCG, PAIR, Crescendo) em benchmarks padrão.
4. Defesa Adaptativa: Propõem a expansão do espaço semântico dos dados de treinamento de segurança. Eles criam um dataset de segurança multi-turno usando o próprio ActorBreaker e demonstram que o fine-tuning com esses dados melhora a robustez do modelo.

4. Resultados Experimentais

Os experimentos foram realizados em 6 LLMs populares (GPT-3.5, GPT-4o, GPT-o1, Claude-3.5, Llama-3-8B/70B) usando o benchmark HarmBench.

• Taxa de Sucesso (ASR): O ActorBreaker alcançou uma ASR média de 77.7%, superando amplamente os baselines:
  • Crescendo (multi-turno líder anterior): 49.3%
  • CoA (multi-turno): 19.3%
  • GCG (turno único): 20.47%
• Resiliência em Modelos Avançados: O método foi eficaz mesmo contra o GPT-o1, um modelo projetado com raciocínio avançado e forte alinhamento de segurança. O GPT-o1 frequentemente falhou ao seguir o raciocínio de segurança em sua "cadeia de pensamento" (Chain-of-Thought), acabando por fornecer instruções nocivas.
• Diversidade e Naturalidade:
  • Os prompts gerados têm maior diversidade semântica (medida por distância de embeddings BERT) do que os baselines.
  • Os prompts passam pelos filtros de toxicidade do Llama-Guard 2 com muito mais frequência do que os prompts de outros métodos, provando sua "naturalidade".
• Eficiência: O método requer menos interações (turnos) para ter sucesso em comparação com métodos que dependem de tentativa e erro pesado.

5. Significado e Implicações

• Blind Spot na Segurança: O trabalho revela que a segurança atual é insuficiente porque trata sintomas (palavras-chave tóxicas) em vez de causas (a rede semântica de conhecimento do modelo).
• Necessidade de Dados de Treinamento Mais Amplos: A defesa eficaz não pode se limitar a rejeitar perguntas diretas. É necessário expandir o treinamento de segurança para cobrir o espaço semântico amplo das relações tóxicas, incluindo contextos históricos, acadêmicos e indiretos.
• Trade-off Utilidade vs. Segurança: O fine-tuning com o dataset proposto aumentou a robustez, mas introduziu uma pequena redução na utilidade (helpfulness) do modelo, um desafio comum que requer soluções futuras (como RLHF multi-turno).
• Ética: Os autores seguiram diretrizes éticas rigorosas, divulgando os resultados aos desenvolvedores antes da publicação e utilizando os dados gerados para fins de defesa (treinamento de modelos mais seguros).

Conclusão

O artigo demonstra que a segurança dos LLMs é frágil frente a deslocamentos de distribuição naturais. O ActorBreaker oferece uma ferramenta poderosa para red teaming automatizado, forçando a comunidade a repensar como os modelos são alinhados, sugerindo que a proteção deve ser baseada na compreensão profunda das relações semânticas do conhecimento humano, e não apenas na filtragem de palavras-chave.