Resumo Técnico: LLM STINGER

Definição do Problema

O "jailbreaking" de Grandes Modelos de Linguagem (LLMs) envolve a criação de entradas que contornam as medidas de segurança impostas pelos desenvolvedores para provocar respostas prejudiciais. Embora ataques baseados em sufixos (anexar strings específicas às entradas) tenham se mostrado eficazes contra modelos tanto de caixa branca quanto de caixa preta, os métodos existentes enfrentam desafios significativos de escalabilidade. Abordagens tradicionais frequentemente dependem de engenharia de prompt manual trabalhosa, templates complexos de interpretação de papéis (role-playing) ou otimização baseada em gradiente de caixa branca que exige acesso aos pesos do modelo. Embora muitos sufixos conhecidos tenham sido corrigidos via treinamento de segurança, os autores observam que versões modificadas desses sufixos ainda podem ter sucesso. No entanto, criar manualmente essas modificações ou usar atacantes de caixa branca para encontrar novos sufixos é demorado e limita a escalabilidade dos esforços de red-teaming.

Metodologia: LLM STINGER

O artigo apresenta o LLM STINGER, um novo framework que utiliza um LLM atacante para gerar automaticamente sufixos adversariais altamente eficazes por meio de um loop de Aprendizado por Reforço (RL). Diferente de métodos anteriores que não realizam o ajuste fino (fine-tuning) do modelo atacante, o LLM STINGER ajusta um LLM atacante para evoluir novos vetores de ataque baseados em ataques bem-sucedidos existentes.

Arquitetura Central

O sistema opera dentro de um ambiente de RL usando o algoritmo Otimização de Política de Proximidade (PPO). O fluxo de trabalho é o seguinte:

1. Entrada: O LLM atacante recebe uma pergunta prejudicial (do benchmark HarmBench) e um conjunto de sete sufixos bem-sucedidos publicamente disponíveis.
2. Geração: O LLM atacante é instruído a gerar novos sufixos similares.
3. Execução: O sufixo gerado é concatenado com a pergunta prejudicial e enviado ao LLM vítima (exigindo apenas acesso de caixa preta).
4. Mecanismo de Feedback:
   • Recompensa Binária: Um LLM de julgamento avalia a resposta da vítima para determinar se o ataque teve sucesso (produzindo uma saída prejudicial).
   • Feedback ao Nível de Token: Se o ataque falhar, um verificador de similaridade de string fornece feedback denso ao nível de token. Este verificador avalia a similaridade entre o sufixo gerado e sufixos anteriormente bem-sucedidos. Ele penaliza desvios que se afastam demais de padrões eficazes conhecidos, orientando o LLM atacante a manter características essenciais enquanto explora novas variações.
5. Otimização: O LLM atacante é ajustado por 50 épocas usando PPO, utilizando tanto o sinal de sucesso binário quanto o feedback de similaridade vetorial para refinar sua política.

Detalhes de Implementação

• Modelo Atacante: Gemma (um LLM de código aberto escolhido por sua flexibilidade com prompts de sistema e falta de cautela excessiva).
• Modelo de Julgamento: O LLM de julgamento do HarmBench, selecionado por seu desempenho superior em conjuntos de validação rotulados manualmente em comparação ao GPT-4 ou Llama-Guard.
• Biblioteca: Uma versão customizada da biblioteca Transformer Reinforcement Learning (TRL), modificada para lidar com sinais de recompensa vetoriais para feedback ao nível de token.
• Hardware: Os experimentos foram conduzidos em um cluster com processadores Intel E5-2683 v4 e GPUs NVIDIA V100.

Principais Contribuições

1. Geração de Sufixos Impulsionada por RL: Os autores apresentam a primeira abordagem que realiza o ajuste fino de um LLM atacante especificamente para gerar sufixos adversariais modificados, indo além da engenharia de prompt estática ou da otimização de gradiente de caixa branca.
2. Loop de Feedback Híbrido: A integração de um verificador de similaridade de string fornece feedback detalhado ao nível de token junto com sinais de sucesso binários. Este mecanismo reduz o espaço de busca, desencorajando a geração de sufixos que desviem significativamente de padrões comprovadamente bem-sucedidos, acelerando a descoberta de ataques eficazes.
3. Eficácia de Caixa Preta: O método requer apenas acesso de caixa preta ao modelo vítima, tornando-o aplicável tanto a modelos de código aberto quanto a modelos de código fechado sem a necessidade de pesos internos.

Resultados

Os autores avaliaram o LLM STINGER contra 15 métodos de red-teaming de última geração (SOTA) (incluindo GCG, PAIR, TAP, AutoDAN e outros) em 7 LLMs vítimas usando a divisão de teste de comportamento padrão do HarmBench.

• LLaMA2-7B-chat: Alcançou uma Taxa de Sucesso de Ataque (ASR) de 89,3%, representando uma melhoria de +57,2% sobre o segundo melhor método.
• Claude 2: Alcançou um ASR de 52,2%, um aumento de +50,3% sobre o segundo melhor método (que alcançou apenas 1,9%).
• GPT-3.5 Turbo (0613): Alcançou um ASR de 88,67%.
• GPT-3.5 Turbo (1106): Alcançou um ASR de 94,97%.
• Gemma-2B-it: Alcançou um ASR de 99,4% na mesma arquitetura de modelo usada como atacante, demonstrando alta adaptabilidade.

Em todos os cenários testados, o LLM STINGER superou todos os 15 métodos de comparação. Os autores verificaram manualmente as saídas para garantir que as altas taxas de sucesso se deviam a jailbreaks genuínos e não ao "gaming" de classificadores.

Significância e Alegações

O artigo afirma que o LLM STINGER aborda a dificuldade combinatória do problema de busca de jailbreak, onde métodos ingênuos falham. Ao utilizar uma busca heurística baseada em RL guiada por um LLM de julgamento e um verificador de similaridade de string, o sistema estreita efetivamente o espaço de busca para regiões de alto potencial.

Os autores afirmam que sua abordagem demonstra:

• Robustez: A capacidade de contornar defesas em modelos conhecidos por extensos treinamentos de segurança (ex: Claude 2, LLaMA2).
• Escalabilidade: A capacidade de automatizar a descoberta de novos sufixos sem intervenção humana ou acesso de caixa branca.
• Adaptabilidade: A eficácia em diversas arquiteturas de modelos, incluindo sistemas de código aberto e de código fechado.

O trabalho destaca que o treinamento de segurança isoladamente pode ser insuficiente contra a evolução de ataques automatizados e baseados em RL, sugerindo a necessidade de estratégias de defesa mais robustas contra tais adversários adaptativos. Trabalhos futuros propostos incluem métodos de ataque adicionais ao nível de token, comparações com modelos multimodais e maior exploração de mecanismos de feedback.