Resumo Técnico: Red-Bandit

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) permanecem vulneráveis a prompts adversariais que contornam medidas de segurança, uma limitação atribuída a objetivos concorrentes no treinamento do modelo e à lacuna de generalização entre segurança e capacidades. Embora o red-teaming automatizado tenha surgido como uma alternativa escalável à auditoria humana, os métodos existentes enfrentam compromissos significativos:

• Otimização Offline: Métodos como AdvPrompter e Atoxia geram prompts adversariais offline. Embora se transfiram bem para modelos de caixa-preta, carecem da capacidade de adaptar-se a vulnerabilidades específicas do modelo-alvo no momento do teste.
• Adaptação Intensiva em Consultas: Métodos de busca e mutação iterativos (por exemplo, PAIR, TAP) oferecem adaptabilidade no momento do teste, mas são altamente intensivos em consultas, exigindo inúmeras interações para refinar um único prompt.
• Diversidade e Legibilidade: Abordagens baseadas em Aprendizado por Reforço (RL) frequentemente sofrem de "colapso de modo", limitando a diversidade dos prompts gerados, e lutam para equilibrar múltiplos objetivos (legibilidade versus sucesso do ataque) no design de recompensas.

O desafio central é desenvolver um framework de red-teaming de caixa-preta que se adapte eficientemente online para identificar e explorar vulnerabilidades específicas do modelo, sem incorrer nos altos custos de consultas da busca iterativa ou na rigidez da otimização offline.

Metodologia

O Red-Bandit aborda esses desafios por meio de um framework de duas etapas que combina pós-treinamento de RL eficiente em parâmetros com uma política de bandit de múltiplos braços (MAB) para adaptação no momento do teste.

1. Pós-treinamento de RL de Especialistas LoRA

O framework treina primeiro um conjunto diversificado de "especialistas em estilos de ataque" usando Adaptação de Baixo Rank (LoRA).

• Estilos de Ataque: Dez estilos de ataque distintos são definidos (por exemplo, Interpretação de Papel, Gíria, Cenário Histórico, Manipulação de Autoridade), baseados na taxonomia Rainbow Teaming.
• Algoritmo de Treinamento: Os autores empregam a Otimização de Política Relativa em Grupo (GRPO), uma variante do PPO que elimina a necessidade de um modelo de valor separado e um modelo de referência, reduzindo a sobrecarga computacional.
• Sinal de Recompensa: Um modelo de recompensa baseado em regras (Llama Guard) é usado para pontuar prompts com base na segurança. Crucialmente, a recompensa é calculada no próprio prompt (segurança em nível de prompt) em vez da resposta do modelo-alvo. Isso permite o treinamento em um cenário totalmente de caixa-preta sem consultar o modelo-alvo, promovendo a generalização entre LLMs downstream.
• Arquitetura: Cada estilo de ataque é atribuído a um especialista LoRA dedicado. Este design modular permite treinamento paralelo e fácil adição de novos estilos sem retreinar especialistas existentes ou arriscar esquecimento catastrófico.

2. Inferência Guiada por Bandit

No momento da inferência, o Red-Bandit trata a seleção de um estilo de ataque como um problema de bandit de múltiplos braços.

• Mecanismo: O sistema seleciona dinamicamente entre os especialistas LoRA pré-treinados com base na segurança da resposta do modelo-alvo.
• Exploração vs. Exploração: O framework equilibra exploração (tentar estilos de ataque diversos para descobrir novas vulnerabilidades) e exploração (confiar em estilos conhecidos por serem eficazes para o alvo específico).
• Algoritmos: Os autores avaliam duas políticas:
  • $\epsilon$-greedy: Prioriza a exploração selecionando o braço empiricamente melhor na maior parte do tempo, com exploração aleatória ocasional.
  • Limite Superior de Confiança (UCB): Aplica otimismo sob incerteza, favorecendo braços menos explorados para garantir uma distribuição mais equilibrada de estilos de ataque.
• Adaptação: A política do bandit atualiza sua estratégia de seleção com base no feedback do modelo-alvo, realizando efetivamente adaptação no momento do teste sem retreinar os pesos LoRA subjacentes.

Principais Contribuições

1. Framework Red-Bandit: Um método de red-teaming de caixa-preta que emprega um bandit de múltiplos braços para identificar dinamicamente os estilos de ataque mais eficazes para um modelo-alvo específico, equilibrando diversidade estilística e sucesso do ataque.
2. Pipeline de Pós-treinamento de RL: Um pipeline inovador usando GRPO e LoRA para treinar especialistas específicos de estilo. Aproveita recompensas de segurança em nível de prompt para gerar instruções adversariais legíveis por humanos e alinhadas ao estilo, sem exigir acesso ao modelo-alvo durante o treinamento.
3. Capacidade Diagnóstica: A política do bandit serve como uma ferramenta de diagnóstico, revelando quais estilos de ataque um modelo específico é mais suscetível, expondo assim fraquezas específicas do modelo.
4. Desempenho: O método alcança taxas de sucesso de ataque (ASR) state-of-the-art no AdvBench e HarmBench, enquanto gera prompts com menor perplexidade (maior fluência) em comparação com baselines existentes.

Resultados Experimentais

Os autores avaliaram o Red-Bandit nos benchmarks AdvBench e HarmBench em modelos de código aberto (Mistral-7B, Vicuna-7B, Llama2-7B) e proprietários (GPT-3.5-turbo, GPT-4o-mini, GPT-4o).

• Taxa de Sucesso de Ataque (ASR):
  • No AdvBench, o Red-Bandit alcançou 100% de ASR@10 no Mistral-7B e Vicuna-7B, superando baselines como Atoxia e AdvPrompter. No Llama2-7B, alcançou >96% de ASR@10.
  • No HarmBench, o Red-Bandit (variante UCB) superou todas as baselines (incluindo GCG, PAIR, TAP e AutoDAN) na maioria dos modelos-alvo sob configurações de ASR@20. Notavelmente, alcançou 69,0% de ASR@10 no Llama-2-7B, superando significativamente o GCG-Universal (20,0%).
  • Em configurações de caixa-preta com modelos proprietários, o Red-Bandit demonstrou alto ASR@10 (por exemplo, 98,1% no GPT-3.5-turbo), provando que a seleção guiada por bandit pode explorar vulnerabilidades sem depender da transferibilidade de prompts.
• Qualidade do Prompt: O Red-Bandit gerou prompts com perplexidade significativamente menor (por exemplo, 2,31 para UCB no Mistral-7B) em comparação com baselines, indicando maior legibilidade humana.
• Estudos de Ablação: Os resultados confirmaram que tanto o pós-treinamento de RL quanto o mecanismo de seleção por bandit contribuem substancialmente para o desempenho. Recompensas baseadas em prompt foram encontradas como mais eficientes e diversas do que recompensas baseadas em resposta ou híbridas.
• Diagnóstico de Vulnerabilidade: A análise da distribuição de seleção do bandit revelou padrões distintos de suscetibilidade por modelo (por exemplo, o GPT-4o é altamente vulnerável a cenários históricos e de interpretação de papel, enquanto o Llama-3.1-8B é sensível a ataques hipotéticos e de manipulação de autoridade).

Significado e Alegações

O artigo afirma que o Red-Bandit representa um avanço significativo no red-teaming automatizado ao resolver o compromisso entre adaptabilidade e eficiência. Diferentemente de métodos de busca iterativa que são pesados em consultas, ou de métodos offline que não podem se adaptar a alvos específicos, o Red-Bandit oferece uma solução escalável que aprende a "rotear" para o estilo de ataque mais eficaz em tempo real.

Os autores enfatizam que o framework não é meramente uma ferramenta de ataque, mas um instrumento de diagnóstico. Ao analisar quais estilos de ataque a política do bandit seleciona com mais frequência para elicitar comportamentos prejudiciais, desenvolvedores podem obter insights sobre fraquezas e vieses comportamentais específicos do modelo. O artigo conclui que explorar vulnerabilidades do modelo por meio de estilos de ataque direcionados, guiados por um bandit de múltiplos braços, supera os métodos existentes tanto em taxa de sucesso quanto em legibilidade humana, desde que orçamentos de exploração suficientes estejam disponíveis.

Nota: Os autores reconhecem a natureza de uso dual da tecnologia, afirmando que ela é destinada exclusivamente a desenvolvedores e pesquisadores para auditar e fortalecer as salvaguardas do modelo.