Adaptive Instruction Composition for Automated LLM Red-Teaming

1. Problema

O Red-Teaming (testes de invasão) automatizado em Grandes Modelos de Linguagem (LLMs) visa identificar proativamente vulnerabilidades de segurança (como jailbreaks) para melhorar as defesas dos modelos. No entanto, as abordagens existentes apresentam limitações significativas:

• Abordagens Baseadas em Tentativa e Erro: Métodos que usam um LLM atacante para iterar e descobrir estratégias por si só tendem a convergir para um conjunto semanticamente limitado de sucessos, falhando em explorar a diversidade de ataques.
• Combinação Aleatória (WildTeaming): A abordagem WildTeaming combina consultas maliciosas e táticas de jailbreak de um corpus massivo (WildJailbreak) de forma aleatória. Embora produza diversidade, a seleção aleatória é ineficiente, não aproveitando os sucessos anteriores para otimizar a busca em um espaço combinatório gigantesco (trilhões de possibilidades).
• O Dilema Exploração-Exploração: Existe uma necessidade crítica de um sistema que possa equilibrar a exploração (descobrir novas áreas de vulnerabilidade e manter a diversidade) com a exploração (focar nas combinações que têm maior probabilidade de sucesso), adaptando-se dinamicamente às vulnerabilidades específicas de um modelo alvo.

2. Metodologia: Composição Adaptativa de Instruções (AIC)

Os autores propõem o framework Adaptive Instruction Composition (AIC), que utiliza Aprendizado por Reforço (RL) e algoritmos de Bandit Contextual para otimizar a composição de instruções de ataque.

Arquitetura do Sistema

O sistema envolve quatro modelos principais:

1. Atacante (A): Gera o ataque baseado na instrução composta.
2. Alvo (T): O LLM que está sendo testado.
3. Avaliador (E): Um modelo de segurança (ex: Llama-Guard) que classifica se o ataque foi bem-sucedido.
4. Bandit Neural (f): O componente de aprendizado que seleciona quais instruções compor.

Algoritmo de Seleção (Neural Thompson Sampling)

O coração do AIC é um Bandit Contextual Neural baseado no Neural Thompson Sampling (NTS).

• Espaço de Ação: O espaço consiste em combinações de consultas "vanilla" (harmful queries) e táticas de jailbreak (ex: role-play, obfuscation). O espaço total é combinatorialmente massivo (ex: >8 trilhões de combinações para 1 consulta e 2 táticas).
• Representação de Entrada:
  • As consultas e táticas são convertidas em embeddings usando o modelo Sentence-BERT (SBERT) pré-treinado contrastivamente.
  • Os embeddings (768 dimensões) são reduzidos para 10 dimensões via UMAP para eficiência computacional.
  • As representações são concatenadas para formar o vetor de entrada do bandit.
• Mecanismo de Seleção:
  • Em cada rodada (trial), o bandit recebe um subconjunto aleatório de $K$ candidatos (ex: 500).
  • O bandit calcula uma distribuição de recompensa (Gaussiana) para cada candidato baseada nos parâmetros atuais da rede neural.
  • A seleção segue o princípio de Thompson Sampling: amostra-se uma recompensa prevista de cada distribuição e escolhe-se o candidato com a maior amostra. Isso equilibra naturalmente a exploração (alta variância/incerteza) e a exploração (alta recompensa média).
• Atualização: Após o ataque ser gerado e avaliado, os parâmetros do bandit são atualizados via Descida de Gradiente Estocástico (SGD) para minimizar o erro quadrático entre a recompensa prevista e a real.
• Deduplicação: Se uma composição específica for bem-sucedida, ela é bloqueada para futuras tentativas, forçando o bandit a generalizar o sinal de sucesso para composições semanticamente relacionadas, em vez de apenas repetir o mesmo ataque.

Hiperparâmetros de Controle

O parâmetro de regularização $\lambda$ controla o trade-off:

• Bandit "Sutil" ($\lambda = 1$): Promove ampla exploração e diversidade.
• Bandit "Agressivo" ($\lambda = 0.01$ ou $0.1$): Foca na exploração rápida de vulnerabilidades conhecidas para maximizar a taxa de sucesso.

3. Principais Contribuições

1. Framework AIC: Introdução de um método que substitui a combinação aleatória por uma seleção adaptativa e otimizada via RL em um espaço combinatório massivo.
2. Generalização Rápida via Embeddings Contrastivos: Demonstração de que o uso de embeddings pré-treinados contrastivamente (SBERT) permite que a rede neural generalize recompensas sobre grupos de textos semanticamente relacionados, escalando o aprendizado para espaços de ação gigantescos com poucos parâmetros.
3. Controle Explícito do Trade-off: O framework permite ajustar a estratégia entre diversidade (descobrir novos vetores de ataque) e eficácia (maximizar jailbreaks) através de hiperparâmetros simples.
4. Transferibilidade: Validação de que as políticas de ataque aprendidas em um modelo podem ser transferidas (zero-shot) para outros modelos com alta eficácia.

4. Resultados Experimentais

Os experimentos foram realizados contra modelos como Mistral-7B, Llama-3-70B e Llama-3.3-70B, comparando o AIC com o WildTeaming e outras estratégias de red-teaming (GCG, PAIR, AutoDAN-Turbo).

• Taxa de Sucesso de Ataque (ASR):
  • O AIC superou significativamente o WildTeaming em todos os alvos.
  • No cenário "Agressivo" contra Mistral-7B, o AIC alcançou uma ASR de 56,7%, comparado a 25,2% do WildTeaming.
  • Contra Llama-3-70B, o AIC alcançou 45,0% vs 8,8% do WildTeaming.
• Diversidade:
  • O Bandit "Sutil" manteve uma alta diversidade de consultas únicas, superando o WildTeaming em número de queries únicas selecionadas, enquanto mantinha uma ASR competitiva.
  • O Bandit "Agressivo" concentrou-se em táticas eficazes, mas manteve uma cobertura significativa de táticas únicas (não apenas consultas).
• Transferência entre Modelos:
  • Políticas treinadas em Mistral-7B transferidas para Llama-3-70B mostraram uma melhoria de 2,89x em relação ao WildTeaming no alvo transferido.
  • Isso indica que o sistema descobre padrões de vulnerabilidade gerais, não apenas artefatos específicos de um modelo.
• Benchmark HarmBench:
  • O AIC alcançou uma ASR de 100% no Mistral-7B e 93,4% no Llama-3-70B no benchmark HarmBench, superando todas as outras estratégias adaptativas testadas (incluindo AutoDAN-Turbo).
• Ablação de Embeddings:
  • Bandits usando embeddings SBERT (contrastivos) aprenderam muito mais rápido e alcançaram ASR mais alta do que aqueles usando embeddings BERT padrão, confirmando a importância do espaço semântico organizado para a generalização em RL.

5. Significado e Conclusão

O artigo demonstra que a otimização adaptativa de instruções de ataque é superior à busca aleatória ou puramente iterativa baseada em tentativa e erro.

• Eficiência: Permite que equipes de segurança descubram vulnerabilidades em um tempo razoável, cobrindo um espaço de ataque muito maior do que seria possível manualmente ou com métodos aleatórios.
• Escalabilidade: A combinação de Bandits Contextuais com embeddings contrastivos resolve o problema de escalabilidade em espaços de ação combinatoriais massivos, permitindo que o sistema aprenda com poucos dados rotulados (devido ao custo de gerar respostas de LLM).
• Aplicação Prática: O framework fornece uma ferramenta robusta para gerar conjuntos de treinamento de segurança diversificados e eficazes, essenciais para o alinhamento e endurecimento (hardening) de LLMs contra ataques futuros.

O trabalho conclui que a Composição Adaptativa de Instruções representa um avanço significativo na automação de red-teaming, oferecendo um equilíbrio controlável entre a descoberta de novas vulnerabilidades e a exploração máxima das existentes.