RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models

Resumo Técnico de RECAP: Um Método de Eficiência de Recursos para Prompting Adversário em Grandes Modelos de Linguagem

Definição do Problema

O crescente implante de Grandes Modelos de Linguagem (LLMs) expôs vulnerabilidades de segurança significativas, especificamente a suscetibilidade de modelos alinhados ao "jailbreaking" via prompting adversário. Embora métodos automatizados como Greedy Coordinate Gradient (GCG), Progressive Ensemble Zip (PEZ) e Gradient-Based Distributional Attacks (GBDA) tenham demonstrado a capacidade de gerar sufixos adversários que contornam as salvaguardas de segurança, eles enfrentam limitações críticas:

1. Intensidade de Recursos: Métodos como o GCG oferecem altas taxas de sucesso, mas exigem recursos computacionais substanciais e tempo de treinamento, tornando-os impraticáveis para organizações com orçamentos limitados.
2. Inconsistência: As taxas de sucesso variam significativamente dependendo da categoria do prompt (ex: discurso de ódio vs. narcóticos), sugerindo que nenhum algoritmo único é universalmente ideal.
3. Inacessibilidade de Caixa-Preta: Os métodos de teste adversário existentes frequentemente exigem acesso aos estados internos do modelo (logits e saídas brutas) para calcular gradientes. Isso os torna ineficazes para avaliar modelos hospedados, privados ou de código fechado (ex: Gemini, APIs proprietárias), onde tal acesso é restrito.

Metodologia

O artigo apresenta o RECAP, um framework de eficiência de recursos que utiliza princípios de Geração Aumentada de Recuperação (RAG) para eliminar a necessidade de treinamento adversário em tempo real. Em vez de gerar novos tokens adversários via gradiente descendente para cada consulta, o RECAP recupera exemplos adversários pré-computados e bem-sucedidos de um banco de dados estruturado.

A metodologia procede em três estáções:

1. Curadoria e Classificação de Dataset:

   • Um dataset de 1.000 prompts prejudiciais foi curado e classificado em sete categorias de intenção: Ódio, Conteúdo Sexual, Violência e Crime, Sócio-Político, Substâncias Regulamentadas, Suicídio/Autoflagelação e Outros.
   • A classificação foi realizada utilizando um modelo Vicuna-7B com engenharia de prompt.
   • Cada prompt foi processado através de três algoritmos adversários (PEZ, GBDA e GCG) utilizando um modelo Llama 3 8B.
   • As saídas foram avaliadas usando o Classificador HarmBench para determinar se o prompt adversário induziu com sucesso uma resposta prejudicial.

2. Construção de Banco de Dados de Recuperação Hierárquica:

   • Um banco de dados estruturado foi compilado contendo prompts originais, seus correspondentes sufixos adversários (gerados por PEZ, GBDA e GCG) e rótulos de sucesso.
   • Filtragem: Apenas linhas com pelo menos um ataque bem-sucedido foram retidas, reduzindo o dataset de 780 para 226 exemplos efetivos.
   • Hierarquia: Para o GCG, que gera 13 variações de tokens por prompt, a primeira variação bem-sucedida foi armazenada.
   • Ranqueamento: O banco de dados organiza os exemplos adversários hierarquicamente. Para cada categoria de intenção, o sistema prioriza o algoritmo com a maior taxa de sucesso histórica para aquela categoria específica (ex: tokens de GCG são priorizados para prompts de violência sexual).

3. Pipeline de Inferência:

   • Codificação: Novos prompts de usuários são codificados em representações vetoriais densas usando o modelo SentenceTransformer all-MiniLM-L6-v2.
   • Busca de Similaridade: O prompt codificado é passado para um índice FAISS (Facebook AI Similarity Search) para recuperar os prompts semanticamente mais similares do banco de dados.
   • Seleção: O sistema recupera o prompt correspondente de melhor correspondência e seleciona o sufixo adversário associado com base na hierarquia estabelecida (priorizando o algoritmo mais bem-sucedido para aquela intenção).
   • Execução: O sufixo adversário selecionado é anexado à consulta original do usuário e enviado ao LLM alvo. Este processo não requer computação de gradiente ou treinamento de modelo durante a inferência.

Principais Contribuições

• Eficiência de Recursos: O método elimina a necessidade de treinamento demorado e cálculos de gradiente no momento da inferência, reduzindo significativamente o overhead computacional.
• Compatibilidade de Caixa-Preta: Ao depender da recuperação em vez de estados internos do modelo (logits), o RECAP permite testes de segurança em modelos de código fechado e hospedados, onde ataques tradicionais baseados em gradiente são impossíveis.
• Otimização Consciente de Categoria: A abordagem explora a correlação entre a intenção do prompt e o algoritmo de ataque mais eficaz, utilizando uma estratégia de recuperação hierárquica para maximizar a probabilidade de sucesso sem retreinar.
• Transferibilidade: Os tokens adversários gerados e armazenados mostraram-se eficazes em diferentes arquiteturas de modelos (ex: Vicuna, Phi), apesar de terem sido derivados de um conjunto de treinamento Llama 3 8B.

Resultados Experimentais

O método foi avaliado em 145 prompts distintos usando um modelo Llama 3 8B e comparado com PEZ, GBDA e GCG.

• Taxas de Sucesso (Taxa de Sucesso Média - ASR):

  • GCG: 59%
  • PEZ: 39%
  • GBDA: 35%
  • RECAP: 33%
  • Nota: O autor atribui a ASR ligeiramente inferior ao tamanho limitado do banco de dados de recuperação atual, antecipando melhorias conforme o banco de dados se expandir.

• Eficiência (Tempo para Processar 20 Prompts):

  • GCG (Transferência Brute-Force): ~6,3 minutos
  • PEZ: 7,3 minutos
  • GBDA: 7,1 minutos
  • RECP: 4 minutos
  • Nota: O treinamento padrão do GCG levou aproximadamente 8 horas para o mesmo lote, enquanto o RECAP exigiu apenas 4 minutos.

• Teste de Caixa-Preta:

  • O RECAP foi testado na API do Gemini (com filtros de dano desativados). Embora as taxas de sucesso tenham sido menores (4–10%) devido à escala de parâmetros e ao ajuste fino superior do modelo, o experimento demonstrou que o método é aplicável onde outros algoritmos falham inteiramente devido à falta de acesso aos logits.

Significância e Alegações

O artigo posiciona o RECAP como um framework prático para "testes de penetração" na segurança de IA, particularmente para organizações com recursos computacionais limitados. Sua principal significância reside em:

1. Democratização dos Testes de Segurança: Tornando a avaliação adversária acessível para entidades menores que não podem arcar com os custos de GPU associados a ataques baseados em treinamento como o GCG.
2. Preenchimento da Lacuna de Caixa-Preta: Fornecendo um mecanismo viável para avaliar a robustez de LLMs proprietários e de código fechado sem exigir acesso interno ao modelo.
3. Escalabilidade: Os autores alegam que, conforme o banco de dados de recuperação cresce, a taxa de sucesso deve seguir um padrão de crescimento logístico, permitindo potencialmente que o método supere abordas tradicionais baseadas em treinamento, mantendo o uso mínimo de recursos.

O artigo conclui reconhecendo a natureza de duplo uso da ferramenta, enfatizando seu uso pretendido para identificar vulnerabilidades para fortalecer as salvaguardas dos modelos, em vez de gerar conteúdo malicioso. O trabalho futuro foca na expansão do banco de dados RAG e no refinamento da integração dos tokens recuperados para otimizar ainda mais a inicialização do treinamento para outros algoritmos.