Resumo Técnico: Prompting Adversarial Condicionado a Personas (PCAP)

Declaração do Problema

O red-teaming automatizado para Modelos de Linguagem de Grande Escala (LLMs) atualmente sofre de duas limitações críticas: diversidade limitada de atacantes e uma lacuna entre avaliação e mitigação acionável. Pipelines automatizados existentes frequentemente dependem de conjuntos estreitos de táticas (por exemplo, modelos fixos ou ataques diretos) e transformações de única execução. Consequentemente, eles falham em capturar vetores de ataque realistas e complexos que dependem da identidade do atacante, engenharia social e enquadramento contextual (por exemplo, confiança baseada em função ou jargão específico de domínio). Essa exploração estreita produz dados insuficientes para ajuste fino robusto de segurança e subestima riscos do mundo real. Além disso, embora existam abordagens de "purple-teaming" para fechar o ciclo entre descoberta de vulnerabilidades e defesa, muitas carecem de diversificação sistemática entre identidades de atacantes e condicionamento explícito de estratégias.

Metodologia: Prompting Adversarial Condicionado a Personas (PCAP)

Os autores introduzem o PCAP, um framework que estende o algoritmo Tree of Attacks with Pruning (TAP). O PCAP condiciona a busca adversarial a diversas personas de atacantes e conjuntos de estratégias explícitos para explorar cenários de ataque realistas em um cenário de caixa preta.

Componentes Principais

1. Construção de Persona: Um gerador de personas ($G_p$) cria $N$ personas distintas (por exemplo, estudantes curiosos, especialistas de domínio, agentes maliciosos) com demografias únicas, detalhes biográficos e características comportamentais.
2. Reenquadramento de Objetivo: Um modelo de reenquadramento ($R$) reinterpreta o objetivo prejudicial alvo ($g$) no contexto de cada persona ($\pi_i$), produzindo um objetivo personalizado ($\tilde{g}_i$) que incorpora a intenção de ataque na narrativa da persona.
3. Condicionamento de Estratégia: Um conjunto de estratégias de ataque ($\Sigma$) é definido (por exemplo, roleplay, divisão de payload, erros de digitação). Cada persona é atribuída a um subconjunto de estratégias ($\Sigma_i$). O modelo atacante ($A$) é condicionado à persona, ao objetivo reenquadrado e ao cartão de estratégia específico, atuando como um guia em contexto.
4. Busca Adversarial Paralelizada: Em vez de um único feixe de busca, o PCAP instancia $N$ buscas TAP independentes rodando em paralelo. Cada busca mantém seu próprio feixe ($S^{(i)}_t$) de largura $W$. Em cada iteração, o atacante condicionado à persona gera variações, que são filtradas por um verificador de relevância ($O$), pontuadas por um avaliador ($E$) e podadas para os $W$ melhores candidatos.
5. Geração de Dataset Rico em Metadados: Crucialmente, cada prompt bem-sucedido é automaticamente anotado com suas tags de persona, objetivo e estratégia atribuídas. Isso cria um corpus rico e sem necessidade de anotação manual, adequado para treinar comportamentos robustos de recusa.

Contribuições Principais

• Busca Condicionada a Personas: O PCAP desloca o foco de modificar o pipeline de refinamento para mudar quem é o atacante e como eles atacam. Essa abordagem modular explora enquadramentos linguísticos e estratégicos diversos que exploram a confiança baseada em função e o enquadramento específico de domínio.
• Avaliação Empírica Abrangente: Os autores avaliam o PCAP em múltiplos modelos atacantes com capacidades variadas (arquiteturas Densa e Mixture-of-Experts). Eles demonstram melhorias consistentes nas taxas de sucesso de ataque (ASR), rendimento de prompts e transferibilidade contra guardrails dedicados.
• Mitigação Prática de Ciclo Fechado: O artigo demonstra um pipeline completo da descoberta de vulnerabilidades à defesa automatizada. Ao ajustar finamente adaptadores leves (ALoRA) em dados gerados pelo PCAP, os autores mostram melhorias significativas na robustez do modelo sem anotação manual.
• Lançamento de Código Open Source: Os autores comprometem-se a liberar o código do PCAP integrado a um framework de red-teaming após a aceitação.

Resultados Experimentais

Os experimentos foram conduzidos no GPT-OSS 120B como modelo alvo, utilizando vários modelos atacantes (Llama 3.3 70B, Granite 3.3 8B, Granite 4.0 H Tiny, Kimi K2.5, Mixtral 8x22B).

Desempenho de Ataque

• Taxa de Sucesso de Ataque (ASR): O PCAP supera significativamente o TAP de base. No GPT-OSS 120B, a ASR aumentou de 57,7% para 97,3% (atacante Llama 3.3 70B) e de 41,0% para 98,0% (atacante Granite 4.0 H Tiny).
• Rendimento de Prompts: O PCAP gera 2–6× mais prompts bem-sucedidos diversos por objetivo em comparação com o TAP. Por exemplo, o Granite 4.0 H Tiny viu um aumento no rendimento de 0,43 para 2,41 prompts/objetivo.
• Transferibilidade: Prompts gerados pelo PCAP mostraram alta transferibilidade, contornando guardrails dedicados (Granite Guardian 3.3 e Llama Guard 3) em taxas de 30–58%. Notavelmente, uma parte significativa desses prompts contornou tanto o modelo alvo quanto os guardrails, indicando a descoberta de vulnerabilidades semânticas generalizáveis.
• Diversidade: Os prompts do PCAP exibiram menor similaridade semântica (similaridade de cosseno ~0,62–0,67) e menores pontuações Self-BLEU (0,02–0,08) em comparação com as bases, confirmando alta diversidade lexical e semântica. As distribuições de estratégias foram mais equilibradas (menores pontuações $\chi^2$) do que no TAP, que dependia fortemente de roleplay.

Mitigação e Robustez

• Ajuste Fino: Adaptadores leves ALoRA foram ajustados finamente no dataset gerado pelo PCAP (300 prompts em 50 objetivos).
• Ganhos de Desempenho: O ajuste fino melhorou dramaticamente a robustez adversarial em três famílias de modelos (Granite, Llama, Qwen).
  • Recall: Melhorou de 0,26–0,36 para 0,96–1,00.
  • Pontuação F1: Melhorou de 0,41–0,53 para 0,96–0,98.
  • Precisão: Mantiveram níveis altos (0,94–0,97) com mínimos falsos positivos.
• Validação de Purple-Teaming: Quando os modelos ajustados foram re-testados com PCAP, demonstraram forte resistência. Por exemplo, o Granite 3.3 8B viu a ASR cair de 100% para 33,7%, e o número de consultas necessárias para encontrar uma jailbreak bem-sucedida aumentou em 5–7×. Isso confirma que o dataset ensina reconhecimento de padrões de ataque generalizáveis.

Significado e Alegações

O artigo alega que o PCAP fornece uma abordagem completa, automatizada e de ciclo fechado para a segurança de LLMs. Ao condicionar a busca adversarial a personas diversas, o método descobre vulnerabilidades que pipelines estreitos perdem, especificamente aquelas que dependem de engenharia social e confiança baseada em identidade.

Os autores enfatizam que a natureza sem anotação do dataset gerado é uma vantagem prática chave, eliminando o custo e os problemas de escalabilidade do red-teaming humano. A capacidade de alcançar robustez quase perfeita (F1 > 0,96) através de ajuste fino leve em poucas horas (2–9 horas em A100) demonstra um caminho prático para endurecimento contínuo de modelos. O trabalho posiciona o PCAP não apenas como uma ferramenta de descoberta, mas como uma "purple team" funcional que preenche a lacuna entre identificação de vulnerabilidades e defesa automatizada e eficaz.