Resumo Técnico: CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation)

1. Declaração do Problema

Apesar dos avanços nas técnicas de alinhamento de segurança como o Aprendizado por Reforço com Feedback Humano (RLHF) e o Ajuste Fino Supervisionado (SFT), os Grandes Modelos de Linguagem (LLMs) permanecem vulneráveis a ataques de caixa-preta adaptativos. As defesas atuais frequentemente dependem de fronteiras de decisão estáticas que são frágeis contra estratégias adversárias em evolução, tais como modulação de persona, enquadramento ficcional e reformulação baseada em persuasão.

Os frameworks de red-teaming e defesa existentes sofrem de duas limitações primárias:

1. Distribuições de Ataque Estreitas: Muitos métodos dependem de templates de ataque fixos ou aprendizagem por imitação, limitando a diversidade das estratégias de ataque descobertas e a generalização das defesas resultantes.
2. O Gap Adaptativo: Defesas otimizadas no tempo $t-1$ frequentemente falham contra distribuições de ataque inéditas que emergem no tempo $t$. Além disso, abordagens co-evolutivas anteriores costumam endurecer os defensores via aprendizagem supervisionada em alvos fixos, falhando em capturar primitivas de ataque latentes que se transferem através de famílias de ataques mecanisticamente distintas.

A questão central de pesquisa abordada é se a fragilidade do alinhamento de segurança atual dos LLMs decorre da distribuição estreita de ataques utilizados durante o treinamento, e se ampliar essa distribuição através da descoberta adversária impulsionada por recompensa pode fechar o gap adaptativo.

2. Metodologia

CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation) é um framework de red-blue teaming de ciclo fechado onde um atacante de caixa-preta e um defensor alinhado à segurança co-evoluem sem exposição a templates de jailbreak pré-definidos.

2.1 O Atacante: Exploração de RL Sem Templates

O atacante ($A_\theta$) é treinado usando Otimização de Política Relativa de Grupo (GRPO) em um modelo base (NousResearch Hermes 4).

• Inicialização Sem Templates: O atacante não recebe templates de jailbreak, exemplos curados ou andaimes de estilo (scaffolding). Ele é instruído apenas a preservar a intenção original enquanto reescreve o prompt. Todas as estratégias de enquadramento adversário (ex: cenários hipotéticos, atribuição de persona) devem emergir puramente através da exploração impulsionada por recompensa.
• Decomposição Multiplicativa de Recompensa: Para evitar o "reward hacking" (ex: desvio de intenção ou excesso de sanitização), o atacante é otimizado usando uma função de recompensa multiplicativa:
  $$R = S_{bypass} \times I_{intent}$$
  • $S_{bypass}$ (Pontuação de Bypass): Uma métrica composta que combina um portão de recusa binário, especificidade de informação nociva e o poder de persuasão do bypass.
  • $I_{intent}$ (Fidelidade de Intenção): Uma pontuação de um modelo juiz independente garantindo que o prompt reescrito retém a intenção nociva original.
    Esta formulação impõe um limiar conjunto: uma reescrita que contorna a segurança mas perde a intenção (ou vice-versa) recebe uma recompensa próxima de zero.

2.2 O Defensor: Pipeline de Endurecimento de Dois Estágios

O defensor ($D_\gamma$), baseado no Llama-3.1-8B-Instruct, é endurecido através de um processo de dois estágios para abordar os problemas de variância e consistência do RL on-policy para defesa.

1. Exploração via GRPO: O defensor é primeiro treinado via GRPO em prompts nocivos (tanto intenções originais quanto reescritas pelo atacante). A função de recompensa prioriza a recusa sobre a conformidade, com bônus para recusas de alta qualidade e educativas. Este estágio explora o panorama da recusa, mas produz recusas de alta qualidade de forma esporádica.
2. SFT por Amostragem de Rejeição: Para consolidar as recusas esporádicas em um comportamento consistente, o sistema gera múltiplas respostas candidatas em alta temperatura. As recusas confirmadas de maior qualidade são colhidas para criar um dataset de treinamento. Este dataset é balanceado com:
   • Recusas de Camada 2: Recusas de alta qualidade a reescritas adversárias.
   • Recusas de Camada 1: Recusas a intenções nocivas originais.
   • Respostas Benignas: Respostas úteis de datasets padrão (ex: Stanford Alpaca) para evitar a recusa excessiva (falsas recusas).
     O defensor é então ajustado via Aprendizado Supervisionado (SFT) neste dataset curado.

3. Principais Contribuições

1. Framework Co-evolutivo Sem Templates: Um setup novel onde tanto o atacante quanto o defensor são treinados via GRPO sem exposição a templates de jailbreak. O atacante descobre enquadramentos adversários puramente através de exploração impulsionada por recompensa, forçando a convergência em primitivas de ataque latentes em vez de imitar famílias específicas.
2. Decomposição Multiplicativa de Recompensa: Uma estrutura de recompensa ($R = S_{bypass} \times I_{intent}$) que elimina patologias de desvio de intenção e excesso de sanitização comuns em treinamento adversário de objetivo único.
3. Forte Generalização entre Ataques: Um defensor treinado exclusivamente em outputs colhidos do atacante CHASE demonstra robustez contra cinco famílias de ataques mantidas (não utilizadas no treinamento): PAIR, TAP, AutoDAN, PAP e Tradução.
4. Análise de Custo Interpretável: O framework alcança melhorias de segurança mantendo uma taxa de 0% de falsas recusas em prompts benignos, com qualquer degradação de performance concentrada especificamente em enquadramentos ficcionais e de roleplay — os próprios vetores mais explorados por jailbreaks.

4. Resultados Experimentais

Avaliado em BeaverTails e JailbreakBench contra cinco famílias de ataques mantidas:

• Melhoria de Segurança: O defensor CHASE reduziu a pontuação média StrongREJECT em 43,2% em todos os ataques e datasets.
• Zero Falsas Recusas: O modelo alcançou 0% de falsa recusa em 100 prompts benignos mantidos do Stanford Alpaca.
• Performance no JailbreakBench: O defensor alcançou 0% de Taxa de Sucesso de Ataque (ASR) em avaliações de uso direto, transferência de PAIR e transferência de GCG, igualando os resultados mais fortes publicados.
• Estudo de Ablação: Quando o atacante CHASE foi substituído por uma família de ataque fixa (artefatos de PAIR), o defensor resultante mostrou uma generalização significativamente menor (−28,6% de redução vs. −43,2% para CHASE), confirmando que a distribuição descoberta pelo RL é o principal motor da robustez.
• Qualidade vs. Volume: O atacante CHASE produziu menos bypasses do que os baselines (como PAIR ou PAP), mas com significativamente maior poder de persuasão e especificidade, indicando ataques de maior fidelidade que são mais difíceis de defender sem o framework proposto.

5. Significância e Alegações

O artigo alega que o CHASE demonstra um caminho para o endurecimento de segurança de LLMs que generaliza além das distribuições estreitas alcançadas em treinamentos adversários anteriores. Ao remover o andaime (scaffolding) de templates, o framework recupera primitivas de ataque latentes — estratégias de enquadramento reutilizáveis que recorrem em distintas famílias de ataques (ex: AutoDAN, TAP, PAP).

Os autores argumentam que o "custo" deste endurecimento é interpretável e direcionado: o defensor aprende a recusar prompts envolvendo cenários ficcionais, roleplay e modulação de persona. Como esses enquadramentos constituem a superfície de ataque dominante no mundo real (ex: 98% dos jailbreaks em ambiente real usam estratégias de "fingir"), a recusa excessiva resultante é um heurístico estrutural em vez de um modo de falha aleatório. Isso sugere que a exploração de RL sem templates pode fechar o gap adaptativo entre jailbreaks em evolução e LLMs estáticos de forma mais eficaz do que métodos que dependem de templates de ataque fixos.

Limitações: Os autores observam que o custo no MT-Bench (−1,92 pontos) é não trivial e concentrado em categorias de raciocínio pesado. Além disso, o defensor classifica por características de enquadramento em vez de intenção do usuário, levando a recusas elevadas em consultas ficcionais benignas. A avaliação depende de juízes de LLM em vez de anotação humana, e a transferência para outras arquiteturas de modelos permanece não testada.