Resumo Técnico: Revisitando JBShield: Quebrando e Reconstruindo Defesas de Jailbreak no Nível de Representação

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) alinhados via ajuste fino de segurança (por exemplo, RLHF) permanecem vulneráveis a ataques de jailbreak, particularmente os adaptativos, onde adversários visam explicitamente os mecanismos de defesa. Embora existam defesas externas, muitas sofrem de limitações estruturais:

• Defesas de superfície (por exemplo, modelos guardiões, filtragem de entrada) falham contra sufixos adversariais semanticamente sem sentido, mas comportamentalmente eficazes.
• Defesas no nível de representação frequentemente colapsam a computação multicamada do modelo em um único ponto de decisão (por exemplo, uma única camada, uma única direção de conceito ou uma pontuação escalar), tornando-as suscetíveis a otimização direcionada.

O artigo foca no JBShield, uma defesa recente no nível de representação que afirma uma Taxa de Sucesso do Ataque (ASR) de 0% contra ataques de Gradiente de Coordenada Gorda (GCG). O JBShield opera detectando dois sinais de conceito — um "conceito tóxico" e um "conceito de jailbreak" — em uma única camada congelada. Ele sinaliza um prompt apenas se ambas as pontuações de conceito excederem seus respectivos limiares (uma lógica de porta AND). Os autores hipotetizam que essa estrutura é vulnerável a ataques adaptativos que podem manipular os estados ocultos do modelo para evadir um conceito enquanto mantêm o outro.

2. Metodologia

2.1 Ataque Adaptativo: JB-GCG

Os autores projetam o JB-GCG, um ataque adaptativo que modifica o objetivo padrão do GCG para suprimir simultaneamente o comportamento de recusa do modelo e evadir a detecção do JBShield.

• Mecanismo: O ataque otimiza um sufixo adversarial $x$ anexado a uma consulta prejudicial. A função objetivo combina dois termos:
  1. Supressão da direção de recusa: Minimizando a similaridade cosseno entre o estado oculto e a direção de recusa (derivada da diferença de médias entre prompts prejudiciais e inofensivos).
  2. Regularização do conceito tóxico: Penalizando o alinhamento com a direção do conceito tóxico do JBShield.
• Estratégia: O ataque explora a estrutura de porta AND do JBShield. Ele reduz a pontuação do conceito tóxico abaixo do limiar de detecção enquanto deixa intencionalmente a pontuação do conceito de jailbreak ativa. Como o JBShield exige que ambos estejam altos para disparar um alerta, suprimir um é suficiente para a evasão.
• Otimização: O ataque utiliza um cenário de caixa branca com acesso total aos pesos do modelo, ativações e parâmetros de calibração da defesa (direções de conceito, limiares).

2.2 Nova Defesa: Verificação de Trajetória de Representação (RTV)

Motivados pela observação de que o JB-GCG cria uma assinatura distinta e inconsistente entre as camadas, os autores propõem a RTV.

• Construção da Impressão Digital: Em vez de inspecionar uma única camada, a RTV constrói uma impressão digital de 15 dimensões calculando a similaridade cosseno entre o estado oculto e a direção de recusa através de 3 camadas (18, 25, 32) e 5 posições de token (os últimos 5 tokens).
• Lógica de Detecção: A RTV trata a impressão digital como um vetor de características e aplica a distância de Mahalanobis para detectar outliers. Ela calcula a distância da impressão digital de um prompt de teste para as distribuições dos conjuntos de calibração inofensivos e prejudiciais. Um prompt é sinalizado se sua distância mínima para qualquer um dos clusters exceder um limiar.
• Calibração: A RTV requer apenas prompts inofensivos e prejudiciais para calibração; não exige exemplos de jailbreak.

3. Principais Contribuições

1. Análise de Vulnerabilidade Estrutural: O artigo demonstra que a porta AND do JBShield e a extração de conceito de camada única criam uma vulnerabilidade estrutural. Um atacante adaptativo pode contornar a defesa suprimindo seletivamente o conceito tóxico enquanto mantém o conceito de jailbreak ativo.
2. Ataque JB-GCG: Introdução de um ataque adaptativo que alcança até 53,4% de ASR contra JBShield-D e 30,7% de ASR contra o pipeline completo JBShield-M no Llama-3-8B, em cenários onde o JBShield anteriormente reportava 0% de ASR. O ataque permanece eficaz através de diferentes tamanhos de calibração ($N=10$ a $50$).
3. Caracterização de Assinatura Multicamada: Os autores identificam que jailbreaks bem-sucedidos ocupam uma "zona distinta" no espaço de impressão digital da direção de recusa (alinhamento próximo de zero na camada de ataque, amplificando em direção ao alinhamento prejudicial em camadas mais profundas) que está ausente tanto em prompts inofensivos quanto em prejudiciais.
4. Defesa RTV: Proposição de uma defesa baseada em verificação de trajetória multicamada e detecção de outliers de Mahalanobis. A RTV alcança uma AUROC de 0,99 contra JB-GCG sem exigir exemplos de jailbreak para calibração.
5. Avaliação de Robustez: Avaliação da RTV sob um forte modelo de ameaça adaptativo de caixa branca. Mesmo com conhecimento total da defesa, o melhor ataque adaptativo alcança apenas 7% de ASR a um custo computacional 13× maior, demonstrando que a defesa impõe uma tensão fundamental entre suprimir a recusa e imitar impressões digitais inofensivas.

4. Resultados Experimentais

4.1 Desempenho do Ataque (JB-GCG vs. JBShield)

• Contra JBShield-D: O JB-GCG alcançou uma ASR média de 46,2% em cinco configurações no Llama-3-8B, atingindo 53,4% no cenário mais forte.
• Contra JBShield-M: O ataque permaneceu eficaz contra o componente de mitigação, alcançando até 30,7% de ASR.
• Mecanismo: Em todos os casos bem-sucedidos, a pontuação do conceito tóxico foi suprimida abaixo do limiar (0% de detecção), enquanto o conceito de jailbreak permaneceu ativo (100% de detecção), confirmando a exploração da lógica de porta AND.
• Sensibilidade à Calibração: O ataque persistiu através de recalibrações com tamanhos variados de conjunto de calibração ($N=10$ a $50$), confirmando que a vulnerabilidade é estrutural e não específica da calibração.

4.2 Desempenho da Defesa (RTV)

• Contra JB-GCG: A RTV detectou 100% dos 164 prompts adversariais JB-GCG (ASR 0,0%) a uma Taxa de Falso Positivo (FPR) de 5%, com uma AUROC de 0,9946.
• Generalização: A RTV foi testada contra nove ataques padrão de jailbreak (por exemplo, GCG, PAIR, AutoDAN). Ela alcançou detecção perfeita ou quase perfeita em cinco ataques e igualou ou superou o JBShield-D na maioria. Ela teve dificuldades com o PAIR (58% de detecção), que gera prompts naturalistas próximos à distribuição inofensiva, uma limitação compartilhada pelo JBShield.
• Robustez Adaptativa: Sob um ataque adaptativo completo de caixa branca (ML-GCG) direcionado à RTV:
  • O melhor ataque alcançou apenas 7,0% de ASR.
  • Isso exigiu 13× o custo computacional (média de 514,5 iterações versus 39,6 para a linha de base).
  • O ataque falhou em encontrar soluções para a maioria dos prompts porque os objetivos de "suprimir a recusa" (necessário para jailbreak) e "corresponder à impressão digital inofensiva" (necessário para evasão) são fundamentalmente conflitantes.

5. Significado e Alegações

O artigo argumenta que detecção não adaptativa forte não implica robustez sob modelos de ameaça adaptativos. O significado principal reside na mudança de paradigma da defesa no nível de representação, passando da inspeção de camada única e conceito único para a consistência de representação multicamada.

• Defesa Estrutural: Os autores afirmam que a robustez da RTV deriva da "tensão da impressão digital" — a impossibilidade para um atacante de suprimir simultaneamente a direção de recusa (para fazer jailbreak) e manter o alinhamento positivo característico de entradas inofensivas através de múltiplas camadas.
• Limitações: Os autores reconhecem modestamente que:
  • Os experimentos são limitados ao Llama-3-8B; a generalização para outras arquiteturas requer recalibração.
  • Ataques naturalistas como o PAIR permanecem desafiadores para detectores no nível de representação.
  • Uma ASR adaptativa não nula (7%) permanece, sugerindo que, embora a defesa seja robusta, não é perfeita.
  • A defesa depende de calibração estática e pode exigir atualizações periódicas para mudanças de distribuição.

O artigo conclui que a consistência de representação multicamada oferece uma base mais confiável para detecção de jailbreak do que a similaridade de conceito de camada única, desde que a defesa seja avaliada contra adversários adaptativos.