Cross-Lingual Jailbreak Detection via Semantic Codebooks

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) atualmente sofrem de uma lacuna linguística de segurança sistemática. O alinhamento de segurança e os mecanismos de detecção de jailbreak são predominantemente centrados no inglês. Pesquisas indicam que traduzir prompts maliciosos para idiomas não ingleses (por exemplo, russo, chinês, árabe) aumenta significativamente as taxas de sucesso de jailbreak, pois os filtros de segurança frequentemente falham ao transferir comportamentos de recusa entre idiomas.

As soluções existentes possuem limitações:

• Métodos internos (RLHF, ajuste fino) exigem acesso aos pesos do modelo e retreinamento extensivo, tornando-os inadequados para APIs de caixa preta.
• Métodos externos frequentemente dependem de filtros baseados em regras (facilmente contornados por reescrita) ou classificadores específicos do inglês que perdem eficácia quando aplicados a consultas traduzidas.

A questão central de pesquisa é: É possível mitigar tentativas de jailbreak multilíngues sem retreinar o LLM alvo, coletar novos dados multilíngues ou realizar ajuste específico por idioma?

2. Metodologia

Os autores propõem um framework de guarda-chuva externo e sem treinamento baseado em similaridade semântica. O sistema opera como um pré-filtro para LLMs de caixa preta.

A. Arquitetura Central

1. Livro de Códigos Inglês Fixo: Um conjunto estático de 13.811 prompts em inglês únicos e verificados como inseguros (derivados do conjunto de dados jayavibhav/prompt-injection-safety). Estes são incorporados em um espaço vetorial.
2. Incorporação Multilíngue: Consultas de entrada do usuário (em qualquer idioma) são codificadas usando um modelo de incorporação de sentenças multilíngue (principalmente BGE-M3, com comparações a multilingual-e5-large e jina-embeddings-v3).
3. Detecção de Similaridade: O sistema calcula a similaridade de cosseno máxima entre a incorporação da consulta e as incorporações do livro de códigos inglês fixo.
   • Se $s(x) = \max_{c \in C} (f(x) \cdot c) \geq \tau$, a consulta é bloqueada.
   • Nenhuma pré-processamento de tradução é aplicado à entrada; o método depende da capacidade do modelo de incorporação de alinhar espaços semânticos entre idiomas.

B. Configuração Experimental

• Idiomas: Inglês (nativo), russo, chinês, árabe.
• Pipelines de Tradução: Google Translate (comercial) e M2M100 (código aberto) para simular estratégias realistas de tradução de atacantes.
• LLMs Alvo: Qwen, Llama e GPT-3.5.
• Benchmarks: Quatro conjuntos de dados variando de templates canônicos de jailbreak a conteúdo inseguro heterogêneo:
  1. jayavibhav/prompt-injection-safety (Canônico)
  2. xTRam1/safe-guard-prompt-injection (Canônico)
  3. JailbreakBench/JBB-Behaviors (Diverso/Heterogêneo)
  4. nvidia/Aegis-AI-Content-Safety-Dataset-2.0 (Diverso/Heterogêneo)
• Restrições: A avaliação foca pesadamente no regime de baixa FPR (Taxa de Falsos Positivos $\leq 1\%$), que é crítico para sistemas de segurança em produção para evitar bloquear consultas legítimas de usuários.

3. Principais Contribuições

1. Guarda-chuva sem Treinamento: Um filtro externo implantável que usa um livro de códigos inglês fixo para detectar ataques multilíngues sem retreinamento do modelo.
2. Descoberta de Dois Regimes: O artigo identifica uma dicotomia crítica no desempenho de detecção:
   • Regime 1 (Canônico): Em benchmarks com jailbreaks templateados e canônicos, o método alcança separabilidade quase perfeita (AUC $\approx$ 0,99) e alta recall.
   • Regime 2 (Heterogêneo): Em benchmarks com comportamentos inseguros diversos e não templateados, o desempenho degrada significativamente (AUC $\approx$ 0,60–0,70), e a recall colapsa em configurações de baixa FPR.
3. Análise de Sensibilidade do Incorporador: Demonstra que, embora as pontuações de AUC possam parecer semelhantes entre diferentes modelos de incorporação, seu desempenho diverge drasticamente sob restrições operacionais rigorosas (baixa FPR).
4. Métricas Práticas de Mitigação: Fornece dados de ponta a ponta mostrando a redução na Taxa de Sucesso de Ataque (ASR) através de diferentes modelos alvo.

4. Principais Resultados

A. Separabilidade Multilíngue (RQ1)

• Benchmarks Canônicos (1 e 2): O livro de códigos inglês transfere-se efetivamente.
  • Benchmark 2: Alcançou AUC de 0,993 (inglês) e manteve 0,847–0,884 em idiomas traduzidos.
  • Benchmark 1: Manteve AUC forte ($\approx$ 0,80) entre idiomas.
• Benchmarks Heterogêneos (3 e 4): A separabilidade degradou.
  • Benchmark 4: O AUC caiu para 0,59–0,63 em todos os idiomas e incorporadores, indicando que a similaridade semântica a um conjunto inglês fixo falha em capturar ataques diversos e não baseados em templates.

B. Desempenho no Regime de Baixa FPR (RQ2)

• Benchmark 2 (Canônico): Com FPR restrito a $\leq 1\%$, o sistema alcançou 78,5% – 91,9% de Taxa de Verdadeiros Positivos (TPR) entre idiomas usando BGE-M3.
• Benchmark 4 (Heterogêneo): Sob a mesma restrição estrita de FPR, a TPR colapsou para dígito único (3,3% – 6,4%). Isso destaca que a filtragem baseada em similaridade é insuficiente para vetores de ataque complexos e variados quando os falsos positivos devem ser minimizados.

C. Mitigação de Ponta a Ponta (RQ3)

• Ataques Canônicos: O filtro reduziu jailbreaks bem-sucedidos em 96,2% (Benchmark 1) e 50,0% (Benchmark 2).
• Ataques Heterogêneos: A eficácia da mitigação caiu para 43,7% (Benchmark 3) e 18,6% (Benchmark 4).
• Escolha do Incorporador: O BGE-M3 geralmente superou outros modelos no regime de baixa FPR, particularmente para entradas em chinês e árabe, embora todos os modelos tenham lutado nos conjuntos de dados mais diversos.

5. Significado e Conclusão

O artigo estabelece que a similaridade semântica a um livro de códigos inglês fixo é uma defesa inicial viável e leve para LLMs de caixa preta, mas apenas sob condições específicas:

• Pontos Fortes: É altamente eficaz contra jailbreaks canônicos e baseados em templates (por exemplo, prompts estilo "DAN") em múltiplos idiomas sem exigir retreinamento. Oferece uma solução escalável para implantação imediata.
• Limitações: Falha em generalizar para conteúdo inseguro behavioralmente diverso e reescrito adversarialmente. A "deriva semântica" causada pela tradução e a falta de nuances culturais/linguísticas específicas no livro de códigos inglês limitam sua utilidade como solução autônoma para ameaças heterogêneas.

Direções Futuras: Os autores sugerem que esta abordagem deve fazer parte de um pipeline de segurança multicamadas, combinado com sinais ortogonais (por exemplo, análise de perplexidade, detecção de padrões sintáticos) e atualizações dinâmicas do livro de códigos para lidar com morfologias de ataque em evolução.

Em resumo, o trabalho fornece uma linha de base empírica crucial: A filtragem semântica agnóstica de idioma funciona bem para padrões conhecidos, mas é frágil contra deslocamentos de distribuição, enfatizando a necessidade de estratégias de defesa híbridas na segurança de LLMs multilíngues.