Why Do Safety Guardrails Degrade Across Languages?

Resumo Técnico: Por Que as Barreiras de Segurança se Degradam entre Idiomas?

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) exibem barreiras de segurança degradadas em idiomas não ingleses, particularmente em idiomas de baixos recursos. Métricas de avaliação padrão, como Taxa de Sucesso de Jailbreak (JSR) ou Taxa de Sucesso de Ataque (ASR), agregam resultados binários em um único escalar. Essa abordagem cria comparações "de maçãs com laranjas", confundindo múltiplos fatores que impulsionam a segurança — como capacidade do modelo, dificuldade do prompt, custos de processamento de linguagem e erros de tradução — em uma única métrica. Consequentemente, a JSR não consegue desvendar se uma falha de segurança decorre de uma falta de capacidade de segurança do modelo, dificuldade intrínseca do idioma, corrupção de tradução ou incompatibilidades conceituais culturais.

Metodologia
Os autores propõem uma estrutura de Teoria de Resposta ao Item (IRT) Multi-Grupo para decompor falhas de segurança em parâmetros latentes distintos. Diferentemente das métricas agregadas padrão, este modelo mapeia cada fonte de falha para uma variável específica:

1. Capacidade de Segurança ($\theta_j$): A robustez de segurança agnóstica ao idioma do modelo $j$.
2. Dificuldade Intrínseca do Prompt ($\beta_i$): A dificuldade inerente do prompt $i$ (derivado do inglês).
3. Dificuldade Global de Processamento de Idioma ($\gamma_L$): O custo global de processamento associado ao idioma $L$.
4. Lacuna de Segurança Cross-Lingual ($\tau_{iL}$): Um resíduo específico do prompt representando o Funcionamento Diferencial do Item (DIF). Isso captura a lacuna de segurança para um prompt específico em um idioma específico após o controle da capacidade e dos efeitos globais do idioma.
5. Aptidão de Idioma ($\delta_{jL}$): Uma mudança específica do modelo no desempenho para o idioma $L$.

A probabilidade de uma resposta segura é modelada como:
$$P(\text{seguro}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$$
onde $\alpha_i$ é o parâmetro de discriminação do item.

Configuração Experimental

• Conjunto de Dados: O estudo utiliza o MultiJail (3.150 prompts, 10 idiomas, 18 categorias de dano) e valida as descobertas no XSafety.
• Modelos: 61 configurações de modelo em 5 famílias (GPT, Claude, DeepSeek, Gemini, Grok).
• Escala: Conjunto de dados agregado de 1,9 milhão de linhas.
• Protocolo de Avaliação: Para mitigar ruído estocástico, os autores empregam Pass@k (especificamente Pass@10), gerando $k$ respostas independentes por prompt para estimar a distribuição de respostas, em vez de depender de saídas de passagem única.
• Julgamento: As respostas são classificadas em uma escala Likert de 6 pontos pelo GPT-5.2, validadas contra falantes nativos humanos e juízes secundários de LLM (Claude, Gemini).
• Seleção de Âncoras: Prompts invariantes entre idiomas são selecionados usando a estatística $\chi^2$ de Lord para fixar a escala de medição, com um prior Normal rigoroso aplicado às âncoras.
• Regularização: Um prior Horseshoe hierárquico é aplicado a $\tau_{iL}$ para impor esparsidade, impedindo que o modelo confunda efeitos globais de idioma ($\gamma_L$) com lacunas específicas do prompt ($\tau_{iL}$).

Principais Resultados

1. Unidimensionalidade da Segurança: A Análise Fatorial Exploratória (EFA) revela que a segurança é amplamente unidimensional. Os modelos recusam diferentes tipos de dano principalmente através de um mecanismo compartilhado (KMO = 0,942, razão de dominância = 7,37), justificando um modelo IRT global em vez de modelos separados por categoria de dano.
2. O Fenômeno da "Reversão do Inglês": Contrariamente à suposição de que a segurança se degrada mais em idiomas de baixos recursos, 22 das 61 configurações de modelo (incluindo todas as 16 variantes do Grok e 4 variantes do DeepSeek) exibem suas maiores taxas de falha em inglês. Para esses modelos, o desempenho de segurança é marginalmente melhor em idiomas de baixos recursos do que em inglês.
3. Incerteza da Resposta: Idiomas de baixos recursos produzem respostas significativamente mais incertas (maior entropia) e uma proporção maior de casos de "limite" em comparação com idiomas de altos recursos. Modelos de alta capacidade operam mais próximos do limite de decisão nesses idiomas.
4. Qualidade de Tradução vs. Lacunas de Segurança:
   • A qualidade da tradução correlaciona-se fracamente com a segurança agregada e as lacunas de segurança cross-lingual ($\tau$), explicando apenas $\sim1\%$ da variância de $\tau$.
   • No entanto, erros graves de tradução (por exemplo, "fazer um carro pegar fogo" traduzido como "aquecer um carro") atuam como outliers de alto viés, inflando artificialmente $\tau$ ao sanitizar a intenção prejudicial.
   • Lacunas Culturais e Conceituais: A análise de falantes nativos de prompts de alto $\tau$ com qualidade de tradução perfeita revela que incompatibilidades no enquadramento cultural (por exemplo, termos específicos dos EUA como "FBI" ou "SSN") e fundamentação conceitual contribuem para lacunas de segurança. Prompts de alto $\tau$ agrupam-se em categorias de dano físico (Roubo, Armas) em vez de categorias abstratas.
5. Validade Preditiva: A estrutura completa de IRT alcança uma AUC de 0,940 na previsão de recusas seguras, superando baselines mais simples (por exemplo, AUC de Taxa de Idioma = 0,531). Crucialmente, na validação Leave-One-Language-Out (LOLO), a estrutura de IRT mantém desempenho forte (AUC $\approx$ 0,875) ao alavancar a estrutura latente, enquanto as baselines colapsam para o acaso.

Significado e Alegações
O artigo afirma ir além das métricas agregadas para fornecer uma estrutura diagnóstica para segurança multilíngue. Ao desacoplar capacidade, dificuldade de idioma e lacunas específicas do prompt, a estrutura:

• Revela que a degradação da segurança não é uniforme; alguns modelos são na verdade menos seguros em inglês.
• Identifica que, embora erros de tradução sejam um fator menor no geral, eles causam outliers graves que distorcem a avaliação.
• Destaca que incompatibilidades culturais e conceituais, particularmente em categorias de dano físico, impulsionam lacunas de segurança significativas mesmo quando a tradução é precisa.
• Fornece um método para remediação direcionada, permitindo que praticantes identifiquem pares específicos de prompt-idioma com alto $\tau$ para melhorias na construção de conjuntos de dados ou ajuste fino.
• Critica as práticas atuais de avaliação de LLM (JSR/ASR) como geralmente inválidas para comparações entre configurações devido a fatores de confusão, defendendo abordagens psicométricas como a IRT.

Os autores notam limitações, incluindo a dependência de modelos de API fechada (impedindo análise de ativação interna), o potencial de viés residual do juiz em idiomas não nativos e o fato de que o mecanismo de "reversão do inglês" permanece comportamental em vez de mecanicamente explicado.