Refusal Direction is Universal Across Safety-Aligned Languages

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) são alinhados para segurança através de mecanismos de recusa (refusal), que impedem a geração de conteúdo prejudicial, antiético ou que viole políticas. Embora a eficácia desses mecanismos tenha sido estudada extensivamente em inglês, existe uma lacuna crítica no entendimento de como eles funcionam em outros idiomas.

O problema central abordado é a vulnerabilidade de modelos de segurança multilingue a ataques de "jailbreak" (bypass de segurança). Pesquisas anteriores sugeriram que o comportamento de recusa em LLMs é codificado em uma direção específica no espaço de ativação (um vetor de recusa). No entanto, não estava claro se essa direção é específica do idioma ou se é universal. Se for universal, um vetor extraído em inglês poderia ser usado para contornar a segurança em qualquer outro idioma, ou vice-versa, expondo falhas graves na segurança global dos modelos.

2. Metodologia

Os autores desenvolveram uma abordagem baseada em intervenções no espaço de ativação para investigar a universalidade das direções de recusa.

• Dataset PolyRefuse: Criaram um novo dataset multilingue traduzindo prompts maliciosos (harmful) e benignos do inglês para 14 idiomas diversos (incluindo alemão, espanhol, francês, japonês, coreano, árabe, iorubá, etc.), cobrindo diferentes famílias linguísticas e sistemas de escrita.
• Extração de Vetores de Recusa: Utilizaram o método difference-in-means para calcular vetores de recusa. Isso envolve subtrair as ativações médias de prompts benignos das ativações médias de prompts maliciosos em camadas específicas do modelo.
• Experimentos de Intervenção:
  1. Transferência do Inglês: Extraíram vetores de recusa usando dados em inglês e os aplicaram (via ablação) em modelos respondendo a prompts em outros idiomas.
  2. Transferência Cruzada Multilingue: Extraíram vetores de recusa a partir de três idiomas não-ingleses (alemão, chinês e tailandês) e testaram sua eficácia em contornar a segurança em todos os outros idiomas.
  3. Inversão (Adição): Adicionaram vetores de recusa aos dados para aumentar a taxa de recusa, validando o controle bidirecional.
• Análise Geométrica: Visualizaram e quantificaram a estrutura geométrica das representações de "harmfulness" (prejudicialidade) no espaço de embedding, utilizando PCA e pontuações de Silhueta (Silhouette Score) para medir a separação entre clusters de prompts benignos e maliciosos.

3. Principais Contribuições e Resultados

A. Universalidade da Direção de Recusa

O resultado mais surpreendente é a universalidade transversal das direções de recusa:

• Do Inglês para Outros: Vetores de recusa extraídos apenas de dados em inglês foram capazes de contornar com sucesso as defesas de segurança em todos os 14 idiomas testados, aumentando drasticamente as taxas de conformidade (compliance) a prompts maliciosos.
• Entre Idiomas Não-Ingleses: Mais notavelmente, vetores extraídos de qualquer idioma "alinhado à segurança" (como alemão, chinês ou tailandês) transferiram-se perfeitamente para outros idiomas. A ablação de um vetor extraído em chinês, por exemplo, derrubou a segurança em inglês, alemão e iorubá com eficácia quase total.
• Independência de Modelo: Esse fenômeno foi observado em múltiplas famílias de modelos (Llama 3, Qwen 2.5, Gemma 2) e escalas.

B. A Causa Geométrica das Vulnerabilidades

A análise da geometria interna revelou por que isso acontece:

• Paralelismo: Os vetores de recusa são aproximadamente paralelos entre diferentes idiomas no espaço de embedding. Isso explica por que uma intervenção vetorial em um idioma afeta os outros.
• Falha na Separação (Clustering): Embora a direção de recusa seja universal, a capacidade do modelo de separar claramente prompts benignos de maliciosos (a distância entre os clusters) degrada-se significativamente em idiomas não-ingleses.
  • Em inglês, os clusters são bem separados (alta pontuação de Silhueta).
  • Em idiomas como iorubá (yor) ou tailandês (th), a separação é fraca ou inexistente.
• Conclusão: Os modelos aprendem um conceito de "recusa" universal, mas falham em identificar corretamente o que é "prejudicial" em muitos idiomas. Como a identificação de "harmfulness" é o gatilho para a recusa, a falta de separação nos clusters de entrada torna o modelo vulnerável, mesmo que o vetor de recusa exista.

C. Casos de Uso e Limitações

• Idiomas Não Alinhados: O estudo identificou que o iorubá (Yoruba) apresenta um desalinhamento de segurança severo, onde os modelos já são vulneráveis sem intervenção, indicando que a "direção de recusa" só é transferível entre idiomas que possuem algum nível de alinhamento de segurança prévio.
• Controle Preciso: A adição de vetores de recusa conseguiu reduzir a conformidade a quase zero em muitos casos, demonstrando que a segurança pode ser reforçada mecanicamente.

4. Significado e Implicações

Este trabalho oferece uma mudança de paradigma na compreensão da segurança multilingue em LLMs:

1. Vulnerabilidade Sistêmica: A segurança em LLMs não é um conjunto de regras independentes por idioma, mas sim um mecanismo estrutural compartilhado. Um ataque bem-sucedido em inglês (ou qualquer idioma alinhado) pode ser replicado em qualquer outro idioma usando a mesma intervenção vetorial.
2. Defesas Futuras: A pesquisa sugere que simplesmente treinar modelos para recusar em inglês não é suficiente. Para criar defesas robustas multilingues, é necessário focar na melhoria da separação geométrica entre representações de conteúdo benigno e malicioso em todos os idiomas, não apenas na existência do vetor de recusa.
3. Interpretabilidade: O estudo fornece uma base mecânica para entender falhas de segurança cruzadas, mostrando que a "alinhamento" (alignment) falha não por falta de um vetor de recusa, mas por uma representação insuficiente do conceito de "perigo" em idiomas não dominantes.

Em resumo, o artigo demonstra que a "direção de recusa" é um fenômeno universal e transferível, mas a eficácia da segurança multilingue é limitada pela incapacidade dos modelos de distinguir claramente o que é prejudicial em idiomas fora do inglês.