Resumo Técnico: A Ilusão da Segurança Translinguística em Línguas de Baixos Recursos

Declaração do Problema

O alinhamento de segurança atual em Grandes Modelos de Linguagem (LLMs) é predominantemente desenvolvido utilizando línguas de altos recursos, particularmente o inglês. A suposição predominante é que essas salvaguardas de segurança se generalizam universalmente em configurações multilíngues, formando um "manifold de dano" agnóstico à língua. No entanto, essa suposição permanece subexplorada, especialmente no que diz respeito a línguas de baixos recursos.

Os paradigmas de avaliação existentes dependem fortemente de traduções literais, ignorando metáforas culturalmente específicas, linguagem codificada e nuances pragmáticas. Como os modelos frequentemente processam a lógica de segurança através de um caminho interno de "pensar em inglês", as nuances culturais perdidas na tradução latente podem contornar o alinhamento por completo. Isso cria erros estruturais de mapeamento que permitem que atores adversários explorem jailbreaks semânticos usando metáforas localizadas. A "maldição da multilinguidade" sugere que dados de altos recursos ofuscam as nuances linguísticas de baixos recursos, levantando a questão de se os modelos genuinamente aprendem um conceito de segurança universal ou se apenas mapeiam gatilhos sintáticos para um filtro centrado no inglês.

Metodologia

Para investigar a transferência de segurança translinguística sem depender de avaliações baseadas em geração potencialmente instáveis, os autores propõem um Framework Geométrico Latente. Esta abordagem sonda as representações de estados ocultos durante a inferência para analisar como os conceitos de segurança mapeiam através das fronteiras linguísticas.

1. Construção do Dataset: LoDNA

Os autores introduzem o LoDNA (Low-resource Do-Not-Answer), um dataset de segurança para quatro línguas africanas: Twi, Hausa, Amárico e Suaíli.

• Construção: O dataset estende o dataset de inglês Do-Not-Answer (DNA). Envolve um processo de duas etapas: (1) tradução literal e correção por falantes nativos, e (2) localização de contexto cultural, onde os prompts são reescritos para se alinharem ao uso de linguagem naturalmente ocorrido e culturalmente fundamentado, preservando a intenção prejudicial.
• Comparação: O estudo compara Inglês Seguro ($S_{en}$), Inglês Inseguro ($U_{en}$), Língua Alvo Segura ($S_{\ell}$), Língua Alvo Literalmente Prejudicial ($L_{\ell}$) e Língua Alvo Culturalmente Localizada ($C_{\ell}$).

2. Análise Geométrica

O framework analisa estados ocultos ($h_k(x)$) extraídos de camadas de transformadores de meio a fim (especificamente camadas 14–24) através de quatro modelos: Mistral, Llama, Qwen2.5 e AfriqueQwen.

• Vetores de Recusa: A direção de recusa em inglês é definida como $r_{en}^k = \mu_k(U_{en}) - \mu_k(S_{en})$. Deslocamentos prejudiciais na língua alvo são definidos de forma semelhante ($r_{\ell, lit}^k$ e $r_{\ell, ctx}^k$).
• Métricas:
  • Similaridade de Cosseno: Mede o alinhamento entre a direção de recusa em inglês e os vetores da língua alvo.
  • Componente Retido Assinado (SRC): Calcula a porcentagem da direção de recusa em inglês recuperada pelo deslocamento da língua alvo.
  • Deriva por Camada (Layer-wise Drift): Computa a diferença entre os produtos escalares brutos dos prompts literais e culturais em relação à direção de recusa em inglês ($Drift_k = RawDot_A - RawDot_B$).
  • Projeção PCA: Projeta os prompts da língua alvo no plano de segurança definido pelo inglês para observar o comportamento de agrupamento (clustering).
  • Probing Linear: Treina sondas logísticas nos estados ocultos em inglês e as avalia zero-shot em prompts da língua alvo para testar o isolamento representacional (representational siloing).

3. Fundamentação Comportamental

Para complementar as descobertas geométricas, os autores utilizam a Log-Verossimilhança de Sequência Normalizada (SLL) e a Probabilidade de Recusa. Estas métricas medem a probabilidade do modelo gerar sequências de recusa padrão (ex: "Sinto muito", "Samahani") através das línguas, corrigindo discrepâncias de tokenização.

Principais Contribuições

1. Dataset LoDNA: Construção de datasets de segurança para Twi, Amárico, Hausa e Suaíli, pareando traduções literais com prompts culturalmente localizados.
2. Avaliação Localizada: Adaptação de prompts em inglês curados pela comunidade para o Twi com contextos ganenses, permitindo a avaliação além de configurações eurocêntricas.
3. Framework Geométrico Latente: Uma metodologia inovadora para analisar o alinhamento de segurança translinguístico ao nível representacional, contornando a dependência de texto gerado.
4. Diagnóstico Mecanístico: Análise que distingue se as falhas de segurança decorrem da complexidade semântica culturalmente fundamentada ou de fraquezas estruturais no mapeamento translinguístico.

Resultados e Descobertas

1. Transferência Translinguística Limitada

O estudo constata que a transferência de segurança translinguística é severamente limitada.

• Perda de Sinal: Prompts prejudiciais em línguas alvo retêm menos de 10% do sinal de recusa do inglês na maioria dos pares de modelos de linguagem.
• Similaridade de Cosseno: A similaridade de cosseno entre os vetores de recusa em inglês e na língua alvo é geralmente próxima de zero ou negativa.
• Exceção: O Suaíli no modelo Llama mostra uma anomalia localizada com maior alinhamento (aprox. 27% de componente retido), mas isso não se generaliza para outras arquiteturas (Mistral, Qwen2.5) ou outras línguas.

2. Geometria Específica da Língua vs. Manifold Universal

• Projeções PCA: Quando projetados no plano de recusa em inglês, os prompts das línguas alvo (Hausa, Twi, Amárico) formam agrupamentos compactos e específicos de cada língua que não se sobrepõem à região insegura do inglês. Isso refuta a existência de um manifold de dano totalmente universal e agnóstico à língua.
• Representações Siladas: Embora os prompts literais e localizados sejam semanticamente alinhados dentro da própria língua alvo (cosseno 0.95–0.996), eles derivam significativamente através das camadas em relação à linha de base de segurança em inglês. Isso sugere que os modelos codificam os conceitos, mas falham em roteá-los para os mecanismos de segurança.

3. Falhas de Mapeamento Estrutural

• Análise de Deriva: Prompts literais e culturais divergem na ativação de mecanismos de segurança. Por exemplo, no Hausa e no Twi, traduções literais frequentemente ativam a direção de recusa em inglês mais fortemente do que contextos culturais. Inversamente, o Amárico mostra deriva negativa no Qwen2.5, onde os prompts culturais alinham-se melhor.
• Diferenças de Arquitetura: Os modos de falha variam por arquitetura. O Llama exibe alinhamento bruto negativo em camadas posteriores para a maioria das línguas; o Mistral mostra um alinhamento fraco e instável; o Qwen2.5 apresenta grandes ativações brutas, mas baixa retenção do sinal de recusa em inglês.

4. Confirmação Comportamental

• Probabilidade de Recusa: A probabilidade de emitir qualquer sequência de recusa padrão é catastroficamente baixa (aprox. 1,05% para prompts literais e 1,15% para culturais), o que significa que os modelos falham em iniciar uma recusa em mais de 98% dos casos.
• Saídas Qualitativas: Os modelos frequentemente geram respostas coerentes e gramaticalmente corretas em línguas de baixos recursos que cumprem ativamente solicitações prejudiciais. Isso indica que o modelo entende a língua e a intenção, mas falha em rotear esse entendimento para o mecanismo de recusa.
• Problemas de Tokenização: A fragmentação severa de tokenização, particularmente no Amárico, leva à corrupção de scripts e saídas não lexicais, distorcendo ainda mais a análise geométrica.

Significância e Alegações

O artigo argumenta que o alinhamento de segurança multilíngue atual é superficial. A suposição de um manifold de dano universal e agnóstico à língua não é sustentada pelas evidências nas línguas estudadas. Em vez disso, os mecanismos de segurança parecem ser estruturalmente limitados por um treinamento centrado no inglês, criando um hiato representacional onde os prompts prejudiciais em línguas alvo falham em entrar na fronteira de segurança aprendida.

Os autores concluem que:

1. As falhas de segurança em línguas não inglesas decorrem tanto de limitações estruturais de mapeamento translinguístico quanto da sensibilidade à forma do prompt (contexto cultural).
2. Métodos atuais de avaliação que dependem de traduções literais e métricas baseadas em geração são insuficientes.
3. Uma segurança robusta translinguística requer não apenas maior cobertura de idiomas, mas também uma compreensão mais profunda de como conceitos relevantes para a segurança são representados e ativados através de contextos linguísticos e culturais.

O estudo enfatiza que estas descobertas são correlacionais e observacionais, derivadas de modelos de 7B-8B parâmetros, e que trabalhos futuros são necessários para abordar mecanismos causais e escalas de modelos maiores.