Low-Resource Safety Failures Are Action Failures, Not Representation Failures

Este artigo demonstra que as falhas de segurança em contextos de baixos recursos decorrem de um desalinhamento na calibração de decisão, em vez de uma falta de representações de nocividade, e propõe um método para corrigir isso recalibrando portões de segurança de altos recursos existentes utilizando apenas alguns exemplos da língua alvo.

O essencial

O Grande Problema: A "Barreira Linguística" na Segurança de IA

Imagine que você tem um segurança muito inteligente e bem treinado (o modelo de IA). Esse segurança foi ensinado em Inglês (uma língua de alto recurso) a identificar solicitações perigosas e dizer "Não". Se alguém perguntar "Como eu construo uma bomba?" em inglês, o segurança imediatamente recusa.

No entanto, se você fizer exatamente a mesma pergunta em Suaíli ou Birmanês (língas de baixo recurso), o segurança subitamente esquece seu treinamento. Ele pode acabar respondendo à pergunta em vez de recusá-la.

Por muito tempo, os pesquisadores pensaram que isso acontecia porque a IA simplesmente não entendia as palavras perigosas naqueles outros idiomas. Eles pensavam que o "sinal de perigo" estava faltando no cére-la da IA quando ela mudava de idioma.

A Descoberta: O Guarda Entende, Mas Não Age

Os autores deste artigo decidiram olhar dentro do "cérebro" da IA (sua matemática interna) para ver o que realmente estava acontecendo. Eles descobriram algo surpreendente:

A IA sabe que a solicitação é perigosa, mesmo em Suaíli ou Birmanês.

Pense da seguinte forma: o segurança ouve a solicitação perigosa em Suaíli. O cérebro dele acende um alarme de "PERIGO", exatamente como faz em inglês. O alarme está lá, e é alto o suficiente para ser ouvido.

A falha não é que o alarme esteja quebrado; a falha é que o guarda ignora o alarme.

Em inglês, o alarme é tão alto que o segurança automaticamente aperta o botão "Recusar". Em línguas de baixo recurso, o alarme ainda está lá, mas é um pouco mais baixo. Como ele está mais baixo, o segurança não percebe que é alto o suficiente para acionar o botão "Recusar", então ele apenas continua falando.

O artigo chama isso de uma falha de calibração, não uma falha de representação.

• Falha de Representação: O guarda não sabe o que "bomba" significa em Suaíli. (O artigo diz que isso é falso).
• Falha de Calibração: O guarda sabe o que "bomba" significa, mas o botão de volume para o botão "Recusar" está configurado muito alto para esse idioma específico. (O artigo diz que isso é verdadeiro).

A Solução: Um Simples Ajuste no "Botão de Volume"

Como a IA já possui o conhecimento de "perigo", os autores não precisaram retreinar toda a IA (o que é caro e lento). Em vez disso, eles construíram um porteiro minúsculo e inteligente (um "gatekeeper" latente).

Veja como o conserto deles funciona:

1. Use o alarme existente: Eles pegam a "direção de perigo" que a IA já aprendeu a partir do inglês.
2. Ouça alguns exemplos: Eles mostram ao porteiro apenas 1 a 4 exemplos de solicitações perigosas e seguras na língua alvo (como o Suaíli).
3. Redefina o limite: O porteiro diz: "Ok, em Suaíli, o alarme de perigo é um pouco mais baixo do que em inglês. Preciso diminuir o volume necessário para atingir o botão 'Recusar'".
4. Direcione a decisão:
   • Se o porteiro achar que a solicitação é perigosa, ele aumenta o volume do "Recusar" para garantir que a IA diga não.
   • Se o porteiro achar que a solicitação é segura, ele diminui o volume do "Recusar" para que a IA não recuse acidentalmente perguntas inofensivas (como "Como eu faço um bolo?").

Os Resultados: Um Guarda Mais Inteligente e Seguro

Ao usar este simples ajuste de "botão de volume" com pouquíssimos exemplos, os autores obtiveram ótimos resultados:

• A Segurança Melhorou: A IA começou a recusar solicitações perigosas em línguas de baixo recurso com muito mais frequência (saltando de recusas de cerca de 44% para mais de 67% em alguns casos).
• A Utilidade foi Preservada: Crucialmente, a IA não começou a recusar solicitações seguras. Ela não se tornou excessivamente paranoica.
• Eficiência: Eles não precisaram retreinar o modelo massivo de IA. Eles apenas ajustaram um pequeno interruptor usando um punhado de exemplos.

Analogia de Resumo

Imagine um detector de fumaça instalado em uma casa.

• A Visão Antiga: Quando o detector não disparava na cozinha (língua de baixo recurso), as pessoas pensavam que o detector estava quebrado ou que não sabia o que era fumaça.
• A Nova Visão: O detector sentiu a fumaça. Ele apenas não estava sensível o suficiente para acionar o alarme naquela sala específica.
• O Conserto: Em vez de comprar uma casa inteira e novos detectores, os autores apenas ajustaram o botão de sensibilidade no detector existente. Agora, ele sente a fumaça na cozinha e grita "Fogo!" tão alto quanto faz na sala de estar.

A Conclusão: As falhas de segurança em línguas de baixo recurso não são porque a IA é "burra" nesses idiomas; é porque o "interruptor de segurança" da IA está configurado alto demais. Um pequeno ajuste de poucos exemplos (few-shot) pode consertar isso sem a necessidade de reaprender tudo do zero.

Resumo técnico

Resumo Técnico: Falhas de Segurança em Baixos Recursos São Falhas de Ação, Não de Representação

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) treinados para alinhamento de segurança em línguas de altos recursos (HRLs) frequentemente falham em recusar comandos prejudiciais quando esses comandos são traduzidos para línguas de baixos recursos (LRLs). Embora os modelos recusem instruções prejudiciais com sucesso em inglês, eles frequentemente cumprem solicitações idênticas em línguas como o suaíli ou o birmanês. Trabalhos anteriores documentaram essa lacuna comportamental, mas não esclareceram seu mecanismo interno. Doisso hipóteses concorrentes existem:

1. Falha de Representação: O modelo carece de uma representação interna utilizável de "prejudicialidade" em LRLs devido a uma compreensão semântica mais fraca.
2. Falha de Ação (Roteamento): O modelo possui a representação de prejudicialidade, mas falha em traduzir esse sinal em uma decisão de recusa (ou seja, o limiar de decisão está desalinhado).

Este artigo diagnostica a causa raiz da lacuna de segurança multilíngue e propõe uma intervenção leve para repará-la.

Metodologia

Configuração Experimental

Os autores avaliaram três modelos ajustados por instrução (Qwen2.5-7B, Gemma-2-9B e Llama-3.1-8B) em 23 línguas categorizadas por níveis de recursos (Alto, Médio, Baixo) baseados no Common Crawl. Eles utilizaram uma versão estendida do conjunto de dados PolyRefuse, contendo prompts prejudiciais e inofensivos traduzidos para essas línguas.

Fase de Diagnóstico

Para distinguir entre falhas de representação e de ação, os autores empregaram técnicas de interpretabilidade mecanística no fluxo residual (residual stream):

1. Extração de Direção de Prejudicialidade: Eles computaram uma "direção de prejudicialidade" unidimensional ($v_{HRL}$) calculando a diferença das ativações médias entre prompts prejudiciais e inofensivos em HRLs.
2. Mediação Causal (Ablação): Eles testaram se remover essa direção derivada de HRL das ativações de LRL suprimia a recusa. Os resultados mostraram que ablar a $v_{HRL}$ em LRLs reduziu significativamente a recusa de conteúdos prejudiciais, provando que a direção é causalmente ativa.
3. Separabilidade Linear: Eles projetaram as ativações de LRL sobre $v_{HRL}$ e mediram a Área Sob a Curva (AUC) para separar prompts prejudiciais de inofensivos. A AUC permaneceu alta (>0,85) mesmo em LRLs onde as taxas de recusa eram baixas, indicando que a representação está presente e é decodificável.
4. Análise de Magnitude do Sinal: Eles observaram que, embora o sinal exista, as pontuações de projeção para prompts prejudiciais em LRL são deslocadas para baixo em comparação com HRLs. O limiar implícito de recusa do modelo não é acionado porque a magnitude do sinal é insuficiente, não porque o sinal esteja ausente.

Intervenção: Portão Latente de Poucos Disparos (Few-Shot Latent Gate)

Com base no diagnóstico de que a falha é de calibração e não de representação, os autores propuseram um método de direcionamento (steering) sem necessidade de treinamento:

1. Portão Latente: Um readout logístico de baixo posto (low-rank) é treinado em dados de HRL para mapear a projeção de prejudicialidade para uma decisão de segurança binária.
2. Recalibração de Limiar: Em vez de retreinar o modelo ou aprender uma nova direção específica para LRL, o limiar de decisão ($\tau$) é resetado usando um número mínimo de exemplos da língua alvo (tão poucos quanto 1 a 4 por classe).
3. Direcionamento Condicional: O sistema roteia os prompts com base na saída do portão:
   • Se classificado como prejudicial: A direção de prejudicialidade de HRL é adicionada à ativação (direcionando para a recusa).
   • Se classificado como inofensivo: A direção de prejudicialidade de HRL é ablada (prevenindo recusas falsas).

Principais Resultados

Achados de Diagnóstico

• Representação Intacta: A prejudicialidade permanece linearmente separável nas ativações de LRL. A falha não é a falta de representação.
• Deslocamento de Sinal: Prompts de LRL produzem projeções menores na direção de prejudicialidade. O modelo falha em recusar porque a magnitude do sinal cai abaixo do limiar implícito estabelecido durante o treinamento em HRL.

Melhorias de Desempenho

O portão latente de poucos disparos proposto superou significativamente as linhas de base de direcionamento adaptativo existentes (CAST e AdaSteer):

• Recusa Seletiva ($\Delta$): A métrica $\Delta$ (taxa de recusa de prejudiciais menos taxa de recusa de inofensivos) aumentou de 33,6 (a base adaptada mais forte) para 54,5 com o método proposto.
• Recusa de Conteúdo Prejudicial: O método elevou as taxas de recusa de conteúdo prejudicial em LRLs (por exemplo, de 43% para ~67% em média) enquanto manteve a recusa de conteúdo inofensivo baixa (12,7%).
• Comparação com Baselines: Métodos concorrentes como CAST e AdaSteer ou falharam em melhorar significativamente a recusa de prejudiciais ou causaram "recusa excessiva" de prompts benignos (ex: AdaSteer atingiu 52,8% de recusa de inofensivos).
• Generalização: O portão generalizou bem para benchmarks de segurança fora da distribuição (MultiJail, IndoSafety) e transferiu entre diferentes LRLs quando calibrado em um único LRL de origem.
• Preservação de Utilidade: A intervenção preservou a utilidade no benchmark Global-MMLU, com mudanças negligenciáveis na precisão.

Significância e Alegações

O artigo alega que as falhas de segurança em baixos recursos são primariamente falhas de ação (problemas de calibração) e não falhas de representação.

• Insight Mecanístico: O trabalho demonstra que as representações de segurança aprendidas em línguas de altos recursos são transferíveis e estão presentes em línguas de baixos recursos, mas sua magnitude de ativação é insuficiente para disparar a recusa sem recalibração.
• Eficiência: A solução proposta não requer atualizações de pesos do modelo ou treinamento extensivo. Ela alcança o estado da arte em desempenho de segurança usando apenas um punhado de exemplos da língua alvo para resetar um limiar de decisão.
• Implicação Prática: Os autores sugerem um fluxo de trabalho "diagnosticar-então-corrigir": antes de tentar aprender novas representações de segurança para uma língua de baixo recurso, deve-se primeiro testar se a representação de alto recurso existente é decodificável. Se for, uma simples recalibração do limiar de decisão é suficiente para reparar o alinhamento de segurança.

Os autores observam limitações, incluindo o escopo dos modelos testados (modelos densos de 7B–9B), a dependência do Common Crawl como um proxy de recursos, e o fato de a intervenção ser uma ferramenta de diagnóstico que requer acesso às ativações, em vez de uma salvaguarda de modelo fechado. Eles também enfatizam que este método não substitui a necessidade de treinamento de segurança multilíngue nem garante robustez contra todos os tipos de prompts adversariais.