💬 NLP

Who Pays More for Safety? Measuring the Disparate Cost of Safety Alignment across Languages

Este artigo introduz uma métrica de "Custo de Segurança" para demonstrar que o alinhamento de segurança penaliza desproporcionalmente as línguas não inglesas com maior perda de utilidade e proteção mais fraca em comparação ao inglês, revelando uma inequidade sistemática nas práticas de segurança atuais.

Autores originais: Chanwoong Yoon, Jungsoo Park, Alan Ritter

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chanwoong Yoon, Jungsoo Park, Alan Ritter

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, os grandes modelos de linguagem são os motores digitais que impulsionam chatbots, tradutores e assistentes. Antes que essas máquinas possam ser úteis para as pessoas, elas passam por um rigoroso processo de treinamento chamado alinhamento. Pense nisso como um período de escolaridade onde o modelo aprende não apenas a responder perguntas, mas a respondê-las com segurança, aderindo aos valores humanos e recusando-se a gerar conteúdo prejudicial, como instruções para violência ou atos ilegais. Esse treinamento de segurança é essencial, mas vem com um preço oculto. Assim como um carro com freios excessivamente sensíveis pode parar rápido demais diante de um obstáculo menor, uma IA que é cautelosa demais pode se tornar pouco útil, recusando-se a responder perguntas inofensivas ou fornecendo respostas vagas e superficiais. Essa perda de utilidade é conhecida como custo de utilidade. Durante anos, pesquisadores souberam que o treinamento de segurança reduz o desempenho geral de um modelo, mas uma questão crítica permanecia sem resposta: esse custo recai igualmente sobre todos ou algumas línguas sofrem mais do que outras?

Uma equipe de pesquisadores partiu para investigar se o fardo do alinhamento de segurança é compartilhado de forma justa entre as línguas do mundo. Eles focaram em um fenômeno específico onde os modelos podem rejeitar solicitações seguras simplesmente porque parecem ligeiramente arriscadas, um comportamento conhecido como recusa excessiva (over-refusal). Para medir o verdadeiro custo da segurança, a equipe elaborou um método de comparação inteligente. Eles pegaram modelos poderosos e alinhados pela segurança e criaram versões "não alinhadas" do mesmo software. Essas versões não alinhadas não foram treinadas para serem perigosas; em vez disso, os pesquisadores removeram cirurgicamente os mecanismos de segurança específicos que faziam os modelos recusarem solicitações, deixando o restante do conhecimento e a capacidade de fala do modelo intactos. Ao comparar as respostas do modelo alinhado pela segurança contra seu gêmeo não alinhado para a mesma pergunta, os pesquisadores puderam isolar exatamente quanta utilidade foi perdida devido ao treinamento de segurança isoladamente. Eles testaram isso no inglês e em outras cinco línguas, incluindo chinês, árabe, coreano, vietnamita e tailandês, usando um conjunto de perguntas desenhadas para serem inofensivas, mas com alta probabilidade de disparar um alerta de segurança.

Os resultados revelaram uma desigualdade gritante e sistemática. Os pesquisadores descobriram que usuários de línguas que não o inglês pagam consistentemente um preço mais alto pela segurança do que os falantes de inglês. Em muitos casos, os filtros de segurança eram menos eficazes em proteger os falantes de outras línguas de danos reais, no entanto, esses usuários ainda recebiam respostas significativamente piores e menos úteis para suas perguntas inofensivas. O estudo identificou três padrões distintos por trás dessa disparidade. Primeiro, muitas línguas caíram em uma zona de "dupla penalidade": recebiam uma proteção mais fraca contra perigos reais e, simultaneamente, sofriam uma queda muito maior na qualidade de suas respostas. Segundo, em alguns casos, uma língua parecia ter um custo de segurança baixo apenas porque os filtros de segurança não haviam sido acionados, deixando os usuários expostos a conteúdo prejudicial sem que o modelo sequer percebesse. Terceiro, mesmo para línguas de alto recurso como o chinês, que possuem vastas quantidades de dados de treinamento, o custo para alcançar o mesmo nível de segurança do inglês era substancialmente maior. A perda de utilidade não era apenas sobre o modelo dizer "não" quando deveria dizer "sim". Os pesquisadores descobriram que, mesmo quando o modelo respondia, a resposta era frequentemente mais rasa, menos detalhada e factualmente menos precisa. O treinamento de segurança havia silenciosamente removido profundidade e nuance, tornando a IA menos útil sem que o usuário necessariamente percebesse o porquê.

Este trabalho sugere que os métodos atuais para tornar a IA segura não estão calibrados de forma justa entre diferentes culturas e línguas. O treinamento de segurança, que é fortemente influenciado por dados e normas da língua inglesa, cria inadvertidamente uma lacuna estrutural onde falantes de outras línguas recebem uma experiência inferior. Os pesquisadores argumentam que isso não é um efeito colateral inevitável de tornar a IA segura, mas sim uma falha na forma como a segurança é atualmente implementada. Ao medir o custo específico da segurança em cada língua, o estudo expõe uma inequidade fundamental na tecnologia. Ele mostra que, enquanto falantes de inglês podem obter uma resposta segura e útil, um falante de outra língua pode receber uma resposta que é ou insegura ou infundadamente vaga, tudo porque os mecanismos de segurança não estão ajustados ao seu contexto linguístico específico. As descobertas clamam por uma nova abordagem ao alinhamento de segurança, uma que garanta que o custo de ser seguro seja distribuído uniformemente, para que os benefícios da inteligência artificial não sejam diminuídos pela língua em que ela é falada.

Resumo Técnico: Quem Paga Mais pelo Dever de Segurança? Medindo o Custo Dispar da Alinhamento de Segurança entre Idiomas

Declaração do Problema

O alinhamento de segurança em Grandes Modelos de Linguagem (LLMs) é projetado para evitar saídas prejudiciais, mas frequentemente incorre em um "custo de utilidade", degradando a utilidade e a capacidade de informação do modelo. Embora pesquisas anteriores tenham estabelecido a existência desse equilíbrio (ex: excesso de recusa, degradação de capacidade), uma questão crítica permanece sem resposta: O alinhamento de segurança impõe esse custo de utilidade de forma igual entre diferentes idiomas?

Os métodos de avaliação existentes tipicamente comparam o desempenho absoluto entre idiomas usando um único modelo alinhado por segurança. Essa abordagem falha em distinguir se as disparidades de desempenho decorrem de lacunas de capacidade pré-existentes (ex: menor proficiência em idiomas de baixos recursos) ou do próprio processo de alinhamento de segurança. Além disso, o custo de utilidade é frequentemente implícito; os modelos podem parecer úteis enquanto silenciosamente retêm informações, uma degradação que métricas de avaliação padrão têm dificuldade em capturar.

Metodologia

Para isolar o impacto específico do alinhamento de segurança, os autores introduzem um protocolo de avaliação rigoroso centrado no conceito de Custo de Segurança.

1. Definição de Custo de Segurança

O Custo de Segurança é definido como a perda de utilidade diretamente atribuível ao alinhamento de segurança em consultas benignas onde se espera uma resposta útil e complacente. É quantificado como a probabilidade de um modelo não alinhado ( $M_{unaligned}$ ) ser preferido em relação a um modelo alinhado por segurança ( $M_{aligned}$ ) em uma avaliação de utilidade pareada:
$Cost_L = P(M_{unaligned} \succ M_{aligned} | L)$
onde $L$ representa um idioma específico.

2. Configuração Experimental

Pareamento de Modelos: O estudo utiliza modelos alinhados por segurança de quatro grandes famílias (Llama-3.3-70B, Qwen2.5-72B, Gemma-3-27B, Qwen3-32B) e seus respectivos contrapartes não alinhados. Os modelos não alinhados são gerados via ablação de direção de recusa (abliteration), uma técnica que projeta os pesos do modelo ortogonalmente a uma única direção de recusa, removendo as defesas de segurança enquanto preserva o conhecimento base e as capacidades de seguir instruções.
Seleção de Benchmark: A avaliação foca em datasets de excesso de recusa (XSTest, OR-Bench, OR-Bench-Hard). Esses datasets contêm prompts benignos que são lexical ou topicamente semelhantes a consultas inseguras, projetados para disparar mecanismos de segurança sem serem de fato prejudiciais. Isso garante que o filtro de segurança esteja ativo enquanto permite a medição da perda de utilidade.
Métrica de Avaliação: O estudo emprega um framework de comparação pareada (inspirado no Chatbot Arena) usando um LLM-como-Juiz (GPT-5-mini) para determinar qual resposta é mais útil. O Custo de Segurança Marginal (MSC) é calculado como a diferença entre o Custo de Segurança de um idioma e a linha de base em Inglês ( $MSC_L = Cost_L - Cost_{English}$ ).
Variáveis Controladas: Para garantir que as disparidades observadas não sejam artefatos do processo de ablação ou da qualidade da tradução, os autores realizaram controles extensivos, incluindo:
- Comparação de "Diferenças de Gap de Alinhamento" em tarefas benignas para descartar déficits linguísticos pré-existentes.
- Validação da qualidade da tradução via falantes nativos e tradução reversa.
- Replicação dos resultados usando checkpoints correspondentes treinados do zero (Qwen3-8B) com e sem dados de segurança, evitando totalmente a ablação.

Principais Contribuições

Inequidade Sistemática: O artigo fornece evidência empírica de que usuários de idiomas não ingleses suportam consistentemente um Custo de Segurança maior do que usuários de inglês. Essa disparidade persiste mesmo em modelos que enfatizam amplo suporte multilíngue e treinamento de segurança rigoroso.
Identificação de Três Padrões de Disparidade:
- Zona de Penalidade Dupla: Muitos idiomas não ingleses caem em um quadrante onde sofrem tanto uma proteção de segurança mais fraca (menor Ganho de Segurança) quanto uma maior perda de utilidade (maior Custo de Segurança).
- Baixo Custo Falso: Em alguns casos (ex: Qwen3), um Custo de Segurança aparentemente baixo é, na verdade, consequência de filtros de segurança que falham em engajar para inputs não ingleses, deixando os usuários expostos a saídas prejudiciais em vez de fornecer um equilíbrio.
- Disparidade de Alto Recurso: Mesmo idiomas de alto recurso (ex: Chinês) incorrem em um Custo de Segurança significativamente maior do que o Inglês para alcançar níveis comparáveis de segurança.
Mecanismo de Degradação: O estudo revela que o Custo de Segurança não é impulsionado apenas por recusas explícitas. Uma parte substancial da perda de utilidade provém da degradação qualitativa implícita, onde modelos alinhados fornecem respostas que são menos informativas, menos acionáveis e menos precisas do que seus contrapartes não alinhados, mesmo quando não recusam a consulta.
Framework Metodológico: Os autores propõem um protocolo controlado para medir o Custo de Segurança que isola o efeito de alinhamento das capacidades pré-existentes do modelo, oferecendo uma lente mais precisa para avaliar a segurança multilíngue.

Resultados

Achados Quantitativos: Através de múltiplas famílias de modelos, idiomas não ingleses exibem um Custo de Segurança Marginal positivo, indicando uma penalidade de utilidade desproporcional. Por exemplo, nas famílias Gemma-3 e Qwen2.5, idiomas não ingleses mostraram custos significativamente maiores do que o inglês.
Recusa vs. Custo Implícito: A análise mostra que, embora as taxas de recusa explícita contribuam para o custo (especialmente em benchmarks "difíceis"), elas não explicam totalmente a disparidade. Em muitos casos, o modelo não alinhado fornece uma resposta mais abrangente e acionável do que o modelo alinhado, mesmo quando ambos cumprem a solicitação.
Verificações de Robustez: Os achados se mantêm quando utilizados checkpoints correspondentes treinados do zero, confirmando que a disparidade surge do próprio objetivo de alinhamento de segurança, e não de artefatos da técnica de ablação.

Significância

O artigo argumenta que as práticas atuais de alinhamento de segurança contêm uma falha fundamental: elas impõem uma penalidade estrutural, dependente do idioma, que degrada a experiência do usuário para falantes de não-inglês. Ao expor que os mecanismos de segurança são frequentemente mal calibrados para inputs não ingleses — resultando em excesso de perda de utilidade ou proteção insuficiente — os autores instam o desenvolvimento de mecanismos de segurança equitativos.

O estudo conclui que o alinhamento de segurança não deve ser visto como um processo uniforme. Em vez disso, desenvolvedores devem medir e abordar o Custo de Segurança em todos os idiomas suportados para garantir que o equilíbrio entre segurança e utilidade seja distribuído de forma justa, em vez de sobrecarregar desproporcionalmente os usuários de idiomas não ingleses. Este trabalho destaca a necessidade de ir além dos paradigmas de segurança centrados no inglês para alcançar sistemas de IA verdadeiramente inclusivos e úteis.